• Author / Uploaded
• Rickk Rick

• Categories
• Cuestionario
• Investigación social
• Medición
• Validez (Estadísticas)
• Información

Citation preview

CAPÍTULO 5

ELABORACIÓN DEL CUESTIONARIO José Luis Padilla García Andrés González Gómez Cristino Pérez Meléndez UNIVERSIDAD DE GRANADA

0. INTRODUCCIÓN 1. PERO... ¿QUÉ ES UN CUESTIONARIO? 2. ¿POR QUÉ UTILIZAR UN CUESTIONARIO? 3. ESQUEMA CONCEPTUAL PARA ORIENTAR LA ELABORACIÓN DEL CUESTIONARIO 4. PASOS PARA LA ELABORACIÓN DEL CUESTIONARIO 5. EL OBJETIVO DEL CUESTIONARIO 5. 1. El contexto de la encuesta 5. 2 Los recursos disponibles 6. EL DISEÑO DEL CUESTIONARIO 7. RECOMENDACIONES PARA HACER LAS PREGUNTAS DEL CUESTIONARIO 7. 1. Recomendaciones para hacer preguntas factuales 7. 2. Preguntas abiertas versus preguntas cerradas 7. 3. Preguntas llave o filtro 8. MEDICIÓN DE ESTADOS SUBJETIVOS 8. 1. Tests de ordenación 8. 2. Tests tipo Likert 9. REVISIÓN DE LAS PREGUNTAS 9. 1. Procedimientos subjetivos 9. 2. Procedimientos empíricos 10. PREGUNTAS DEMOGRÁFICAS 11. ORDEN Y DISPOSICIÓN DE LAS PREGUNTAS EN EL CUESTIONARIO

0. INTRODUCCIÓN A simple vista, la tarea de elaborar un cuestionario no parece complicada. Los ejemplos de las encuestas que aparecen en los medios de comunicación confirman esa impresión: ¿Qué periódico compra habitualmente?, ¿cuál es su profesión?, ¿dónde vive?, etc. Las preguntas anteriores no son “complejas”, ni “sofisticadas”. Pues bien, las primeras impresiones como en tantas situaciones pueden engañarnos. No es exagerado decir que gran parte del éxito y solvencia de la encuesta depende de la calidad del cuestionario. Gallup (1947) alertó ya sobre la magnitud de la variaciones introducidas en las encuestas por el diseño del cuestionario; variaciones que pueden ser semejantes e incluso superiores a las provocadas por el diseño y elección de la muestra.

-93-

Al final del capítulo esperamos haber desterrado la imagen habitual que reduce la elaboración del cuestionario a la mera redacción, intuitiva y apresurada, de las preguntas, para favorecer la utilización de un procedimiento sistemático y flexible. Los contenidos del capítulo abarcan desde la decisión inicial de elaborar un cuestionario, hasta los posibles controles sobre la calidad del cuestionario, pasando por la aclaración del objetivo u objetivos que se pretenden conseguir, el diseño del instrumento, la redacción y elaboración de las preguntas y otros instrumentos de medida, para terminar con la edición del cuadernillo. Ahora es el momento de hacer una advertencia a los lectores ingenuos y demasiado optimistas con el desarrollo de los métodos y técnicas de investigación social. No existe una teoría consolidada que guíe la elaboración del cuestionario y la redacción de las preguntas. Foddy (1996) recoge las razones apuntadas por Gallup en numerosos escritos: (a) la presión por obtener resultados inmediatos en las investigaciones por encuesta ligadas a intereses prácticos, no favorece el estudio de la técnica de redacción de las preguntas; (b) durante mucho tiempo la utilización de medidas subjetivas no ha estado de moda entre los investigadores sociales; y c) la investigación social ha tenido que enfrentarse a unas pocas reglas basadas en el sentido común y la experiencia colectiva acumulada. Este capítulo pretende contribuir a consolidar el cuerpo de conocimientos sobre la elaboración del cuestionario en la investigación mediante encuesta. Pretendemos ordenar y valorar el conjunto de recomendaciones prácticas dispersas en las monografías sobre el tema, utilizando los argumentos de la teoría de la medida en las ciencias sociales. Así, todos los contenidos expuestos pasarán por el tamiz de su posible contribución al objetivo y calidad de las mediciones aportadas por el cuestionario. La realidad y el deseo rara vez coinciden. La mayoría de los lectores (si es que aún queda alguien que no esté comprobando ya la extensión del capítulo) pensarán que los párrafos anteriores son sólo una declaración genérica de intenciones. Pues bien, ahí queda un gesto de arrogancia. A continuación, enumeramos la relación de objetivos que el capítulo pretende lograr para que sea más fácil ‘fiscalizar’ nuestro trabajo: - Tomar una decisión adecuada sobre si procede o no la elaboración de un cuestionario. - Utilizar el esquema conceptual sobre la medición como criterio durante el proceso de elaboración. - Formular en términos operativos el objetivo e información que el cuestionario debe aportar. - Diseñar el cuestionario de forma que responda a los objetivos de la encuesta. - Redactar preguntas precisas y relevantes sobre las variables y componentes recogidos en los objetivos de la encuesta. - Comprobar la calidad del cuestionario. - Ser conscientes de las consecuencias que puede acarrear la utilización de un cuestionario. Aunque sólo sea por comprobar como naufragamos en el empeño, creemos que merece la pena iniciar la lectura del capítulo. Sin más dilación, seguro que el cuestionario debía estar listo ‘ayer’, empecemos presentando al protagonista.

1. PERO... ¿QUÉ ES UN CUESTIONARIO? La pregunta es oportuna. La literatura sobre métodos de investigación social está repleta de definiciones diferentes de lo que es un cuestionario y de una serie de términos con los que suele coincidir, y por tanto, ser confundido: encuesta, entrevista, test, escala, etc.

-94-

No es este el lugar para intentar una clarificación terminológica. Si lo es para fijar el significado que a lo largo del capítulo asignaremos al término ‘cuestionario’. La mayoría de los autores (p.e. Santesmases, 1997) coincidirían en la siguiente definición:

Un cuestionario es el documento que recoge de forma organizada las preguntas sobre el objetivo de la encuesta. La definición requiere dos modificaciones para adaptarla al contenido y orientación del capítulo. Primera, podemos sustituir la palabra “preguntas” por “indicadores”. El término “indicadores” engloba tanto las preguntas sobre hechos como los tests diseñados para medir estados subjetivos, opiniones, creencias, valoraciones, etc. Segundo, más que referirnos al “objetivo de la encuesta” debemos aludir a las variables implicadas en el objetivo de la encuesta. La definición quedaría así:

Un cuestionario es el documento que recoge de forma organizada los indicadores de las variables implicadas en el objetivo de la encuesta. La definición tiene la virtud de la generalidad: 1) abarca todas las posibles formas de administración de la encuesta (‘cara a cara’, por teléfono o autoadministrada); y 2) recoge todo el conjunto de posibles preguntas (demográficas, factuales, de opinión, etc.). La delimitación conceptual de otros términos muy limítrofes ha sido tratada en capítulos anteriores, no obstante, el cuadro siguiente presenta algunas definiciones simples para quienes estén realizando una lectura independiente de los capítulos.

- Encuesta. Sistema de recogida de información sobre una amplia variedad de temas para una gran diversidad de objetivos. Se suele identificar con un sondeo o medición masiva de la opinión pública mediante un cuestionario. - Entrevista. Nombra la interacción entre el encuestador y el encuestado. El encuestador desaparece en el caso de los cuestionarios auto-administrados. - Test. Instrumento estandarizado de medición psicológica diseñado para cuantificar la cantidad de una variable que presenta una persona. - Escala. El conjunto de valores numéricos que resultan del proceso de medición.

2. ¿POR QUÉ UTILIZAR UN CUESTIONARIO? La pregunta está ligada a una previa: ¿por qué utilizar una encuesta? El cuestionario es el instrumento de recogida de información en la encuesta. Las razones que hayan llevado a realizar la encuesta son las que motivan la elaboración del cuestionario. No obstante, la respuesta a la pregunta ¿por qué utilizar una encuesta?, debe tener en cuenta las ventajas y limitaciones del cuestionario como instrumento de recogida de información. De manera escueta, podemos recoger las ventajas e inconvenientes apuntados por Munn y Drever (1995):

-95-

Ventajas: - Aporta información estandarizada. Los encuestados responden al mismo conjunto de cuestiones por lo que es más fácil comparar e interpretar sus respuestas. - Ahorra tiempo. El cuestionario contribuye a realizar un uso eficiente del tiempo de diferentes formas: 1) permite encuestar a un gran número de personas de una vez; 2) el encuestado puede responder en algunas ocasiones en el momento más adecuado; y 3) agiliza el análisis estadístico de las respuestas. - Facilita la confidencialidad. El encuestado puede responder con franqueza y sinceridad, contribuyendo el cuestionario a asegurar su anonimato. Limitaciones: - Responde a objetivos descriptivos. Resulta difícil diseñar el cuestionario para contribuir a la explicación de relaciones entre variables. - Superficialidad de la información. Es la contrapartida a la estandarización. La formulación de preguntas homogéneas impide profundizar en las respuestas de los encuestados. - Difícil elaboración. El proceso de elaboración del cuestionario lleva tiempo y requiere experiencia y conocimientos específicos. No es fácil elaborar cuestionarios de calidad. Estas ventajas e inconvenientes debe ser ponderados atendiendo al tipo de encuesta de la que el cuestionario sea el instrumento (p.e. telefónicas, cara a cara, etc.).

3. ESQUEMA CONCEPTUAL PARA ORIENTAR LA ELABORACIÓN DEL CUESTIONARIO El cuestionario es un instrumento de medida. La mayoría de las encuestas persiguen cuantificar de una forma u otra la información aportada por los encuestados. Cuantificar las respuestas de las personas es ‘medir’ las variables implicadas en el objetivo de la encuesta. La elaboración del cuestionario es un proceso en el que, explícita o implícitamente, intervienen concepciones e ideas sobre la medición de variables psicológicas y sociológicas. Es importante conocer estos argumentos ya que justifican la dinámica del proceso de elaboración del cuestionario. El objetivo de este apartado es introducir al lector en el conjunto de ideas y conceptos sobre la medición que orientan la elaboración del cuestionario. Este conjunto teórico forma un esquema que da sentido a las recomendaciones para la redacción de las preguntas, valorandas por su contribución a la fiabilidad y validez del proceso de medición. Las variables son constructos La mayoría de las variables que se pretenden medir con los cuestionarios no se pueden observar de forma directa. A diferencia de las variables físicas (p.e. longitud, peso, altura, etc.), las variables psicológicas y educativas (p.e. intención de voto, salud, autoestima, etc.) son elaboraciones teóricas denominadas “constructos”. Crocker y Algina (1986) atribuyen al “constructo” un papel de etiqueta que resumen todo un conjunto de comportamientos relacionados. Por ejemplo, el constructo “liderazgo” puede resumir comportamientos como: “repartir tareas”, “fijar objetivos”, “resolver problemas”, etc. Resulta obvio que la medición de un constructo debe empezar enumerando los comportamientos que el constructo engloba, tareas tradicionalmente nombrada “definición operacional”. Lord

-96-

y Novick (1968) para superar una limitación clara de esta versión operacionalista de la medida, plantearon la necesidad de incluir en la definición del constructo el conjunto de las relaciones del constructo con otros constructos y/o variables comportamentales. Esta doble aproximación a la definición de los constructos es hoy día ampliamente aceptada por los profesionales de la medida. ¿Qué papel juega el cuestionario? Más que pensar en el “cuestionario” para responder a la cuestión necesitamos pensar en las preguntas y tests que forman el cuestionario. Todos compartiremos la idea de que el proceso de medida no es una situación “natural”. No podemos esperar a que las personas muestren de manera espontanea los comportamientos fijados como representativos de la variable. Debemos provocar la aparición de esos comportamientos. Esta es la función de las preguntas y tests del cuestionario: “provocar” las respuestas que servirán

C O N ST R U C T O

C

C

1

C

2

C

3

C

4

...

n

C U E S T IO N A R IO

R

1

R

R

2

3

R

4

R

n

M E D IC IO N

IN T E R P R E T A C IO N

Figura 14 de indicadores del constructo a medir. La figura 14 reproduce esta argumentación. Este esquema permite utilizar una definición de medición muy adecuada para la elaboración del cuestionario. Sullivan y Feldman (1994) consideró que la medida en las Ciencias Sociales es el proceso de “ligar” los conceptos abstractos de las teorías con indicadores empíricos, o de otra forma, la puesta en práctica de un plan sistemático, explícito, para “clasificar”, y en la mayoría de los casos “cuantificar” los datos particulares en términos de los conceptos más generales del esquema teórico. Sin embargo, el proceso de “conectar” los indicadores empíricos con los conceptos teóricos dista de ser fácil. Torgerson (1958) analizó uno de las dificultades más evidentes: la falta de acuerdo sobre los indicadores empíricos de la mayoría de los constructos psicológicos. Foddy (1996) recoge una serie de problemas que podrían desanimar a cualquiera que iniciara la elaboración de un cuestionario. Sólo apuntamos algunos:

-97-

- Las preguntas sobre hechos y datos biográficos pueden generar respuestas inválidas. - No hay una relación fuerte entre lo que los encuestados dicen que hacen y lo que hacen. - Las opiniones, creencias, actitudes e intereses de las personas son muy inestables. - Pequeños cambios en la redacción de las preguntas pueden producir cambios importantes en las respuestas. - Los encuestados habitualmente interpretan mal las preguntas En fin, sólo con buenas dosis de optimismo y falta de pudor se puede alguien embarcar en la tarea. La mayoría de los problemas apuntados inciden sobre la relación entre la respuesta y el constructo en la que la pregunta o test juega un papel de “mediador”. Esta relación se puede debilitar por factores que introduzcan una variabilidad no deseada en las respuestas. No olvidemos que el responsable de la medición pretende atribuir las diferencias en las respuestas sólo a diferencias en la variable. De ahí, la denominación de “errores de medida” para estas fuentes indeseables de variación. El estudio de los errores de medida ha sido tradicionalmente responsabilidad de dos áreas de investigación: la fiabilidad y la validez. Un capítulo posterior se ocupa en detalle de estas cuestiones. Ahora sólo nos interesa apuntar su significado ya que serán los criterios que nos conducirán en la elaboración de las preguntas: la fiabilidad y la validez. Detengámonos un momento en cada uno: Fiabilidad. La relación entre las respuestas y los constructos puede resultar “contaminada” por fuentes de variación que actúen sin un patrón sistemático. Por ejemplo, la redacción ambigua de una pregunta, la inclusión de una palabra con un significado técnico, la situación en que la persona responde al cuestionario (e. g. “ruido”, “temperatura”, “tranquilidad”, etc.). Resulta difícil predecir como estos factores pueden influir en las respuestas. Desde una perspectiva pragmática el mandato de este criterio durante la elaboración del cuestionario podría resumirse así: por un lado, dos encuestados con el mismo valor en la variable deberían darnos la misma respuesta; y por otro, un encuestado preguntado en dos ocasiones distintas debería darnos la misma respuesta, si no ha cambiado su valor en la variable. Validez. El responsable de la encuesta persigue atribuir las diferencias en las respuestas de los encuestados sólo a la variable que pretende medir. Por ejemplo, las diferencias en las respuestas a la pregunta ¿A qué partido votaría si mañana hubiera elecciones? sólo se explicarían por la diferente “intención de voto” de los encuestados”. Durante la elaboración del cuestionario debemos procurar no “abrir la puerta” a fuentes sistemáticas, variables distintas a la que queremos medir, que adulteren la interpretación de las mediciones. La meta que debemos alcanzar con la elaboración del cuestionario ha quedado despejada: la elaboración de preguntas y tests que proporcionen respuestas fiables y válidas de las variables implicadas en el objetivo de la encuesta. Además, disponemos de un criterio para valorar cualquier alternativa (p.e. pregunta abierta versus pregunta cerrada) durante la elaboración del cuestionario: la opción que más contribuya a la fiabilidad y validez de las mediciones. Para completar este apartado es necesario comentar dos cuestiones, más “domésticas” pero muy relevantes, que debemos tener presentes en la elaboración del cuestionario De lo que preguntas es de lo que te responden...

-98-

La forma en que se hace las preguntas determina las repuestas que se obtienen. Dicho así puede parecer una obviedad: preguntas diferentes obtendrán, naturalmente, respuestas diferentes. Pero la declaración cobra importancia si nos referimos al efecto que cambios aparentemente menores en la formulación de la pregunta pueden producir en las respuestas. Fink (1995a) propone un ejemplo ilustrativo de cómo pequeños cambios -una o dos palabras- en la redacción de las preguntas pueden cambiar las respuestas. El ejemplo compara estas tres preguntas sobre una hipotética subida de impuestos para financiar las pensiones: - ¿Apoyaría un aumento de los impuestos para financiar las pensiones? - ¿Apoyaría un aumento de sus impuestos para financiar las pensiones? - ¿Apoyaría un aumento del 10% en sus impuestos para financiar las pensiones? La cursiva indica el elemento de las preguntas que puede cambiar el sentido de las respuestas. Las tres preguntas podrían formar parte de encuestas con el mismo objetivo. No sería aventurado apuntar una progresiva disminución en la frecuencia de respuestas afirmativas a medida que se concreta la formulación de la pregunta. La recomendación está clara: todas las palabras utilizadas al redactar una pregunta cuentan. Además un consejo: al leer los resultados de una encuesta no mire únicamente los gráficos, preste un poco de atención a la redacción de las preguntas. Las respuestas no nos interesan en sí mismas El impacto del epígrafe es menor si revisamos de nuevo el esquema de la figura 1. El valor de las respuestas depende de su relación con la variable que pretendemos medir y en última instancia, de que tengan una relación predecible con hechos o comportamientos relevantes. La investigación mediante encuesta no termina con la presentación “bruta” de los resultados. Siempre hay una tarea de interpretación que conecta los resultados con el objetivo de la encuesta. Sin la interpretación la encuesta no tiene sentido. La interpretación no sólo ocurre cuando la encuesta es la técnica de recogida de datos para examinar una hipótesis. Pensemos qué ocurre con encuestas para objetivo más prácticos. Por ejemplo, una encuesta para conocer la valoración de un nuevo modelo de coche. La encuesta plantea preguntas sobre la ‘seguridad’, la ‘potencia’, la idea de ‘libertad e independencia’, los ‘colores más atractivos’, etc. El receptor de esta información está interesado en estos aspectos por estar relacionados con un comportamiento predecible: comprar el nuevo modelo de coche. ¿Qué ocurre con las encuestas que miden estados subjetivos?, ¿Tienen en ese caso las respuestas un interés en sí mismas? Pues tampoco. Pensemos en una encuesta que intenta conocer la ‘credibilidad’ que tienen los líderes políticos para los votantes. Los entrevistadores piden a los encuestados que ordenen los líderes políticos desde el que tiene una mayor credibilidad hasta el que tiene menos. Las ordenaciones concretas tienen interés si reflejan de forma adecuada la variable ‘credibilidad’; variable que, a su vez, puede predecir parcialmente determinados comportamientos, por ejemplo, el voto en las siguientes elecciones. El autor del cuestionario no puede ignorar que las respuestas obtenidas serán después interpretadas. Anticipar las interpretaciones le proporcionará otro elemento clave para valorar la calidad de las preguntas e instrumentos que desee incluir en el cuestionario.

-99-

4. PASOS PARA LA ELABORACIÓN DEL CUESTIONARIO La elaboración del cuestionario no empieza con la redacción de las preguntas. Esta declaración no debería sorprender a nadie: la construcción de una casa tampoco se inicia levantando las paredes de las habitaciones. Seguro que nadie viviría, si lo pudiera evitar, en una casa construida sin los planos de un arquitecto; tampoco nadie debería elaborar o utilizar un cuestionario sin hacer o disponer de una planificación del mismo. Además, las casas antes de ser habitadas deben pasar una serie de inspecciones y controles; los cuestionarios deben salvar también una serie de controles que puedan detectar errores o defectos en su elaboración. La analogía entre la elaboración del cuestionario y la construcción de una casa debe servir para consolidar la idea de que estamos ante un proceso con una serie de pasos, algunos de los cuales son ‘controles de calidad’ del producto. Los pasos que proponemos para este proceso son: - Determinación precisa de los objetivos del cuestionario. - Planificación del cuestionario. - Elaboración y/o selección de las preguntas y/o tests. - Análisis de la calidad de las preguntas y/o tests. - Disposición provisional de las preguntas y/o tests en el cuadernillo. - Análisis de la fiabilidad y validez del cuestionario. - Edición final del cuestionario. Los atributos más detestables del proceso son la “sistematicidad” y “flexibilidad”. Sistematicidad por existir un orden “lógico” en las tareas a realizar, y flexibilidad, por que las actividades realizadas en un paso pueden modificar el trabajo realizado en pasos anteriores. Por ejemplo, el análisis de la calidad de las preguntas puede aportar información relevante para modificar la redacción de algunas de ellas. Dedicaremos ahora un apartado a los pasos más relevantes del proceso, dejando, por ejemplo, el análisis de la fiabilidad y validez para un capítulo posterior.

5. EL OBJETIVO DEL CUESTIONARIO El primer paso en la elaboración del cuestionario es describir con el mayor detalle posible el objetivo u objetivos que pretende lograr. Obviamente, la primera fuente de información es el objetivo de la encuesta. No olvidemos que el cuestionario es el instrumento de recogida de información de la encuesta: el objetivo de la encuesta es el objetivo del cuestionario. Los problemas pueden aparecer si el objetivo de la encuesta no está definido con precisión. Dada la continua interacción entre los pasos de la investigación por encuesta, el inicio de la elaboración del cuestionario puede ser un momento oportuno para retomar el objetivo de la encuesta. Harvatopoulos, Livan y Sarnin (1992) consideran que un cuestionario puede responder a tres objetivos: - Estimar magnitudes. Por ejemplo, para estimar el porcentaje de votantes de un partido político en unas elecciones. - Describir una población. Describir las características de un determinado grupo social (p.e. intereses, problemas, composición étnica, etc.). - Verificar hipótesis. Se trata de obtener los datos para examinar hipótesis sobre relaciones entre variables (p.e. varia la intención de voto con la edad, la importancia atribuida al trabajo depende del genero, etc.).

-100-

Sea cuál sea el objetivo, debe estar definido con precisión. Ahora bien, ¿cómo saber si el grado de precisión de la definición es suficiente? Nos atrevemos a proponer dos criterios que pueden ayudar a valorar la claridad de los objetivos: - Cualquier persona que lea la declaración del objetivo debe coincidir en las variables que es necesario medir para alcanzarlo, y - en el caso de una hipótesis, se debe conseguir el mayor consenso posible en el tipo de resultados que confirmaría o rechazaría la hipótesis. Somos conscientes de que el problema es mucho más complejo, pero los dos criterios anteriores pueden ayudar a caminar por un territorio más confuso de lo que se suele reconocer. A pesar de su importancia, la formulación del objetivo se suele hacer en términos muy vagos: situación educativa, calidad de la enseñanza, conservadurismo, necesidades sanitarias o de salud, etc. Términos confusos que más adelante será necesario definir. Las siguientes declaraciones presentan ejemplos de objetivos: conocer los juicios de los alumnos sobre la calidad de la enseñanza universitaria, predecir la intención de voto en las próximas elecciones, describir las opiniones con respecto a la despenalización del aborto, etc. ¿Porqué insistir tanto en la necesidad de tener un objetivo claramente definido? El objetivo es el ‘foco de la encuesta’, es decir, todas las decisiones que afectan a la elaboración del cuestionario se deben tomar por su contribución al objetivo de la encuesta. La función que desempeña el objetivo de la encuesta es tan importante que debemos detenernos hasta no tener una declaración precisa del mismo. El autor debe iniciar ahora la planificación del cuestionario, pero antes, debemos apuntar el efecto que sobre el cuestionario tienen dos conjuntos de factores que hemos agrupado bajo las denominaciones del ‘contexto de la encuesta’ y los ‘recursos disponibles’. Son tratadas en este apartado por que pueden llegar a condicionar el objetivo de la encuesta, y por tanto, del cuestionario. 5. 1. El contexto de la encuesta Las encuestas se administran en un contexto social, económico y cultural. Las características de este contexto influirán claramente en la redacción de las preguntas. Numerosos autores han prestado atención a la importancia del contexto de realización de la encuesta en la elaboración del cuestionario (p.e. Fink, 1995a, 1995b; Foddy, 1996; Fowler, 1993). Sin duda, el elemento más importante del contexto son las característica de los propios encuestados. Fundamentalmente, el nivel de compresión del lenguaje utilizado en el cuestionario y el grado de conocimiento sobre el tema de la encuesta. Imaginemos, por ejemplo, la realización de una encuesta en una localidad con personas de diferentes procedencia y dominio del lenguaje. La formulación de las preguntas deberá adaptarse a estas circunstancias. La redacción de las preguntas debe atender a nuestras necesidades de información, pero también a que los encuestados las puedan responder de forma fácil y precisa. Es necesario examinar la adecuación del lenguaje utilizado en las preguntas al nivel del lenguaje de los encuestados. Por ejemplo, si la habilidad lectora varía considerablemente entre los encuestados es necesario formular las preguntas de manera que puedan ser leídas y comprendidas por el mayor número de encuestados. También hay que estar seguro de que los encuestados tienen un conocimiento suficiente para responder a las preguntas. Plantear preguntas que no sepan contestar puede ser extremadamente frustrante. Imaginemos que a personas de un nivel cultural bajo les hacemos la siguiente pregunta: ¿qué opina de la fluctuaciones del producto interior bruto de España en la última década?. Preguntas que los encuestados no sepan responder les lleva a

-101-

responder al azar o a rechazar la respuesta. Los encuestados también pueden tener dificultades para responder preguntas sobre sus comportamientos o acciones pasadas o futuras, por ejemplo: ¿cuántas veces fue al médico especialista los últimos dos años? Otro factor relevante del contexto es si las respuestas serán o no anónimas. Las respuestas a preguntas comprometedoras dependerán fuertemente de las condiciones en que se administre y responda a la encuesta, y la formulación de las preguntas deberá adaptarse también a estas circunstancias. Las características de los encuestados, la redacción de las preguntas, la confidencialidad posible de las respuestas... son elementos que el autor del cuestionario debe considerar en la misma formulación de los objetivos del cuestionario, y en su planificación. 5.2. Los recursos disponibles El número de preguntas incluidas en la encuesta depende primero de lo que necesitemos conocer, y de cuantas preguntas sean necesarias para obtener una medida adecuada de las variables implicadas en el objetivo de la encuesta. Pero, desgraciadamente, no son estas las únicas consideraciones. Influirán también el tiempo disponible para hacer la encuesta; tiempo que estará en función del tamaño de la muestra, medios económicos, modelo de muestro, etc. Es obvio que en una administración de media hora podemos hacer más preguntas que en una de 10 minutos. La planificación del cuestionario no es ajena al número de preguntas que se podrán hacer durante la encuesta. Otro factor, directamente relacionado con los recursos disponibles, es la elección y formación de los encuestadores. El encuestador ideal es aquel que siempre hace las preguntas de la misma manera a todos los encuestados. De esta forma, el encuestador no se convertirá en una fuente de error que impida la comparación y generalización de la información. Además de su propia formación y experiencia, las preguntas deben contribuir a que el encuestador no se vea obligado a dar información, interpretar el sentido de las preguntas, intuir la orientación y las respuestas previstas, etc. Esto sólo se puede conseguir con preguntas concretas, relevantes y fáciles de entender por los encuestados. La experiencia y formación de los encuestadores influirá también en el formato y complejidad de las preguntas del cuestionario.

6. EL DISEÑO DEL CUESTIONARIO La finalidad del diseño es plasmar el objetivo o propósitos del cuestionario en un conjunto de preguntas relevantes y en la elaboración o selección de los tests necesarios para medir las variables. Podemos retomar una analogía anterior. Una vez que hemos aclarado con los propietarios, la relación de habitaciones y sus características – los objetivos – ha llegado el momento de dibujar los planos: el diseño del cuestionario. El autor del cuestionario debe abordar en el momento del diseño dos actividades: a) Clarificar las declaraciones sobre los objetivos del cuestionario La tarea ahora es ‘diseccionar’ los enunciados sobre el objetivo del cuestionario hasta aislar todas las áreas de contenido e identificar las variables implicadas en cada una. Este proceso obliga también a clarificar los términos utilizados para definir los objetivos. Es posible que se deba volver al paso anterior para precisar el significado atribuido a algunos de los términos. Para clarificar los objetivos del cuestionario es necesario:

-102-

- Detallar las áreas de contenido. Por ejemplo, supongamos que deseamos conocer la calidad de la enseñanza universitaria. Antes de nada, necesitamos “diseccionar” el concepto “calidad de la enseñanza”, dividiendolo en los siguientes aspectos como: profesorado, planes de estudio, medios disponibles, niveles de exito académico, satisfacción de los alumnos, formación previa de los alumnos, etc. - Especificar los aspectos concretos de cada área. Siguiendo con el ejemplo anterior, respecto a cada una de las áreas deberemos especificar los aspectos que la componen. Por ejemplo, para el área “profesorado”: edad, genero, antigüedad en el puesto, nivel profesional, formación para las asignaturas, satisfacción con el trabajo, etc. De igual modo habría que proceder con cada una de la áreas anteriores. El resultado de esta primera actividad de la planificación debe ser una relación exhaustiva de las variables o contenidos que el cuestionario debe incluir. Por supuesto, la exhaustividad y nivel de detalle estará en función principalmente del objetivo de la encuesta, pero también de los aspectos mencionados antes: contexto y recursos disponibles. b) Identificar los indicadores necesarios para cada área de contenido La redacción de las preguntas es una tarea difícil y lenta. Si no dispusieramos de una relación exhaustiva de los indicadores que debemos elaborar y/o seleccionar, lo más probable es que nos centremos en aquellos contenidos más fáciles de medir y descuidemos los que requieran preguntas más complejas. El castigo es claro: descuidar aspectos clave para alcanzar el objetivo de la encuesta. Los recursos y el esfuerzo invertido pueden caer en saco roto por una descuidada planificación del cuestionario. Fink (1995a) recomienda conseguir una relación estructurada de las variables que va a medir el cuestionario y de las preguntas y tests necesarias para cada una de ellas. Para ilustrar la tarea podemos recurrir a uno de los objetivos apuntados en ejemplos anteriores: la evaluación de la calidad de la enseñanza universitaria. La tabla siguiente muestra la relación de variables e indicadores necesarios para una de sus areas de contenido: el profesorado. Área de contenido: Profesorado VARIABLES

INDICADORES

TIPO

Edad

1

1 Pregunta abierta

Genero

1

1 Pregunta cerrada

Antigüedad en el puesto

2

2 Preguntas cerradas

Nivel profesional

1

1 Pregunta cerrada

Formación para la asignatura

2

2 (1 abierta y 1 cerrada)

Satisfacción con el trabajo

1

1 Test tipo Likert

La especificidad con la que se realice esta tarea es una decisión del autor del cuestionario. Por ejemplo, nada impide ‘desmenuzar’ aún más la información anterior incluyendo qué tipo de preguntas se debe emplear en cada caso, e incluso, si es necesaria más de una pregunta para un aspecto, indicando el elemento de información que cada una debe plantear. Este prodría ser el caso en el ejemplo anterior para la “antigüedad en el puesto”: una pregunta pediría información sobre la “antigüdad en el grado académico” (licenciado o doctor); y otra, sobre la “antigüedad” en la categoría profesional (contratado o funcionario).Un consejo: se debe invertir todo el tiempo necesario hasta tener una planificación precisa del cuestionario. Por otra parte, el rigor en las especificaciones no se debe entender

-103-

como un ‘corsé’ a la creatividad: la interacción continua a lo largo del proceso de elaboración permite en todo momento rectificar decisiones anteriores. Siempre se está a tiempo de hacer una “chapuza” en la casa.

7. RECOMENDACIONES PARA HACER LAS PREGUNTAS DEL CUESTIONARIO Las recomendaciones persiguen sobre todo redactar preguntas fiables: dos encuestados en la misma situación deben dar la misma respuesta a la pregunta; y válidas: relacionadas con el objetivo del cuestionario. La mayoría de estas recomendaciones son resultado de la experiencia acumulada y tienen un carácter “colectivo”: suelen aparecer con ligeras variantes en todas las monografía sobre la elaboración del cuestionario (p.e. Bosh y Torrente, 1993; Harvatopoulos, Livan y Sarnin, 1992; Fink, 1995a, 1995b; Fowler, 1993; Santesmaes, 1997). Estos consejos prácticos no garantizan en términos absolutos la redacción de preguntas adecuadas. Al igual que con los instrumentos musicales, no podemos asegurar que la encuesta ‘suene perfecta’, pero al menos debemos intentar construir un ‘buen instrumento’. Por otra parte, el autor de las preguntas no debe estar atenazado por la responsabilidad de atenerse a estos consejos “al pie de la letra”: las preguntas serán después revisadas para detectar posibles errores cometidos en la redacción. Es necesario hacer una distinción antes de presentar las recomendaciones habituales para la redacción de las preguntas. Por razones didácticas vamos a distinguir entre ‘preguntas factuales’ y ‘preguntas subjetivas’. Las preguntas factuales están diseñadas para medir hechos o sucesos que podrían ser medidos de manera objetiva. Son aquellas preguntas en las que se podría comprobar la precisión de la respuesta por algún tipo de observación independiente. Por ejemplo, la pregunta ¿cuántas veces ha ido al médico la última semana? Es una pregunta factual. Teóricamente, el investigador podría obtener este dato de forma precisa sin necesidad de preguntarle al encuestado: recurriendo a los registros del centro de salud. Las preguntas subjetivas pretenden medir actitudes, opiniones, sentimientos y creencias de las personas. Es evidente que no hay un medio objetivo de comprobar la precisión de las respuestas de las personas, ya que sólo el encuestado tiene acceso a sus estados subjetivos. La comprobación de las respuestas sólo es posible de forma indirecta por su asociación con otros patrones de respuesta. Hay, sin duda, preguntas que difícilmente podríamos localizar en una de estas dos categorías por estar entre ambas, por ejemplo, ¿a qué partido votaría si se celebrarán hoy las elecciones?. No obstante, la distinción es adecuada para valorar el alcance de las recomendaciones a seguir en la redacción de las preguntas. Empezaremos con las recomendaciones dirigidas a la redacción de preguntas factuales, por ser las más utilizadas en los cuestionarios. 7. 1 Recomendaciones para elaborar preguntas factuales Antes de entrar en las recomendaciones concretas, recordemos el tipo de pregunta que debemos intentar redactar. Las preguntas deben facilitar la consistencia en la medida, es decir, que cada encuestado de la muestra responda al mismo conjunto de preguntas. Debemos procurar que las diferencias entre las respuestas sean atribuibles a diferencias de los encuestados en las variables de interés, y no a fuentes de variación no deseadas (i. e. errores de medida).

-104-

7.1.1. Hacer preguntas relevantes La relevancia de las preguntas depende de su relación con los objetivos de la encuesta. No se deben hacer preguntas ‘superfluas’. Por ejemplo, en una encuesta sobre el transporte por autobús, los encuestados esperan preguntas sobre la rapidez, comodidad, número de autobuses, etc. Si se hacen preguntas que no parezcan tener relación con los autobuses (edad, hábitos de lectura, etc.), habrá que justificar explícitamente su necesidad, por ejemplo, indicando que esta información es necesaria para saber si la empresa de transportes está cubriendo las necesidades de todos sus clientes. 7.1.2. Hacer preguntas concretas Las cuestiones deben ser precisas y no ambiguas. Una pregunta precisa es aquella que dos encuestados diferentes entienden de la misma forma. Por ejemplo, suponga que estamos preguntando sobre el estado de salud. Dos personas con historias de salud diferentes (una habitualmente sana pero con problemas de salud en los últimos días, y otra con una enfermedad crónica), pueden responder en términos similares a una pregunta ambigua. Ejemplo: - Mala redacción: ¿Cómo describiría su salud? Introduciendo un periodo de tiempo se puede hacer más precisa: - Mejor: ¿Cómo describiría su estado de salud en las últimas dos semanas? En definitiva, cuanto más detalles podamos aportar más precisa será la respuesta 7.1.3. Emplee periodos de tiempo proporcionales a la importancia de la pregunta Preguntar a las personas sobre hechos poco relevantes en un periodo largo de tiempo suele conducir a respuesta poco fiables por intentar adivinar. Así, es recomendable utilizar periodos de un año o más para los principales hechos de la vida (comprar una casa, ocurrencia de enfermedades serias, nacimiento de un niño, etc.), y periodos de un mes o menos para hechos o acontecimientos menores. Sin embargo, los periodos de tiempo no pueden ser tan cortos que los acontecimientos puedan no haber ocurrido. Ejemplo: - Mala redacción: ¿Cuánto ha tardado en dormirse, en promedio, durante los últimos seis meses? - Mejor: ¿Cuánto tiempo ha tardado en dormirse, en promedio, en las últimas dos semanas?. 7.1.4. Utilice un lenguaje convencional La encuesta no es una conversación. Para obtener información precisa es necesario redactar las preguntas con una estructura gramatical, puntuación y vocabulario estándar. La redacción de las preguntas debe perseguir que el mayor número de personas las entienda. Algunos consejos habituales son:

-105-

a. Utilizar frases completas: El ejemplo más simple de redacción inadecuada es la utilización de frases incompletas. Ejemplo: - Mala redacción: ¿Edad? Comentario: La pregunta parece simple pero las personas pueden entenderla de diferentes formas (edad actual, numero de años que va cumplir, ‘metido en 54', etc.) - Mejor: ¿Cuántos años cumplió en su último cumpleaños? Examine también este caso: Ejemplo: - Mala redacción: ¿Lugar de residencia? Comentario: Significa distintas cosas para diferentes personas. Por ejemplo: región, ciudad, barrio, residencia familiar, etc. - Mejor: ¿Cuál es el nombre de la ciudad en que vive en la actualidad? Ante preguntas incompletas, el entrevistador probablemente (o el encuestado) tendrá que añadir palabras o expresiones para hacer más inteligible la pregunta o la respuesta, introduciendo fuentes de variabilidad no deseadas. En definitiva, las frases completas expresan mejor una idea o pensamiento completo y claro. Podemos analizar otro caso de redacción incompleta que presenta algunos problemas. Ejemplo: - Y de los siguientes aspectos de su ciudad, ¿qué valoración general (muy malo, malo, regular, bueno, muy bueno) le merece en cuanto a la calidad de...? Espacios verdes y jardines, instalaciones deportivas, transporte público, policía y seguridad ciudadana. Presenta varios problemas: a) el orden del enunciado. Si las alternativas de respuesta son leídas antes de pensar en el contenido específico del item, lo más probable es que el encuestado olvide las alternativas y el entrevistador tenga que repetírselas; b) el encuestado no va a seguir un patrón consistente de evaluación. b) Evitar abreviaturas. Deben evitarse al menos que se esté seguro de que todas las personas conocen su significado. Ejemplo: - Mala redacción: ¿Cree que el IPC refleja la carestía de la vida? - Mejor: ¿Cree que el índice de precios al consumo refleja la carestía de la vida?

-106-

c) Evitar expresiones coloquiales y tecnicismos. Las primeras se deben evitar, ya que cambian rápidamente y no todo el mundo está al tanto de las últimas expresiones. Su utilización está justificada sólo cuando estemos seguros de que todo el grupo de encuestados conoce los términos de las preguntas. Hay, otro problema añadido: la comunicación de los resultados a una audiencia general puede ser más difícil. La misma consideración es aplicable a las expresiones técnicas: sólo deben utilizarse cuando estemos seguros de que todas las personas los conocen. Compruebe el siguiente caso.

Ejemplo: - Mala redacción: ¿Cuántas veces a la semana va Ud. a la plaza? - Mejor: ¿Cuántas veces a la semana va Ud. al mercado? 7.1.5. Utilice preguntas que hayan sido utilizadas con éxito en otras encuestas. Las encuestas del INE (instituto Nacional de Estadística) y las EPA's (Encuestas de Población Activa) son unas fuentes de preguntas muy utilizadas y reconocidas, por ejemplo, para preguntar por las profesiones. Esto nos asegura mayor fiabilidad y mejor comunicación de los resultados. 7.1.6. Utilice preguntas breves Las preguntas breves requieren menos tiempo y menos atención lectora, aunque también aportan información menos detallada. Las preguntas largas generalmente dan antecedentes a los encuestados y les ayudan a recordar o pensar en las razones por las que hacen algo o mantienen una opinión. - Breve: ¿Cómo influiría en su decisión de recurrir a la cirugía estética el que su pareja haya sido operado/a? - Larga: Habrá oído hablar de que cada vez más personas recurre a la cirugía... Las preguntas largas son útiles para obtener información sobre temas ‘sensibles’ (salud o hábitos personales) o cuestiones objeto de debate social (control de armas). Al utilizar preguntas largas en cuestionarios autoadministrados es necesario contar con el tiempo necesario para leer la pregunta y responder. 7.1.7. Redactar con cuidado las preguntas comprometidas Debemos saber que este tipo de preguntas pueden inducir a que el encuestado deje de responder o a que directamente tire el cuestionario a la papelera (sobre todo si están al principio del cuestionario). Preguntas de este tipo son las relativas a temas como ingresos, situación laboral, consumo de sustancias ilícitas, hábitos sexuales, etc. Si es necesario hacer este tipo de preguntas (después de haber reflexionado seriamente sobre su pertinencia), hay diversos procedimientos para ‘suavizar’ la pregunta. Por ejemplo, utilizar intervalos amplios en las respuestas sobre ingresos económicos, introducir mensajes que ayuden a poner en situación al encuestado, aproximarse sucesivamente a la pregunta, etc. Veamos algunos ejemplos.

-107-

Los autores de encuestas en ocasiones ‘cargan’ una pregunta para obtener información sobre temas embarazosos o polémicos. El objetivo de ‘cargar’ una pregunta es animar al encuestado a que dé una respuesta verdadera en lugar de una ‘socialmente aceptable’. Por ejemplo: - ¡Usted no es el único!. Los padres se enfadan con sus hijos frecuentemente. En la pasada semana. ¿Cuántas veces se ha enfadado con sus hijos? - Mala redacción: ¿Se ha llevado alguna vez algo de un supermercado sin pagar? Sí

No

Aproximación sucesiva. - Habrá oído comentar que los supermercados pierden anualmente millones de pesetas por pequeños robos o hurtos. Las empresas del sector quieren proponer al gobierno que se endurezcan las penas por este tipo de delitos. Esta propuesta está provocando una fuerte polémica. Algunas personas están a favor y otras en contra. ¿Qué piensa usted? ¿Está usted de acuerdo o en desacuerdo con endurecer las penas a las personas que se lleven cosas sin pagar de los supermercados? Totalmente

Bastante

Di de acuerdo

Bastante

Totalmente

en desacuerdo

de acuerdo

ni en desacuerdo

de acuerdo

de acuerdo

- Muchas personas se han llevado alguna vez algo sin pagar del supermercado. ¿Conoce a alguna persona de su entorno laboral, vecinos o familia que lo haya hecho? Sí

No

- Trate ahora de recordar. ¿Alguna vez ha pensado Ud. en llevarse algo sin pagar del supermercado? Sí

No

Sí

No

- ¿Lo ha llegado a hacer?

Sin duda, la aproximación sucesiva es más costosa, pero es el precio a pagar por una mayor sinceridad en las respuestas. 7.1.8. Evitar palabras y frases sesgadas Las frases y palabras sesgadas pueden elicitar respuestas emocionales que no tengan nada que ver con el tema objeto de la encuesta. Palabras como: aborto, pro-vida, “rojo”, etc., puede disparar respuestas emocionales o prejuicios. También hay que advertir que el sesgo en las palabras tiende a cambiar con el tiempo. El sesgo puede evitarse fácilmente con una revisión de las preguntas por expertos o posibles encuestados. 7.1.9. Evitar preguntas con más de una idea

-108-

Las preguntas con más de una idea en su redacción, por ejemplo: ¿el gobierno debe seguir financiando la educación y la sanidad?, puede introducir confusión en los encuestados, ya que realmente se trata de dos preguntas. Ejemplo: - Mala redacción: ¿Cree que la política económica y exterior del gobierno es adecuada? - Mejor: ¿Cree que la política económica del gobierno es adecuada? - Mejor: ¿Cree que la política exterior del gobierno es adecuada? 7.1.10. Evitar redacciones negativas Suelen ser difíciles para los encuestados ya que requieren un ejercicio de pensamiento lógico. Imaginemos que estamos pidiendo que la persona nos diga si está de acuerdo o en desacuerdo con el siguiente enunciado: las Naciones Unidas no deberían inhibirse de los asuntos internos de los países. Algunas personas podrían no leer el no y responder en sentido contrario a su opinión; y otras primero traducirían el enunciado a términos afirmativos y luego responderían. 7.1.11. Utilizar indicaciones opcionales Hay circunstancias en las que es recomendable aportar una redacción opcional de la pregunta. Siempre debe estar indicado como tal, entre paréntesis “()”, y el entrevistador la utilizará cuando sea necesario. Ejemplo: - Ha sido usted (o alguien que viva con usted) atacado por un extraño en el último año? - ¿Informó usted (él o ella) del ataque a la policía? En general, las indicaciones entre paréntesis permiten al entrevistador hacer preguntas que tengan sentido, teniendo en cuenta la información obtenida con otras preguntas con objeto de adaptarlas a las circunstancias individuales del encuestado. El uso de indicaciones debe hacerse con precaución, ya que la indicación no está prevista para aclarar el significado de preguntas confusas o ambiguas. Ejemplo: - Mala: ¿Qué piensa de su barrio? (Nos interesa su opinión sobre vivienda, zonas verdes, infraestructura, etc.) 7. 2. Preguntas abiertas en comparación a preguntas cerradas Las preguntas del cuestionario se suelen agrupar en dos categorías principales: preguntas abiertas y preguntas cerradas. Las preguntas cerradas son aquellas en las que las respuestas han sido previstas por el investigador y son ofrecidas al encuestado para que elija la que considere más adecuada. Las preguntas abiertas no ofrecen respuestas al encuestado y es él quien tiene que responder con sus propias palabras. En general, las preguntas cerradas son consideradas más fiables y eficaces que las preguntas abiertas, pero ambas tienen sus ventajas e inconvenientes. 7. 2. 1. Preguntas abiertas

-109-

El encuestado tiene que dar las respuestas con sus propias palabras. Son útiles cuando se pretende obtener respuestas no previstas. Algunos encuestados (los de mayor nivel cultural o con mayor conocimiento del tema) pueden sentirse más cómodos con las preguntas abiertas que con las cerradas. El inconveniente principal es que las respuestas a las preguntas abiertas deben ser categorizadas e interpretadas. Ejemplo: - ¿Cuántas veces ha tenido problemas para dormirse en el último mes? Respuestas posibles: No demasiadas veces Sobre el 10% de las noches Mucho menos que el mes anterior La utilización de preguntas abiertas plantea una pregunta inevitable: ¿Hasta qué punto las respuestas anteriores son equivalentes? 7. 2. 2. Preguntas cerradas Son más difíciles de escribir que las preguntas abiertas ya que debemos anticipar las posibles respuestas. Sin embargo, algunos encuestados prefieren este tipo de preguntas por no estar dispuestos o no ser capaces de expresarse sobre el tema objeto de la encuesta. Además, las preguntas cerradas facilitan la categorización y análisis de las respuestas. ¿Cómo podemos decidirnos por un tipo de pregunta u otro? El cuadro siguiente puede ayudar en el proceso de decisión:

Objetivo

ABIERTA

CERRADA

Obtener información directa de los

Obtener datos de juicios u ordenaciones

encuestados con sus propias palabras Características de

Nivel cultural medio-elevado y con

Nivel

los encuestados

conocimiento y opinión sobre el tema

conocimiento y opinión sobre el tema

cultura

medio-bajo

y

sin

Forma de hacer

No disponer de las posibles respuestas.

Respuestas previstas

las preguntas

Posibles respuestas muy numerosas

Análisis de los

Posibilidad de categorizar y analizar

Descripción meramente cuantitativa de

resultados

respuestas muy heterogéneas

las respuestas

Comunicar los

Descripción individual de los tipos y

Información estadística de las respuestas

resultados

categorías de respuestas

7. 3. Preguntas llave o filtro Las preguntas filtro o llave son aquellas que en función de la respuesta dirigen a unos encuestados, pero no a otros, hacia unas preguntas concretas del cuestionario y no a otras.

-110-

De una encuesta sobre la adicción a los juegos de azar podemos extraer la siguiente pregunta filtro:

1) ¿Con qué frecuencia juega al bingo? a) Nunca

Si contesta a) pasar a la pregunta 3

b) Una vez al mes

Si contesta b), c) o d) pasar a la pregunta 2

c) Varias veces al mes d) Varias veces a la semana 2) ¿Cuánto dinero se gasta aproximadamente cada vez que juega al bingo? a) Menos de 1000 ptas. b) De 1001 a 3000 ptas. c) De 3001 a 5000 ptas. d) Más de 5000 ptas. Esta práctica divide la muestra entre los encuestados con unas determinadas características y los que no las tienen. Por ejemplo, los que contestan a la pregunta 2) de la encuesta sobre la adicción al juego y los que no la contestan. Esta disminución en el tamaño de la muestra habrá de ser considerada en el análisis de los resultados. Como regla general se recomienda evitar este tipo de preguntas, especialmente en los cuestionarios autoadministrados, donde no esta el entrevistador para solucionar posibles problemas. Es difícil dejar claro a unos encuestados y a otros lo que tienen que hacer. Si tienen que saltar por secciones enteras del cuestionario, el problema se complica aún más. En caso de tener que utilizarlas se recomienda utilizar flechas indicadoras del ‘trayecto’, justificar las preguntas a la derecha para que se puedan distinguir, presentar instrucciones precisas sobre cuál es la siguiente pregunta a la que tiene que responder, etc.

8. MEDICIÓN DE ESTADOS SUBJETIVOS La denominación ‘estados subjetivos’ es estrictamente metodológica. Hace referencia a los sentimientos, actitudes, creencias, etc. de las personas.. Por comodidad y tradición, podemos referirnos a este conjunto heterogéneo de variables con el nombre de ‘actitudes’. Dejando a un lado discusiones no relacionadas con nuestro interés principal - la medición de actitudes -, podemos recurrir a la definición de actitud elaborada por Lambert (1989:217): Una actitud es “una respuesta evaluativa, relativamente estable, en relación a un objeto, que tiene componentes o consecuencias cognitivas, afectivas y probablemente comportamentales”. Morales y Moya (1996) incidirán en la estructura de las actitudes en torno a los componentes cognitivo, afectivo y comportamental, que es de gran utilidad durante la elaboración del cuestionario ya que proporciona la base de su diseño. Al tener nuestro interés un carácter fundamentalmente metodológico, podemos utilizar el concepto de actitudes para nombrar un conjunto difuso formado por: sentimientos, creencias, opiniones, afectos, juicios, etc., dadas las similitudes que comparten las metodologías para medir esos tipos de variables. Los objetivos de la encuesta pueden hacer necesario elaborar un ‘test’ para medir alguna variable de este tipo. Necesidad que se debe reflejar en

-111-

el diseño del cuestionario. Dedicaremos un breve apartado al modelo más popular para la medición de actitudes: el modelo de Likert. No obstante, empezaremos por otra aproximación utilizada por los investigadores para medir actitudes prescindiendo de los requisitos formales y técnicos que conllevan la mayoría de estos instrumentos: los tests de ordenación. La medición de actitudes presenta algunos problemas peculiares y otros comunes a la medición de variables psicosociales. Conocer estos problemas es básico para afrontar la tarea de medir actitudes: - El concepto de actitud (en general, y en particular cuando se refiere a una actitud determinada) es un constructo. Sirve para ‘ver’ orden y consistencia en lo que las personas dicen, piensan y hacen; y así, dados ciertos comportamientos, intentar hacer predicciones de comportamientos futuros. Pero como tal constructo no puede medirse directamente sino que debemos inferir su presencia a partir de determinadas muestras de conducta. - Los comportamientos, creencias y sentimientos (en definitiva, las tres fuentes fundamentales para inferir las actitudes) no siempre coinciden, incluso aunque supongamos que reflejan una única actitud. El estudio de La Piere (1934) reveló de forma dramática la incongruencia entre declaraciones y comportamientos de prejuicio racial. Esta ‘incongruencia’ puede hacer que si nos centramos en una sola manifestación (comportamiento, creencias o sentimiento), nuestra descripción de la actitud pueda resultar distorsionada. - Las actitudes son variables especialmente inestables, tanto, que no tenemos garantías de que la actitud que pretendemos medir permanezca estable el tiempo suficiente para que la medida en una sola ocasión resulte fiable. - La medida de la mayoría de las actitudes suele hacerse sin que exista un acuerdo universal sobre su naturaleza. La importancia de estos problemas depende del objetivo, contexto y nivel de análisis al que se necesite realizar la medición. Por ejemplo, las mediciones de actitudes a nivel grupal requieren menor precisión que las mediciones a nivel individual. Hay numerosos instrumentos disponibles para medir actitudes. Sólo nos vamos a referir a los dos que con más frecuencia se utilizan en la investigación por encuesta: 8. 1. Tests de ordenación Los tests o escalas de ordenación son un conjunto de frases o enunciados actitudinales que expresan el rango de posibles actitudes sobre un objeto. La utilización de esta estrategia tiene sus primeros antecedentes en los trabajos de Thurstone para medir las actitudes de una persona (Thurstone, 1929). No obstante, la utilización más común de este procedimiento en el contexto de la investigación mediante encuesta persigue meramente la descripción de las opiniones o juicios de una población. Por ejemplo, un test de ordenación para medir la actitud hacia la escuela de niños en edad escolar, podría estar formado por las frases siguientes: - La escuela enseña cosas que ayudan a conseguir trabajo. - En general, los profesores se preocupan de sus estudiantes. - La escuela es interesante. - La escuela es aburrida. - Hay demasiadas reglas en la escuela.

-112-

La tarea de la persona es leer cada frase y ordenarlas en función de su opinión o valoración. La redacción de las frases debe procurar que fuera posible “localizarlas” en diferentes puntos de una sola dimensión por su valoración del objeto actitudinal. Dos criterios ayudan en este objetivo: 1) el contenido de todas las frases se debe referir al mismo objeto; y 2) deben expresar distinto grado de actitud hacia el objeto. Aunque hay procedimientos analíticos sofisticados para analizar este tipo de respuestas (Crocker y Algina, 1986), lo más común es que el investigador se limite a una análisis descriptivo de la ordenación más frecuente o común en la población, o de la posición de cada elemento en diferentes grupos demográficos. 8. 2. Tests tipo Likert Propuesto por Likert en los años 30 es, sin duda, el modelo de medición de actitudes más popular e intuitivo como éste. Es más, hoy día cualquier escala en la que la puntuación de una persona se obtenga por la suma de sus respuestas graduadas a los items que la forman, recibe el nombre de escala ‘sumativa’ o escala tipo Likert (Spector, 1992). El modelo puede describirse brevemente de la forma siguiente: 1. Se presenta a un grupo de personas un conjunto de items formado por aproximadamente el mismo número de items favorables y desfavorables al objeto actitudinal. 2. A continuación, se pide a las personas que respondan a cada una de las frases en función de su grado de acuerdo o desacuerdo con ellas. 3. El último paso es combinar las respuestas de las personas de manera que aquellos que tienen una actitud más favorable obtengan las puntuaciones más altas, y los que tienen una actitud más desfavorable las puntuaciones más bajas. El modelo de escalamiento implica un único tipo de estímulos y un único tipo de respuestas. El modelo asume unos supuestos sobre la naturaleza de los items y de la escala final que pueden resumirse en: 1) Las variaciones sistemáticas en las respuestas de las personas a los items se deben únicamente a las diferencias entre las personas. Es decir, los items no aportan nada a la variabilidad sistemática de las respuestas, cada item es considerado una replicación de los otros. 2) Los items están relacionados monotómicamente con la variable actitudinal que se supone miden. Cuanto más favorable (o desfavorable) sea la actitud de la persona, mayor (o más baja) será su puntuación en el item. 3) Los items miden una única variable, es decir, forman una escala unidimensional. En la mayoría de las aplicaciones del modelo, los supuestos no son sometidos a examen. El proceso para elaborar una escala de este tipo sigue una serie de pasos bien establecidos (Morales, 1988). Sólo vamos a incidir en las recomendaciones para la redacción de las preguntas, por su interés para los objetivos del capítulo. Podemos enumerar cinco reglas que ayudarán a escribir buenos items: - Cada item debe expresar una y solamente una idea. Si el item expresa más de una idea lo más probable es que consigamos confundir a las personas. Será muy fácil que la persona no sepa a cuál de las dos ideas expresadas en el enunciado nos referimos.

-113-

- Utilizar items redactados de forma favorable y desfavorable. Es una recomendación generalizada. El escritor de items debe redactar enunciados que representen posiciones favorables y otros desfavorables al constructo. El objetivo de esta recomendación es evitar las denominadas tendencias de respuesta (p.e. aquiescencia, deseabilidad social, etc.). Por ejemplo, en el caso de la aquiescencia si todos los items están redactados de forma positiva, una persona que muestra un sesgo en su respuesta -aquiescencia- obtendrá puntuaciones muy altas -o muy bajas- inflando el cálculo de los estadísticos del item y del test. Cuando hay items redactados de forma favorable y desfavorables, estas personas tienden a situarse en los valores centrales produciendo un efecto mucho menor. El precio a pagar por intentar evitar el sesgo en la respuesta es confundir a las personas (al tener que cambiar su forma de responder), sobre todo en tests largos. Ejemplo de item favorable: - Los inmigrantes deberían tener derecho a la seguridad social. Muy de

En

Ni en desacuerdo

De

Muy de

desacuerdo

desacuerdo

ni de acuerdo

acuerdo

acuerdo

Ejemplo de item desfavorable: - La presencia de inmigrantes hace que aumente el paro entre los españoles. Muy de

En

Ni en desacuerdo

De

Muy de

desacuerdo

desacuerdo

ni de acuerdo

acuerdo

acuerdo

- Evitar coloquialismos, expresiones y jergas. Debe utilizarse un lenguaje estándar y no sujeto a modas temporales que hagan que con el paso del tiempo los items pierdan sentido. - Adecuar la estructura gramatical a las características de las personas que responderán al test. Es necesario buscar un equilibrio entre una redacción del item que garantice la medida del constructo (p.e. utilizando frases subordinadas) y el nivel lector de las personas. Es obvio que si las personas dudan sobre el significado del item no estaremos midiendo de forma adecuada el constructo. - Evitar redacciones negativas. Es una recomendación muy particular. Pero la evidencia acumulada constata que es más difícil para las personas entender las frases negativas que las que expresan la misma idea pero de forma positiva. Importate: No debemos confundir items que representen posiciones desfavorables con items redactados de forma negativa. Ejemplo: - Mala: Cuando entro en un autobús no me agrada sentarme al lado de inmigrantes Muy de

En

Ni en desacuerdo

De

Muy de

desacuerdo

desacuerdo

ni de acuerdo

acuerdo

acuerdo

- Mejor: Cuando entro en un autobús me fastidia sentarme al lado de inmigrantes Muy de

En

Ni en desacuerdo

De

Muy de

desacuerdo

desacuerdo

ni de acuerdo

acuerdo

acuerdo

-114-

9. REVISIÓN DE LAS PREGUNTAS El análisis de la calidad del cuestionario se puede hacer por procedimientos empíricos y por procedimientos subjetivos. La literatura sobre elaboración de cuestionarios no trata con detalle ninguna de las dos aproximaciones. Nuestro objetivo es dar algunas pautas que ayuden en el proceso de revisión. Los contenidos de este apartado están dirigidos a la revisión de las preguntas factuales. Las preguntas o tests diseñados para medir estados subjetivos se pueden revisar mediante procedimientos más formales que están ampliamente descritos en la literatura especializada (Crocker y Algina, 1986). La finalidad general de la revisión es identificar defectos en la redacción de las preguntas que puedan disminuir su fiabilidad y validez. 9. 1. Procedimientos subjetivos El autor del cuestionario puede recurrir a personas familiarizadas con las técnicas de investigación por encuesta o con el tema objeto de la investigación para revisar las preguntas. Para sacar más partido a la tarea es conveniente ‘guiar’ la revisión de las preguntas hacia aspectos concretos. Los trabajos sobre el tema suelen agrupar las cuestiones a revisar en los apartados siguientes: - Contenido: ¿Es necesaria esta pregunta? ¿Son necesarias más preguntas sobre esta cuestión? ¿Es necesario concretar más la pregunta? - Redacción: ¿Se podría expresar de un modo más claro? ¿Cómo? ¿Puede tener varias interpretaciones? ¿Presenta algún sesgo o prejuicio? ¿Las alternativas son exhaustivas? ¿Se solapan las alternativas de respuesta? - Ubicación: ¿Está situada en el lugar adecuado? ¿Pueden influir las preguntas precedentes? También se puede recurrir a un grupo de encuestados potenciales para plantearles cuestiones sobre la claridad de las preguntas. Por supuesto, el responsable de la revisión puede plantearla en términos más formales requiriendo a los expertos, por ejemplo, que examinen la adecuación entre la pregunta y el contenido o variable que pretende medir, que propongan alternativas a los elementos defectuosos, que califiquen la pertinencia de cada pregunta... 9. 2. Procedimientos empíricos La información procede de una administración del cuestionario a un grupo de personas. La calidad de las preguntas es juzgada a partir de algunas propiedades estadísticas de las respuestas obtenidas.

-115-

No es necesario recurrir a un procedimiento formal de muestreo para determinar el número y seleccionar a las personas; basta con que sean suficientes para asegurar la estabilidad de los estadísticos, y de características semejantes a las de la población de personas que responderán a la encuesta. Las dos propiedades estadísticas base del análisis son: a) Proporción de elección de la alternativa ‘No sabe / no contesta’. Las preguntas cerradas suelen incluir como alternativa una opción para las personas que no conocen las respuestas, no encuentran una alternativa adecuada entre las que se les ofrecen o, simplemente, no quieren contestar. Parece evidente que una proporción elevada de respuestas en esta opción está relevando algún problema en la redacción de la pregunta: ambigüedad, falta de exhaustividad en las alternativas de respuesta, etc. El procedimiento para obtener la proporción de elección de esta alternativa ‘saco’ es bastante sencillo:

Si el valor obtenido excede las expectativas del autor del cuestionario debe revisar las preguntas para intentar determinar el origen de este problema. b) Proporción de elección de las alternativas. No es fácil predecir a priori el patrón de elección ‘adecuado’ de las alternativas de respuesta en las preguntas cerradas. Depende, por supuesto, de la distribución de la variable en la población. No obstante, el investigador puede sospechar que hay algún problema en aquellas preguntas con alternativas poco elegidas o con una alternativa mayoritariamente elegida. La obtención de los datos es sencilla:

Los resultados estadísticos no deben ser interpretados como ‘pruebas de valor’: una proporción inesperada en la elección de una alternativa no indica necesariamente que la pregunta sea defectuosa. El resultado se debe utilizar como una señal de alarma que lleve a una nueva revisión de las preguntas.

10. PREGUNTAS DEMOGRÁFICAS Las preguntas demográficas tienen como objetivo general ‘conocer’ a los encuestados. Están diseñadas para obtener información sobre variables como: edad, género, lugar de residencia, estado civil, situación laboral, ingresos medios, antecedentes étnicos, etc. Por su contenido común se suelen agrupar bajo la denominación ‘variables demográficas’. Se deben redactar con precaución y justificar su necesidad al encuestado, pensemos que podemos dar sensación de falta de anonimato en las respuestas. Por la misma razón, suelen ubicarse al final de la encuesta, cuando el encuestado ha comprendido ya su objetivo y está comprometido con la participación en la encuesta.

-116-

Las variables demográficas son utilizadas especialmente para obtener grupos de comparación con los que interpretar las respuestas a las preguntas: diferencias por género, edad, nivel económico, etc.

11. ORDEN Y DISPOSICIÓN DE LAS PREGUNTAS EN EL CUESTIONARIO La disposición de las preguntas persigue dar la sensación de facilidad y poco consumo de tiempo para responder a la encuesta. La primera pregunta debe ser fácil y general para implicar al encuestado en la respuesta al cuestionario y en el objetivo de la investigación. Deben evitarse las preguntas abiertas o con muchas alternativas de respuesta. Debe ser una pregunta aplicable a todo el mundo lo que facilitará crear la impresión de que la encuesta le concierne y que está preparado para responder. La ubicación del resto de las preguntas en el cuestionario responde algunos criterios básicos: - Los aspectos previsiblemente más importantes para el encuestado deben ir al principio. - Las preguntas de contenido similar deben estar agrupadas. - Hay que evitar que el encuestado tenga que realizar saltos de página o seguir indicaciones complejas. - Dentro de cada área temática las preguntas deben ir de las menos a las más comprometidas - Las preguntas relativas a variables demográficas deben ir al final.

-117-