• Author / Uploaded
• Monica Rodriguez Q

• Categories
• Hoja de cálculo
• Prueba (evaluación)
• Matemáticas
• Informática y tecnología de la información
• Ciencia

Citation preview

GUIA - TALLER

Análisis de los Resultados de una Prueba Utilizando los Fundamentos de la Teoría Clásica del Test. José Humberto Guerrero Rodríguez Ed. D.

Vicky Ahumada De La Rosa Ed .D.

2014

Bogotá D.C.

Tabla de Contenidos

Preparación de la Plantilla de Calificación para una Prueba Objetiva Cerrada .......... 4 Introducción ............................................................................................................ 4 Propósito del Primer Taller ..................................................................................... 5 Referente Teórico ................................................................................................... 5 Procedimiento ......................................................................................................... 6 Primer Paso. ........................................................................................................ 6 Segundo Paso. ..................................................................................................... 7 Tercer Paso. ........................................................................................................ 7 Cuarto Paso. ........................................................................................................ 8 Quinto Paso. ........................................................................................................ 9 Sexto Paso. .......................................................................................................... 9 Séptimo Paso .................................................................................................... 12 Octavo Paso. ..................................................................................................... 13 Ejercicio de Aplicación ......................................................................................... 14 Primer paso. ...................................................................................................... 14 Segundo Paso. ................................................................................................... 15 Tercer Paso. ...................................................................................................... 16 Análisis de los Resultados de una Prueba Utilizando los Fundamentos de la Teoría Clásica del Test ..................................................................................................................... 19 Propósito del Taller............................................................................................... 19 La Medición Educativa ......................................................................................... 19 Fundamentos Teóricos de la Teoría Clásica del Test ........................................... 20 Índices de Calidad para las Pruebas y los Ítems ................................................... 21

Índices para la calidad de la prueba. ................................................................. 21 Índices de Calidad para los Ítems. .................................................................... 22 Cálculo de los Índices de Calidad de los Ítems .................................................... 23 Primer Paso. ...................................................................................................... 23 Segundo Paso. ................................................................................................... 24 Tercer Paso. ...................................................................................................... 25 Cuarto Paso. ...................................................................................................... 28 Quinto Paso. ...................................................................................................... 29 Sexto Paso. ........................................................................................................ 30 Séptimo Paso. ................................................................................................... 32 Octavo Paso. ..................................................................................................... 35 Ejercicio de Aplicación ......................................................................................... 36 Interpretación de los Resultados ........................................................................... 37 Referencias ........................................................................................................... 39

4

Preparación de la Plantilla de Calificación para una Prueba Objetiva Cerrada

Introducción El trabajo docente de preparar un proceso evaluativo no termina con la calificación del instrumento (prueba o examen). Es necesario realizar la metaevaluación del proceso mismo. ¿Qué significa la metaevaluación de la evaluación? Es el proceso de “evaluar” la evaluación. En otras palabras, es valorar los resultados provenientes de la calificación para tomar decisiones. Esto no significa que no se haya ya establecido qué estudiantes aprobaron y quienes no, pues los resultados de la prueba se han comparado con una escala que tiene un punto de “quiebre”. Los estudiantes que quedan por encima de ese valor mínimo han aprobado y los que quedaron abajo, no pasaron la prueba. La Figura 1 nos aclara mejor lo anterior:

Figura 1. La evaluación desde el punto de vista del estudiante.

5 La otra decisión se relaciona con el diseño de la enseñanza, el desarrollo del proceso de aprendizaje, los materiales utilizados durante el aprendizaje e incluso, las mismas evaluaciones parciales y finales utilizadas. ¿Para qué tanto esfuerzo? Pues,… para lograr cada vez una enseñanza mucho más eficaz, más efectiva y que el docente tenga datos para apoyar la afirmación: “en mi curso, todos los estudiantes realmente aprendieron”. Así, se han planeado dos talleres para transformar los resultados de los exámenes que resolvieron los estudiantes en información útil para el docente. El primer taller permite obtener una hoja de cálculo para “calificar” las respuestas de los estudiantes y el segundo taller, se aplicarán los fundamentos de la Teoría Clásica del Test (TCT). En todos ellos se manipularán datos matemáticos nada complejo puesto que se explicará la estadística utilizada. Se requiere paciencia, un computador que tenga instalado Excel y los datos que se proveerán en una hoja de cálculo adicional. Cualquier duda, se sugiere escribir un correo electrónico a su profesor informando específicamente del problema y enviar una copia del archivo hasta donde lo haya trabajado para ayudarlo a solucionar su dificultad de aprendizaje.

Propósito del Primer Taller Diseñar la hoja de cálculo que permitirá transformar las respuestas de los estudiantes a datos numéricos para su tratamiento estadístico con los fundamentos de TCT.

Referente Teórico La hoja de cálculo Excel es una herramienta poderosa que permite organizar datos alfanuméricos (letras y números) que se pueden transformar. Acá se utilizarán unas funciones para transformar las respuestas que los estudiantes han dado al aplicar un examen. Suponemos que usted ha preparado previamente un examen de digamos 20 preguntas de selección múltiple con única respuesta para aplicarlo a 50 estudiantes. Como ya se sabe, un ítem de selección múltiple tiene un enunciado y al menos tres opciones de respuesta unos distractores y la clave o respuesta “verdadera” que es la que permite medir si el estudiante conoce del asunto expuesto en el enunciado. La Figura 2 presenta el esquema que tiene este tipo de ítems.

6

Figura 2. Estructura de un ítem objetivo de selección múltiple con única respuesta.

Como lo puede observar, el estudiante seleccionará cualquiera de las cuatro opciones marcando en la hoja de respuestas la letra que él considera es la respuesta cierta. De hecho que usted al preparar el examen ya tiene indicadas las respuestas verdaderas y lo ha comprobado con el apoyo de otro colega que le revisó el instrumento de evaluación, ahora lo que tiene que hacer es “recoger” las letras de esas respuestas en la hoja de cálculo. Ese es el propósito de este taller.

Procedimiento A continuación se describen los pasos que se deben seguir para obtener la hoja de cálculo y los datos necesarios para análisis posterior. Le recomendamos que las siga en estricto orden y compare los resultados obtenidos con cada una de las imágenes de apoyo que acompañan el proceso. En este taller vamos a trabajar un libro de Excel para 20 preguntas y que fue respondido por 50 estudiantes. Para su caso, ajústelo a las condiciones en las cuales diseñó, elaboró y aplicó su prueba. Primer Paso. Abrir un libro de Excel en blanco. Recuerde que ese archivo tiene tres hojas marcadas abajo como “Hoja 1”, “Hoja 2” y “Hoja 3”. Esto para que lo tenga presente en trabajo posterior porque vamos a utilizar todo el libro. La Figura 3 muestra la hoja de Excel en blanco.

7

Figura 3. Aspecto del libro en blanco en Excel. Segundo Paso. Ahora se va a preparar el libro para la recuperación de los datos, En la fila 1 de la Hoja 1 escribimos en cada una de las celdas la siguiente información: CODIGO, P1, P2, P3,… P20. Es decir, escribimos el nombre de cada columna donde se va a recopilar las letras con las respuestas dadas por cada estudiante que se ha identificado con su código, no con el nombre para no generar falsas apreciaciones sobre el resultado del estudiante. P1 hasta P20 identifican cada uno de los 20 ítems que tiene el examen. La Figura 4 muestra la forma que queda la Hoja 1 de su hoja de respuestas.

Figura 4. Aspecto de la primera fila de la Hoja 1. Tercer Paso. Ahora escribimos los códigos de los 50 estudiantes que presentaron el examen. En el ejemplo se hace iniciando en 1 hasta 50, pero si sus estudiantes han recibido un número de identificación, ese se puede escribir en la hoja de Excel. La Figura 5 ya nos presenta la forma inicial que tendrá la Hoja 1. Todavía no se ha incluido la respuesta a cada pregunta por parte del estudiante ya identificado.

8

Figura 5. Presentación de la Hoja 1, antes de incorporar las respuestas. Cuarto Paso. Ahora vamos a trabajar en la Hoja 2 del archivo en Excel. Para ello con el puntero del mouse seleccionamos en el extremo inferior izquierdo del libro la Hoja 2. Al hacerlo, se encuentra una hoja en blanco semejante a la Hoja 1 cuando se abrió el libro, sólo que en la parte inferior esta resaltada la Hoja 2, como lo muestra la Figura 6.

Figura 6. Aspecto inicial de la Hoja 2.

9 Quinto Paso. En la Hoja 2 seleccionamos un espacio en las dos primeras filas para escribir las letras que corresponden a cada una de las respuestas verdaderas y que la hoja de cálculo va a comparar para poder hacer la calificación, para ello nos ubicamos en cualquiera de las celdas e identificamos la fila de la pregunta y la fila de la respuesta, luego la diferenciamos del resto de datos de la hoja al colocarle bordes a ese espacio seleccionado. La Figura 7 presenta el aspecto que tiene esta parte de la Hoja 2.

Figura 7. Aspecto del espacio para las respuestas ciertas en Hoja 2. Sexto Paso. Ahora nos ubicamos en la celda B4, es decir, una fila de por medio de la zona de las respuestas y una columna del borde izquierdo de la Hoja 2, ahora procedemos a “programar” la celda para que haga la conversión de la primera respuesta seleccionada por el primer estudiante y compararla con la celda correspondiente a la primera pregunta de la zona de las respuestas. Lo que se hace acá es ubicarnos en la barra de funciones, ubicar todas y seleccionar la Función SI. Esta nos permite hacer una comparación de Falso–Verdadero entre dos valores alfanuméricos; acá vamos a comparar la respuesta del estudiante con la verdadera, si ambas son iguales se dice que es verdadero y se asigna un valor de uno (1) –un punto– y si no son iguales, entonces es falso y se asigna un valor de cero (0) –no tiene punto– Esto nos permite pasar las letras a números para poder hacer los cálculos posteriores. La Figura 8 muestra este proceso.

Figura 8. Selección de la Función SI en la Hoja 2.

10 Sin embargo no hemos terminado todavía la programación de la máquina. Ahora tenemos que decirle dónde están los datos que debe comparar, al dar aceptar a la ventana de la función nos aparece otra donde tenemos que hacer el registro de esa información, como lo muestra la Figura 9.

Figura 9. Aspecto de la ventana para programar la Función SI.

En la ventana de Argumentos de la Función, nos ubicamos en la celda de Prueba_lógica y ubicamos el primer valor a comparar que corresponde a la respuesta literal del estudiante que tenemos ubicada en la Hoja 1, nos vamos a la esquina inferior izquierda y con el puntero seleccionamos la Hoja 1, y ubicamos la celda B2, dando clic, como lo muestra la Figura 10.

Figura 10. Inclusión de la primera respuesta a Función SI.

11 Ahora escribimos el signo igual “=” y regresamos a la Hoja 2 usando el puntero del mouse al cliquear en la esquina inferior izquierda en la Hoja 2, luego ubicamos la celda donde está la respuesta verdadera, que corresponde a la B2. La Figura 11 muestra cómo queda registrada la información, que corresponde a =SI(Hoja1!=Hoja2!B2), que le invitamos a que compruebe en su ejercicio.

Figura 11. Aspecto de la secuencia de programación de la Función SI.

Todavía no terminamos porque tenemos que escribir los números que nos va a devolver la hoja de cálculo al hacer la comparación. Pasamos a la segunda celda llamada Valor_si_verdadero y escribimos el uno (1) porque si son iguales el estudiante ha “atinado” a la respuesta verdadera. Luego bajamos a la última celda llamada Valor_si_falso y escribimos el cero (0). La Figura 12 presenta ya la ventana diligenciada y sólo queda aceptar. Al hacerlo la celda B4 de la Hoja 2 tiene un valor de uno (1) porque tenemos un blanco en la Hoja 1 y un blanco en la Hoja 2, al ser verdaderos reporta ese valor, siendo la prueba de que nuestro proceso está correcto.

Figura 12. Programación completa de la Función SI.

12 Séptimo Paso. Ahora lo que tenemos que hacer es la activación de las otras celdas, para ello recurrimos a la propiedad que tiene el Excel de poder copiar el valor de una celda a las demás. En este caso lo que hacemos es ubicarnos en la celda B4. Sin embargo debemos primero “fijar” el valor de la celda B2 porque si no lo hacemos, al aplicar esa característica de copiado del Excel lo que hace es hacerlo flotante, es decir que “cree” que también debe mover esa celda y termina comparando otros valores escritos en las otras celdas de la Hoja 2. Para evitarnos ese “dolor de cabeza” lo que hacemos es irnos a la barra de funciones de la hoja, y ubicarnos en la escritura de la Función SI indicada arriba, =SI(Hoja1!=Hoja2!B2;1;0), con el cursor seleccionamos antes de la letra B y se escribe el signo pesos ($), luego nos vamos delante de la letra B y volvemos y escribimos el signo pesos ($) en esta forma esta celda queda inmovilizada y no tendremos errores en la comparación. La escritura de la Función SI quedará finalmente =SI(Hoja1!=Hoja2$B$2;1;0), como lo muestra la Figura 13.

Figura 13. Forma de inmovilización de la celda con respuesta verdadera.

Realizado este paso, ahora si podremos copiar la función hasta cubrir la respuesta del último estudiante. Nos ubicamos en la celda B4, colocamos el cursor al lado inferior derecho de la celda de modo que se tiene una cruz más delgadita de la que normalmente tiene y comenzamos a moverlo a lo largo de la columna hasta cubrir la celda B52 que recupera la comparación del estudiante número 50. La Figura 14 nos muestra el resultado final.

13

Figura 14. Copiado de la Función SI para comparar respuestas.

Aunque aparece en la barra de la función la que se ha copiado, puede mover el cursor por las otras celdas y se dará cuenta que está comparando cada una de las respuestas de la Hoja 1 (flotante) con la celda B2 de la Hoja 2 por ello muestran el valor de uno en cada una de ellas. Octavo Paso. Bueno, si todavía no ha “salvado” su libro de Excel, es el momento de hacerlo, En este caso le hemos llamado “Plantillacalificacion” el cual será también facilitado para su comparación. Ahora toca volver a repetir en las demás columnas de la Hoja 2 el proceso de comparación mediante la Función SI que es volver a efectuar los pasos primero a

14 séptimo pero cambiando las celdas de respuesta. La Figura 15 muestra cómo debe quedar la Hoja 2 luego de “llenar” las celdas P2 a P20.

Figura 15. Aspecto final de la Hoja 2 de la plantilla.

Ejercicio de Aplicación Ahora, vamos a hacer una utilización de nuestra plantilla, para ello se adjuntan dos archivos en txt (bloc de notas) el primero tiene las respuestas de 50 estudiantes (se llama RESPUESTAS) y el segundo las respuestas (se llama CLAVES) para que las digite en su plantilla y luego compare los resultados que se encuentran más adelante en la Tabla 1. Primer paso. Abra su plantilla de calificaciones y verifique que está en la Hoja 1, es decir, debe estar completamente en blanco salvo las identificaciones de código y de cada una de las respuestas. Debe tener el aspecto indicado en la Figura 5. Abra el archivo RESPUESTAS.txt y proceda a copiar en cada celda las letras de la respuesta del estudiante con código 1 hasta llenar la fila con sus veinte respuestas. Continúe con las otras respuestas hasta llenar la Hoja 1 como lo muestra la Figura 16.

15

Figura 16. Aspecto de la Hoja 1 con las respuestas de los estudiantes. Segundo Paso. Ahora, usando el cursor, seleccione la hoja 2 en la esquina inferior izquierda y váyase a la zona de calificación al comienzo de la Hoja 2. Abra el segundo archivo CLAVES.txt y proceda a copiar las letras de las respuestas verdaderas. Una vez termine de hacerlo se dará cuenta que los unos iniciales se han cambiado a ceros y unos. En esta forma la hoja ya ha realizado la calificación de las respuestas de los estudiantes. La Figura 17 muestra los resultados esperados.

16

Figura 17. Llenado de las claves y aspecto final Hoja 2. Tercer Paso. Como el ejercicio pide la calificación final, lo vamos a hacer sobre los 20 puntos. Esto significa que un buen examen tiene 20 puntos, un mal examen cero puntos y el mínimo aprobatorio es de 12 puntos. Con estos criterios usted puede determinar cuántos estudiantes perdieron el examen y cuántos lo lograron aprobar. Este ejercicio es adicional y solamente le dejamos la Tabla 1 donde aparecen los puntajes totales. Para ello nos ubicamos en la última columna de la Hoja 2, vamos a Funciones, buscamos suma, seleccionamos el rango de celdas que se debe tener en cuenta para hacer la suma y luego copiamos hacia abajo de la columna obteniendo los valores definitivos. Tabla 1 Resultados de la Calificación de 50 Estudiantes en un Examen B Código

Calificación/20 puntos

1 2 3 4 5 6 7 8 9 10

10 8 14 8 8 9 11 13 12 14

17

Código

Calificación/20 puntos

11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36 37 38 39 40 41 42 43 44 45 46 47 48 49 50

12 10 14 11 12 17 15 8 10 20 12 11 13 7 6 9 18 15 12 6 11 7 8 8 15 10 6 12 6 5 14 13 9 7 10 13 10 4 9 10

Esta es la Tabla que se le sugiere que complete con base en los resultados encontrados.

18 Tabla 2 Balance de los Resultados de la Prueba Aplicada Nº 1 2 3

Criterio Exámenes Aprobados. Exámenes No Aprobados. Exámenes en el Criterio Mínimo de Aprobación. ¿Qué puede concluir del ejercicio?

Cantidad

19

Análisis de los Resultados de una Prueba Utilizando los Fundamentos de la Teoría Clásica del Test En el taller anterior se tuvo la oportunidad de elaborar un libro en Excel para calificar una prueba objetiva de selección múltiple y se hizo un trabajo descriptivo bastante sencillo para determinar los que aprobaron, quedaron en el nivel mínimo de aprobación y los que no lo lograron. Esos resultados son interesantes porque ayudan a formarse una imagen más real de lo que ha pasado luego de efectuar un examen. Sin embargo es necesario efectuar algunos cálculos estadísticos usando la misma hoja de cálculo en Excel.

Propósito del Taller Realizar los cálculos de análisis del ítem, el cálculo del coeficiente de confiabilidad interna del examen y los estadísticos de la calidad del examen utilizando una hoja de cálculo en Excel.

La Medición Educativa La psicometría se ha dedicado a la realización de mediciones de los fenómenos psicológicos humanos utilizando instrumentos que determinen directa o indirectamente las variables asociadas a una conducta. Medirla requiere establecer una relación válida entre la variable y su observación, permitiendo inferencias posteriores sobre un sujeto en particular. En educación esas variables es necesario definirlas y establecer las unidades de medición más convenientes. Los test más comunes corresponden a los de selección múltiple al permitir la masificación y a su relativa fácil calificación; en educación nacieron de la necesidad en los Estados Unidos de valorar la calidad del sistema educativo, pasando de ser elemento esencial en la enseñanza–aprendizaje a ser una especialidad relativamente independiente que consideró al currículo y la formulación de los objetivos de aprendizaje o educativos como criterios de medición del éxito educativo que luego se complementó con el diseño instruccional requerido para alimentar a las máquinas de enseñanza. Los objetivos educativos se categorizaron en taxonomías como las de Bloom permitiendo una mejor valoración de los resultados de aprendizaje esperados. Un modelo de medición cumple con: (a) una persona con una habilidad alta, tiene más probabilidad de éxito en un ítem que la de una con habilidad baja y (b)

20 cualquier persona tiene la más alta probabilidad de responder un ítem fácil que uno difícil. La habilidad de una persona se debe estimar independiente de los demás parámetros del test. El puntaje es una suma simple de respuestas correctas. La evaluación implica la comparación inter e intraindividual conforme a los resultados del test para hacer inferencias. Esto determinó la necesidad de referirse a una norma o a un criterio para hacerlo y de determinar índices que ayudaran a esa tarea.

Fundamentos Teóricos de la Teoría Clásica del Test Como todo examen busca efectuar una clasificación de los sujetos que lo han respondido, es necesario establecer cuál es el comportamiento que tuvo el instrumento en la población de estudiantes que lo resolvieron. Por esta razón Charles Edward Spearman, un psicólogo inglés a comienzos del siglo XX hizo una propuesta sobre el problema del error que acompaña a cualquier medición, hasta que en el año de 1950 Harold Gulliksen la consolidó cuando publicó su texto Theory of mental tests (Teoría de los Test Mentales). A continuación se hará una breve presentación de sus fundamentos para poder comprender el tratamiento matemático que se harán a las respuestas de los estudiantes que se hizo en el primer taller Apéndice A). Se basa en la posibilidad de construir formas paralelas de la prueba para medir el mismo objeto o fenómeno psicológico; los ítems son diferentes pero su dificultad y capacidad de discriminación son iguales ya que son elaborados con ese propósito. Deben tener los mismos promedios, varianzas y covarianzas; si no, son pruebas diferentes y no comparables. El desempeño de quien responde es universal y por ello conlleva un grado de error dependiendo de las formas que tiene, las condiciones del evaluado, las condiciones de aplicación y otros factores desconocidos. Si se aplicara varias veces la misma prueba, los puntajes son diferentes y se podría determinar el error asociado ya que correspondería a la diferencia entre el puntaje observado y el verdadero. Acá se tiene una varianza de error para cada examinado cuya raíz cuadrada es el error estándar de medición o la variabilidad de la distribución que tiene los puntajes. Los supuestos básicos son: (a) el puntaje individual contiene al puntaje verdadero y un margen de error, (b) el valor esperado del margen de error es cero, (c) la correlación entre el puntaje individual y el verdadero es cero, (d) el promedio del puntaje individual corresponde al del puntaje verdadero, (e) la varianza del puntaje individual es igual a la del puntaje verdadero más la del error, (f) la regresión del valor del error en el puntaje verdadero siempre vale cero. Se cumple para la misma población.

21 Se consideran como debilidades: (a) las estadísticas de los ítem y del test dependen de la muestra, (b) la comparación de examinados es posible al aplicar el mismo test o uno paralelo, (c) la confiabilidad del test depende de las formas paralelas del test, (d) asigna la misma varianza para el error para todos los puntajes y (e) no soluciona el problema del diseño de la prueba, la identificación de ítems diferenciales y la comparabilidad de los puntajes. La teoría clásica del test tiene tres parámetros: (a) Dificultad del ítem, es el grado en que la población lo responde correctamente; varía de 0 a 1 y permite inferir al desempeño del grupo de personas que lo aplicaron. (b) Discriminación del ítem, corresponde a la proporción de personas que resolvieron incorrectamente el ítem determinando una varianza y, (c) validez del ítem, una correlación entre la respuesta dada y el puntaje obtenido en la prueba, excluyendo el puntaje que aporta al total; se calcula mediante el coeficiente de correlación de Pearson. Para el test, se tiene el índice de confiabilidad, la relación entre las varianzas del puntaje individual y la verdadera. Se determina calculando el alfa de Cronbach que la hace sobre el mismo test dividiendo la población en mitades simulando el test–retest el caso más puro de las pruebas paralelas.

Índices de Calidad para las Pruebas y los Ítems Siguiendo a Morales (2012), es necesario analizar los resultados totales obtenidos en el examen. Esto significa que es necesario calcular dos valores fundamentales: el Índice de Confiabilidad y el Error Típico. Índices para la calidad de la prueba. Entre estos se encuentran el Índice de Confiabilidad, el Error Típico, el Índice de Discriminación de la Prueba y el Índice de Dificultad de la Prueba. Analicemos el concepto y la fórmula de cada uno de ellos: El Índice de Confiabilidad. La confiabilidad de una prueba se refiere a la capacidad que tiene el instrumento de “diferenciar” a quienes resolvieron el examen. Se relaciona con la consistencia interna que tiene el instrumento; un valor alto indica que puede diferenciar a quienes pudieron resolver adecuadamente de los que no o que incluso lo hayan realizado mediante el azar (un factor interviniente inexorable). Se calcula mediante la fórmula del coeficiente de confiabilidad de Cronbach que tiene como expresión: 𝛼=

∑𝑛𝑖=1 𝜎𝑖2 𝑘 [1 − ] 𝑘−1 𝜎𝑋2

22 Donde α es el alfa de Cronbach, k es el número de reactivos o ítems de la prueba, 𝜎𝑖2 es la varianza del puntaje para el reactivo i, 𝜎𝑋2 es la varianza del puntaje total. El Error Típico. Corresponde al margen probable de variación o de oscilación de los resultados obtenidos con la prueba. Por lo general corresponde a la desviación estándar que tienen esos resultados. Se calcula mediante la fórmula: 𝜎𝑒 = 𝜎𝑡 √1 − 𝛼 Donde σe es el error estándar por calcular, σt es la desviación estándar que tienen las calificaciones obtenidas con la prueba y α es el coeficiente de confiabilidad interna de Cronbach. El Índice de Discriminación de la Prueba. Se relaciona con la capacidad que tuvo el instrumento para diferenciar entre la población donde se aplicó. Incluso puede servir para establecer si mantiene un comportamiento similar en otra población o para comparar entre sí pruebas diferentes que están midiendo en mismo objeto. Se calcula mediante la fórmula: Í𝑛𝑑𝑖𝑐𝑒 𝑑𝑒 𝐷𝑖𝑠𝑐𝑟𝑖𝑚𝑖𝑛𝑎𝑐𝑖ó𝑛 𝑑𝑒 𝑙𝑎 𝑝𝑟𝑢𝑒𝑏𝑎 =

𝑃𝑢𝑛𝑡𝑢𝑎𝑐𝑖ó𝑛 𝑚á𝑠 𝑎𝑙𝑡𝑎 − 𝑃𝑢𝑛𝑡𝑢𝑎𝑐𝑖ó𝑛 𝑚á𝑠 𝑏𝑎𝑗𝑎 𝑁ú𝑚𝑒𝑟𝑜 𝑑𝑒 Í𝑡𝑒𝑚𝑠

El Índice de Dificultad de la Prueba. Corresponde a la cantidad de respuestas que se alcanzaron en la media de los resultados de aplicación del examen. Se calcula mediante la fórmula: Í𝑛𝑑𝑖𝑐𝑒 𝑑𝑒 𝐷𝑖𝑓𝑖𝑐𝑢𝑙𝑡𝑎𝑑 𝑑𝑒 𝑙𝑎 𝑃𝑟𝑢𝑒𝑏𝑎 =

𝑀𝑒𝑑𝑖𝑎 𝑁ú𝑚𝑒𝑟𝑜 𝑑𝑒 Í𝑡𝑒𝑚𝑠

Índices de Calidad para los Ítems. Ahora se sigue con el análisis específico del ítem. En este se determina la relación que tiene con el total de la prueba, en algunos casos su relación con otros ítems de la misma prueba y los índices de dificultad y de discriminación. Correlación Ítem–Total. Se busca determinar cuál fue el aporte que el ítem hizo a los resultados obtenidos con la prueba. Si se ha logrado la mayor cantidad de respuestas “buenas” su aporte al total será alto. Por lo general se calcula utilizando el coeficiente de correlación de Pearson, que tiene como fórmula: 𝜌=

∑𝑛 𝑖=1(𝑋𝑖 − 𝜇𝑋 )(𝑌𝑖 − 𝜇𝑌 ) (𝑛−1)𝜎𝑋 𝜎𝑌

Donde ρ es el coeficiente de correlación de Pearson, Xi es el puntaje en la variable X, μX es la media de X, Yi es el puntaje de la variable Y, μY es la media de Y, σX es la desviación estándar de la variable X, σY es la desviación estándar para la variable Y

23 y n es el número total de observaciones. Índice de Dificultad. Se refiere a la posibilidad de solucionar el ítem por parte de quienes lo respondieron. Es decir, es una medida de si la pregunta es fácil o difícil teniendo en cuenta la cantidad de quienes respondieron “acertadamente” el ítem. Se calcula mediante la fórmula: Í𝑛𝑑𝑖𝑐𝑒 𝑑𝑒 𝐷𝑖𝑓𝑖𝑐𝑢𝑙𝑡𝑎𝑑 =

𝑁º 𝑎𝑐𝑖𝑒𝑟𝑡𝑜𝑠 − 𝑁º 𝑒𝑟𝑟𝑎𝑑𝑜𝑠 𝑛

Se resta de los aciertos los errores y se divide por la cantidad de examinados. Índice de Discriminación. Corresponde a la forma en que el ítem puede discriminar los que saben de los que no, incluyendo las respuestas por azar. Se calcula con el coeficiente de correlación de Pearson. En todos los casos, es necesario establecer criterios de interpretación de los valores de cada uno de los anteriores índices. En el procedimiento se darán esos criterios para poder hacer la interpretación de los mismos y poder elaborar un juicio de valor, el propósito final de la metaevaluación.

Cálculo de los Índices de Calidad de los Ítems Para calcular los Índices de Calidad de la Prueba, se debe recurrir a las fórmulas ya explicadas anteriormente. Para los Índices de Calidad de cada Ítem recurrimos a una hoja de cálculo programada en Excel de la siguiente manera: Primer Paso. Se debe abrir un nuevo libro en Excel, esta vez le recomendamos salvarlo. Un nombre sugerido para este es “Plantilla-TCT”. Como lo puede observar en la Figura 1, el libro está abierto en la Hoja 1.

24

Figura 1. Aspecto inicial del Libro “Plantilla-TCT”. Segundo Paso. Procederemos a realizar la identificación de filas y columnas de la hoja en forma semejante a como se hizo en la “PlantillaCalificacion” del primer taller. La Figura 2 nos muestra el aspecto de la Hoja 1 antes de su transformación.

Figura 2. Aspecto de la Hoja 1 del libro “Plantilla-TCT”. Recordemos que tiene en la fila superior los nombres de código y de cada una de las preguntas de la una (P1) a la veinte (P20).

25 Tercer Paso. Ahora nos vamos a la celda B53 para comenzar a “programarla” de modo que cuando le incluyamos los datos numéricos (ceros y unos) que logramos de la plantilla de calificación a la que le hemos cambiado el nombre para mantenerla para trabajos posteriores. Esa es la finalidad de una “plantilla”. Como se presenta que algunos estudiantes dejan de responder alguna de las preguntas, la plantilla debe tener una función de verificación de la cantidad de espacios “en blanco” provenientes de respuestas no completadas. Nos colocamos en la celda V1 y escribimos la palabra “FALTANTES”. Bajamos a la celda V2 y buscamos en la barra de funciones la función CONTAR:BLANCO, como se muestra en la Figura 3.

Figura 3. Programación función de conteo de celdas vacías. Al dar clic en “Aceptar” aparece una ventana que se debe completar así: en la celda de Rango, ubicamos en cursor en la celda B3 mantenemos pulsada la tecla MAYÚSCULAS (↑) hasta la celda U3 como se muestra en la Figura 4:

26

Figura 4. Estableciendo el rango de celdas para conteo de blancos.

Efectuado lo anterior, se da clic en Aceptar para obtener el resultado mostrado en la Figura 5:

Figura 5. Aspecto de la celda V3 con la función CONTAR.BLANCO.

Si aparece con el número 20 es porque se ha realzado correctamente la aplicación de la función de conteo de blancos. Esto porque como todavía no se le han incluido datos a cada celda, todas las 20 de la fila están vacías o en blanco. Ahora procederemos a copiar la función desde la celda V4 hasta la V51 para que podamos verificar si hay celdas en blanco cuando se incorporen las respuestas. Recordemos que una manera fácil de hacerlo es colocando el cursor en la esquina inferior derecha de la celda para que aparezca la “cruz delgada”, mantenemos hundido el botón derecho del mouse y bajamos hasta buscar la celda V51, soltamos y vemos que se activan los

27 números de la suma en cada celda, como se ve en la Figura 6:

Figura 6. Resultado de la copia de la fórmula de la Función CONTAR.BLANCO

Es posible que indique al lado izquierdo de la celda que existe un error, por favor omítalo o no lo tenga en cuenta. En este ejercicio se omitió de cada celda individualmente.

28 Cuarto Paso. Ahora se procede a activar el cálculo del puntaje que obtuvo el estudiante en el examen. Para ello nos vamos a la celda W1 y escribimos la palabra “PUNTAJES”. Luego procedemos a activar la función SUMA dándole el rango de B2 hasta U2 y nos debe aparecer el número que muestra la Figura 7. Si usa el cursor, debe sumar desde P1 hasta P20 sin incluir la celda de “FALTANTES”.

Figura 7. Aspecto de la celda de suma del puntaje luego de aplicar la Función SUMA.

Ahora procedemos a copiarla a lo largo de la columna siguiendo el procedimiento que más se le facilite. Al final, la plantilla debe tener el aspecto de la Figura 8. No olvide guardar el archivo.

Figura 8. Aspecto de la plantilla luego de la copia de la Función SUMA.

29 Quinto Paso. Ahora se va a calcular el Grado de Dificultad (GD) que tiene cada ítem. Para ello vamos a la celda A53 y escribimos la sigla G.D. Luego pasamos a la celda B53 para escribir una función del cálculo (SUMA) y un factor. Primero incluimos la función SUMA como se hizo con el PUNTAJE. La Figura 9 muestra esta parte.

Figura 9. Inicio del cálculo del Grado de Dificultad del Ítem.

Al dar clic tenemos la primera parte de la función. Luego vamos a la barra de funciones, ubicamos el final derecho de la fórmula, damos clic y procedemos a escribir: “*100/50” para poder obtener el porcentaje para el ítem. La Figura 10 presenta la forma en que quedó la fórmula anterior:

Figura 10. Expresión de la fórmula de cálculo del grado de dificultad del ítem.

30 Ahora, copiamos esta fórmula para los ítems P2 hasta P20 con eso se tendrán los valores de G.D., para cada uno de las preguntas. La Figura 11 muestra el aspecto de la plantilla con esta función.

Figura 11. La plantilla con el cálculo de grado de dificultad del ítem. Sexto Paso. Ahora vamos a escribir en la hoja de cálculo la fórmula para calcular el índice de discriminación (I.D.) del ítem. Para ello vamos a la celda A54 y escribimos la sigla I.D. Luego pasamos a la celda B54 donde escribiremos la fórmula para calcular el coeficiente de correlación biseral de Pearson. Vamos a la barra de función, buscamos y seleccionamos PEARSON, como lo muestra la Figura 12:

Figura 12. Incorporando la función PEARSON para calcular índice de dificultad del ítem.

31 Damos el clic y comenzamos a diligenciar las ventanas de la función así: en la Matriz 1 con el cursor va hasta la celda B2, la selecciona, mantiene pulsado el clic derecho del mouse y baja hasta la celda B51 y lo suelta, luego pasa a la ventana Matriz 2, ubica el cursor en la celda W2, mantiene presionado el botón izquierdo del mouse y baja hasta la celda W51 como lo muestra la Figura 13.

Figura 13. Programación de la Función de PEARSON en la plantilla TCT.

Se da clic en aceptar. Como tenemos que copiar la fórmula a las celdas contiguas es necesario “fijar” los valores de la Matriz 2 para ello vamos a la barra de función, ubicamos la fórmula y colocamos el cursor antes de la letra W y se escribe el símbolo $, pasamos al frente de la letra y volvemos a escribir el mismo signo. Posteriormente vamos a la siguiente letra W y repetimos el proceso, en esta forma hemos “inmovilizado” el rango de comparación que corresponde a la columna de PUNTAJES. La Figura 14 presenta el resultado con la fórmula:

Figura 14. Forma de ajustar la parte final de la fórmula de Pearson

32 La fórmula en la barra de funciones debe ser “=PEARSON(B2:B51;$W$2:$W$51), así se puede comparar el aporte del ítem comparado con el total del examen y determinar con este valor el índice de dificultad del mismo. Como estamos construyendo la plantilla y no se tienen datos en las celdas seleccionadas arroja el valor mostrado en la celda B54 como si fuera un error debido a que está haciendo una operación matemática de dividir por cero que no es válida. Para finalizar, se copia a las celdas adyacentes teniendo la plantilla la apariencia que tiene la Figura 15:

Figura 15. Apariencia de la Plantilla-TCT con las celdas G.D e I.D.

Como aparece error por lo ya comentado, los eliminamos uno a uno. Séptimo Paso. Ahora se va a calcular el coeficiente alfa de Crombach para medir la consistencia interna del ítem o confiabilidad del instrumento aplicado. Nos vamos a la celda A56 y escribimos la palabra “VARIANZA”, pasamos a la celda B56 y en la barra de funciones buscamos la función VAR (varianza), damos clic para que aparezca la ventana de diálogo que se muestra en la Figura 16:

33

Figura 16. Incorporando la función VARIANZA en la plantilla TCT.

Al dar clic en aceptar aparece otra ventana para definir el rango de cálculo. Como estamos con la pregunta 1 vamos a la celda B2 la seleccionamos con el mouse, mantenemos presionado el botón izquierdo y bajamos hasta la celda B51, damos clic en aceptar y queda lista para hacer el cálculo como se muestra en la Figura 17:

Figura 17. La función varianza aplicada en la plantilla TCT.

34 Como en el caso anterior, la celda marca un error, éste lo debemos omitir por las mismas razones de la función de Pearson, hay divisiones por cero que “molestan” al programa. Ahora la copiamos a las demás celdas de la fila como lo hemos venido haciendo (desde P2 hasta P20). Sin embargo necesitamos la varianza del puntaje, entonces podemos copiar la fórmula de varianza o generarla para esa columna. Cosa curiosa, el resultado que señala es cero. Es decir el problema del error se elimina al tener las celdas datos, como las del puntaje están sumando ceros o vacíos, da ese resultado. Finalmente se va a generar la fórmula de cálculo del alfa de Cronbach. Para ello vamos a la celda A58 y escribimos la palabra “ALFA”, pasamos a la celda B58 para comenzar a escribir la fórmula. Para ello ubicados en la celda escribimos: “=(20/19)” esta primera parte corresponde al número de ítems de la prueba (20) dividido por los grados de libertad del análisis; como estamos analizando preguntas, los grados de libertad1 corresponde a 20 – 1 que da 19. Después de esta fracción se escribe: “*(1-(” y haciendo uso de la función suma incorporamos el rango de la suma de las varianzas por ítem seleccionado de B56 hasta U56, como se muestra en la Figura 18:

Figura 18. Incorporando la suma de varianzas.

Al dar clic marca un error por no tener unos paréntesis cerrados, se da omitir el error y regresamos nuevamente a la barra de funciones y escribimos “/” y con el mouse seleccionamos la celda W56 que tiene la varianza de los PUNTAJES. Nuevamente en la barra de funciones escribimos al final “)” que nos hace falta y damos “enter”. Así 1

Los grados de libertad siempre corresponde al número total de variables menos una: GL = (V – 1).

35 quedará lista la fórmula de cálculo del coeficiente alfa, la celda muestra un error por las divisiones por cero que le “preocupan”. Como en los casos anteriores omitimos el error. Guardamos nuevamente el archivo salvando los cambios. Octavo Paso. Ahora se procede a construir la fórmula de cálculo para valorar el error estándar de medida (Error de M). Nos ubicamos en la celda A60 y escribimos “ERROR DE M”, luego pasamos a la celda B60 para escribir la fórmula de cálculo. Vamos a la barra de funciones para buscar la función RAIZ, damos clic y ubicamos con el cursor la celda W56 seleccionándola como muestra la Figura 19:

Figura 19. Inicio de escritura de la fórmula para valorar error de medida.

Al dar clic queda incorporada la primera parte de la fórmula, por eso vamos nuevamente a la barra de funciones y lo colocamos al final de la expresión de la raíz cuadrada para escribir “*” nuevamente damos clic en la barra de funciones para seleccionar nuevamente la función RAIZ. La Figura 20 muestra este proceso.

Figura 20. Incorporando la segunda parte de la fórmula de error.

36 En la ventana de Número se escribe “1-” y con el cursor buscamos la celda B58 donde tenemos el valor del alfa de Cronbach. En la celda donde está ubicado ese cálculo da un valor de cero (0) lo que aparentemente nos está indicando que se hizo correctamente la plantilla. No olvide guardarla. Con esto ya tenemos listo el medio electrónico para hacer nuestros cálculos utilizando los fundamentos de la TCT. A continuación se procederá a realizar una aplicación utilizando los datos que obtuvieron en el ejercicio del taller uno anteriormente realizado.

Ejercicio de Aplicación Si recuerda, usted hizo un ejercicio al finalizar el trabajo del Taller 1 donde hizo una calificación. Se sugirió que llamara al libro “EJERCICIO1”. Si lo tiene ya ubicado por favor ábralo y seleccione la “Hoja2” donde usted tiene valores de ceros y unos. Seleccione únicamente estos valores; es decir, no seleccione la primera fila ni la primera columna. Para ello ubíquese en la primera celda y con el botón izquierdo del mouse seleccione toda esa fila hasta la pregunta 20 y comience a bajar hasta la fila 50. En la Figura 21 encuentra una imagen del proceso realizado.

Figura 21. Selección de los datos del archivo EJERCICIO1.

37 Ahora usando la barra de funciones cliquee “copiar” y ahora en un nuevo archivo de la “Plantilla-TCT” ubíquese en la celda B2 y seleccione el botón de pegar, de clic en la etiqueta “pegar” para que despliegue las opciones y busque “pegado valores” y da clic en el primer ícono como lo muestra la Figura 22.

Figura 22. Proceso de “pegado” de los datos del ejercicio 1 en la plantilla. Hacemos esta “variación” del cortar y pegar porque recuerda que los datos del ejercicio 1 fueron generados con fórmulas, al copiarlas se “van” conjuntamente con los datos, si pegáramos simplemente no nos saldría sino errores complicándonos la vida, por eso le decimos al Excel que sólo copie los valores y el obedientemente lo hace y nos hace alegre la vida. Una vez usted ha pegado los valores, la hoja 1 del libro de Excel hace los cálculos en milisegundos. Ahora se debe proceder a la interpretación de los datos. Esta es la tercera parte del Taller.

Interpretación de los Resultados A continuación se encuentra la Tabla 1 que tiene espacios en blanco para que usted los tramite con cada uno de los resultados encontrados al aplicar la plantilla que laboriosamente se ha construido.

38 Tabla 1 Índice de Calidad para el examen o prueba Indicador

Valor

Índice de Confiabilidad (α de Cronbach). Error Típico. Índice de Discriminación de la Prueba. Índice de Dificultad de la Prueba. Tabla 2 Índice de Calidad del Ítem Ítem Índice de Dificultad Nº 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20

Índice de Discriminación

39

Referencias

Chávez, A.C., & Saade, H. A. (2009). Procedimientos básicos para el análisis de reactivos. México: Centro Nacional de Evaluación para la Educación Superior (CENEVAL). Recuperado de: http://www.ceneval.edu.mx/cenevalweb/content.do?page=1689

Morales, V. P. (2012). Análisis de ítems en pruebas objetivas. Madrid: Universidad Pontificia Comillas. Recuperado de: http://web.upcomillas.es/personal/peter/otrosdocumentos/AnalisisItemsPruebas Objetivas.pdf