• Author / Uploaded
• lanubenegra

• Categories
• Escala Likert
• Métodos de evaluación
• Matemáticas
• Ciencia
• Sicología y ciencia cognitiva

Citation preview

Capítulo IV: Evaluación y análisis de los elementos del test

199. En la tabla siguiente aparecen las frecuencias de sujetos, ordenados en 5 percentiles según su puntuación, que respondieron a un ítem de un test de rendimiento en lengua con 4 opciones de respuesta, donde la opción C es la correcta. La media y varianza en el test de los sujetos fue de 6 y 4 respectivamente, mientras que la media en el test de los sujetos que acertaron el ítem fue de 7.

A

B

e

D

8

17

207

11

20% siguientes

11

39

223

25

20% siguientes

16

53

183

32

20% superior

20% siguientes

17

61

113

29

20% inferior

43

70

106

39

0,07

0,18

0,64

0,10

p

Calcular: 1. El índice de dificultad del ítem sin corregir y corrigiendo el azar. 2. El índice de discriminación del ítem.

200.

Si el test anterior está compuesto por 11 elementos.

1. Cuántos ítems se espera que acierte un sujeto que responde a todos los ítems de forma aleatoria. 2. LQué puntuación obtendrá una vez descontado el efecto del azar?

201. Las respuestas de 20 examinados a un ítem de un test compuesto por 30 elementos dicotómicos se muestran en la siguiente tabla, donde los 1O primeros sujetos son los que peores puntuaciones globales han obtenidos mientras que los 1O últimos los que mejores.

11

68 Psicometría : problemas resueltos Sujetos con mejores puntuaciones

Sujetos con peores puntuaciones Sujetos

8

o o o o o o o o

9 10

1 2 3 4 5 6 7

Puntuación total

Respuestas al ítem

Sujetos

Respuestas al ítem

Puntuación total

11

1

27

12

12

o

28

5

13

1

30

10

14

1

27

7

15

1

25

8

16

o

20

8

9

17

1

30

4

18

1

25

1

5

19

1

22

1

6

20

1

23

Calcular: 1. El índice de dificultad en ambos grupos. 2. El índice de discrim inación en ambos grupos.

202. Se quiere investigar si un test de razonamiento matemático presenta sesgo en uno de sus ítems. Para ello se contabilizaron los aciertos y errores en un grupo de los niños y otro de niñas en las categorías de baja y alta competencia. Alta competencia

Baja competencia Aciertos

Errores

Niños

4

6

Niños

Aciertos 12

Errores 8

Niñas

3

7

Niñas

9

11

Analizar si existe sesgo tomando como referencia el grupo de los niños.

203. En la tabla adjunta aparecen las respuestas de 200 sujetos a las tres alternativas de respuesta (A, B, C) de un ítem extraído de un test compuesto por 20 elementos, de las cuales sólo la B es correcta . También se exponen las medias obtenidas en el test por los sujetos que respondieron a cada alternativa. A

B

e

50% superior

26

60

14

50% inferior

35

28

37

Media test

9

14

12

1. Calcular el índice de dificultad del ítem . 2. Sabiendo que la varianza de las puntuaciones empíricas en el test es 9, calcular el índice de discriminación del ítem.

69 Evaluación y análisis de los elementos del test

204. En la tabla adjunta se presentan las puntuaciones de 5 sujetos en un test de 3 ítems. 1

2

A

o

o

3 1

B

1

1

1

e

1

o

o

D

1

1

1

E

1

1

1

Índice de validez

0,2

0,4

0,6

Calcular: 1. Los índices de discriminación de cada ítem. 2. El coeficiente de validez del test. 3. Si los ítems constaran de 5 opciones de respuesta, Lcuál sería la puntuación obtenida por el sujeto A una vez corregido el efecto del azar?

205. En la tabla siguiente aparecen las características psicométricas de 1O ítems: dificultad, discriminación, varianza, el porcentaje de respuestas a cada una de las opciones y la correlación biserial. 1. Comentar la calidad psicométrica de cada uno de los ítems. 2. Basándose en la distribución de respuestas y en la correlación biserial entre cada una de las opciones y la puntuación en el test, señalar las alternativas que no están funcionando de forma adecuada. Razonar su respuesta. 3. En los ítems 2 y 6 indicar qué opción parece ser la más correcta en función de las respuestas de los sujetos.

Ítems

Dificultad

%2

rbis2

%3

rbis3

0,212

0,2

0,212

0,4

- 0,303

0,4

0,13

1

- 0,098

0,5

0,20

0,3

- 0,098

0,2

0,013

2

0,186

0,2

0,146

0,35

0,326

3

0,55

0,643

0,25

- 0,261

2

0,1

0,009

0,35

- 0,509

1

Discriminación

%1

rbis 1

2

o o

3

0,025

0,326

0,1

4

0,325

0,643

0,05

- 0,055

5

O, 175

0,744

0,45

0,744

6 7

o o

8 9

1

10

Correcta

- 0,015

0,5

- 0,133

0,25

- 0,015

0,2

0,345

2

0,713

0,2

- 0,186

0,3

0,713

3

0,1

0,834

2

0,175

0,264

o

0,345

0,2

0,5

- 0,504

o

-

0,4

0,834

0,45

- 0,43

0,45

0,264

0,1

0,009

0,35

- 0,008

1

- 0,119

0,2

0,345

0,4

0,076

2

70

:1

Psicometría: problemas resueltos

206. La siguiente matriz de datos representa las respuestas dadas por 8 sujetos a un test de elección múltiple de seis elementos, cada uno de ellos con 4 alternativas de respuesta. Por simplicidad, en la matriz se ha indicado únicamente si el sujeto ha elegido la opción correcta (con un 1) o una opción incorrecta (con un 0) . Sujetos/elementos

1

2

3

4

5

6

1

1

1

o

o

1

2

1

1

1

1

1

3

1

1

1

o

4

1

o

5

1

1

o o

o

6

1

1

1

1

7

1

o

8

1

1

o o

o o

o o o o o

o o o o o o o o

1

1

Calcular: 1. El índice de dificultad del elemento n.o 2 2. El índice de homogeneidad del elemento n.o 4. 3. Determinar el número de discriminaciones que puede hacer el ítem n.o 5.

207. En la siguiente tabla se presentan los índices de dificultad y discriminación de los siete ítems dicotómicos de un test de comprensión lectora. 1. Indicar qué dos ítems habría que eliminar debido a que no contribuyen a la medida de la comprensión lectora . Razonar la respuesta. 2. Calcular el índice de fiabilidad del ítem que mejor contribuye a la medida de la comprensión lectora . Razonar la respuesta . Ítem

p

IT01

0,71

IT02

0,97

0,03

IT03

0,80

- 0,04

IT04

0,47

0,50

IT05

0,34

0,45

IT06

0,73

0,20

IT07

0,53

0,44

rbp

0,35

208. Con el fin de descartar la posibilidad de sesgo en contra de las niñas en un test de álgebra, se llevó a cabo un análisis del funcionamiento diferencial de los ítems. Por ese motivo, se formaron dos grupos de nivel de aptitud a partir de las puntuaciones en el test. En la siguiente tabla se muestra el número de respuestas correctas (C) e incorrectas (1) de los niños y de las niñas en función del nivel del nivel de apti-

71 Evaluación y análisis de los elementos del test

tud en el primer ítem del test. Analizar si existe FDI tomando como grupo de referencia el grupo de los niños. NIÑOS X

0-20 21-40

e

NIÑAS 1

e

1

58 125

16

64

12

99

66

60

209. Un test de 150 elementos es contestado por 300 sujetos. El elemento 35 es acertado por 120 de los sujetos. ¿cuál es su índice de dificultad? 21 O. Un elemento de un test es contestado por 400 sujetos. Lo contestan correctamente 190; de ellos, 100 pertenecen al 27% de los que mejor puntuación obtienen en el test y 70 al 27% de los que dan un rendimiento más bajo en el test. Calcular: 1. El índice de dificultad del elemento. 2. El índice discriminativo. 3. El número máximo de discriminaciones que el elemento realiza en esta muestra.

211. En un test cada uno de sus 300 elementos tiene 4 alternativas de las cuales sólo una es correcta. 1. ¿Qué puntuación le correspondería a un sujeto que ha contestado 251 elementos del test y de éstos 200 los ha acertado? 2. ¿Qué puntuación le correspondería si hubiera contestado a todos los elementos y hubiera acertado 2197 3. Si hubiera contestado todos los elementos al azar, ¿cuántos elementos se espera que hubiera acertado? ¿Qué puntuación le correspondería? 4. ¿cuál es la probabilidad de que acierte todos los elementos si contesta al azar? ¿cuál la de que los falle todos?

212. Aplicamos un test de inteligencia a un grupo de 300 sujetos. La respuesta se exige en el formato «verdadero-falso». El elemento n. 0 16 del test es contestado por todos los sujetos, pero sólo 180 lo hacen de forma correcta. La X en el test de los sujetos que responden correctamente el ítem 16 es de 70 puntos. La media obtenida por el grupo en el test es de 65 puntos y la varianza de 256. La varianza del elemento n.o 16 es de 0,24. ¿cuál es el índice de discriminación o de homogeneidad de dicho elemento? 213. Aplicamos un test de aptitud numérica a un grupo de 600 sujetos. De los 162 sujetos que obtienen una mejor puntuación en el test, 150 contestan correctamente al elemento 1O. Del 27% de sujetos con peor nota en el test 60 sujetos también contestan correctamente. Calcular el índice de discriminación del ítem 1O.

1

72 Psicometría: problemas resueltos

214. Un grupo de 6 sujetos obtuvo en un test de 4 elementos las puntuaciones que aparecen en la tabla adjunta. (En la tabla, el 1 significa que el sujeto acertó el elemento y el O que lo falló). Elementos

Sujetos

4

1

2

3

A

1

1

o

1

B

1

1

1

e

1

1

o

o o

D

o o

o o

1

1

E

o

o

F

1

1

1

1

Calcular:

1. El índice de dificultad y el número de discriminaciones de cada elemento . 2. El índice de homogeneidad del elemento n.o 3. La desviación típica de este elemento fue 0,50. Razone la respuesta y comente el resultado.

215. Se ha construido un test que se corrige clasificando a los sujetos en dos categorías: aptos-no aptos. Todos los elementos del test son dicotómicos . Se aplica el test a un grupo normativo y deseamos calcular el índice de homogeneidad de uno de sus elementos. Los sujetos han contestado según muestra la tabla adjunta. TEST Aptos

No aptos

Acierta

120

30

Falla

20

150

216. Hemos construido un test de rendimiento académico. El test sigue una distribución normal. Sus elementos aunque normales y continuos están dicotomizados. Deseamos calcular el índice de homogeneidad del elemento 4. La media del test es de 50 puntos y la desviación típica de 15. La media en el test de los sujetos que han acertado el elemento 4 es de 55. La varianza del elemento es 0,81 y la proporción PIY es igual a 1,7549. ¿cuál es el índice de homogeneidad de dicho elemento? 217. Se construye un test de inteligencia . Se aplica a un grupo normativo pertinente. El test se distribuye según la curva normal. Los elementos son dicotómicos. Se desea conocer el índice de homogeneidad del elemento 25 del test. La media del test en nuestra muestra es de 60 y la desviación típica de 12. La media en el test de los sujetos que han contestado correctamente a nuestro ítem es de 70. El elemento es acertado por el 45 % de los sujetos que responden al test. La varianza del elemento es de 0,45 . ¿cuál es el índice de homogeneidad del elemento?

73 Evaluación y análisis de los elementos del test

218. Se desea averiguar el índice de validez de un elemento dicotómico de un test. El criterio utilizado es continuo y tiene una distribución normal con una media de 100 puntos y una varianza de 196. La media en el criterio de los sujetos que han contestado adecuadamente al elemento es de 108. A dicho elemento han contestado bien 300 de los 500 sujetos a los que se les había aplicado el test. LCuál es el índice de validez del elemento? 219. Se ha elaborado un test para la selección de personal en cierta empresa . Se ha correlacionado con un criterio de buen rendimiento en el trabajo . Las puntuaciones de cierto grupo de sujetos en este criterio tienen una desviación típica de 9 y una media de 20. Los sujetos que obtienen cualquier puntuación por encima de la media se supone que tienen un buen rendimiento en el trabajo, mientras que aquellos cuya puntuación está por debajo de la media se consideran que tienen un rendimiento inadecuado. A estos mismos sujetos se les aplicó el test anteriormente mencionado. La relación entre sus calificaciones en el rendimiento y el haber acertado o fallado el elemento 12 del test se muestran en la tabla adjunta. Buen rendimiento

Mal rendimiento

Acierto en el elemento

300

60

Fallo en el elemento

100

240

LCuál es el índice de validez de dicho elemento?

220. Las respuestas de los sujetos al elemento n.o 15 de un test, se distribuyeron según la tabla siguiente: Alternativas del ítem

Subgrupo A

B

27% superior

12

10

27% inferior

12

20

e o o

D

E

120

12

40

82

La respuesta correcta es la O y tanto las puntuaciones en el test como en el elemento se distribuyen normalmente. Averiguar el índice de discriminación del elemento 15.

221. Las respuestas de los sujetos de una muestra a un elemento de un test, se distribuyeron según la tabla siguiente: Alternativas del ítem

Subgrupo A

B

e

27% superior

10

120

10

27% inferior

10

o o

30

100

D

La respuesta correcta es la C y tanto las puntuaciones en el test como en el elemento se distribuyen normalmente. Averiguar el índice de discriminación del elemento del test.

11

74 Psicometría : problemas resueltos

222. A un grupo de vendedores se les aplicó un test de 186 elementos. Los 50 primeros sólo tenían dos alternativas cada uno, es decir, eran de verdadero o falso; los 100 elementos siguientes tenían 5 alternativas de las cuales sólo una era correcta y los 36 elementos restantes tenían 4 alternativas, con sólo una correcta . 1. Un sujeto contesta todos los elementos; de los 50 primeros acierta 40; de los 100 siguientes falla 20 y de los restantes acierta tantos como falla. ¿Qué puntuación corregida obtuvo? (Puntuación corregida es aquella de la que se han eliminado los efectos del azar). 2. Decir si es verdadera o falsa la siguiente frase: «la puntuación del sujeto del punto 1 está por encima de la media del grupo que realizó el test». Razonar la respuesta.

3. Si un sujeto no sabe nada y contesta al azar, ¿cuántas preguntas es de esperar que acierte? ¿Qué puntuación corregida se espera que obtenga? Razone las respuestas.

223. A un grupo de 300 sujetos se les ha aplicado un test de 50 elementos . Cada elemento tiene 5 alternativas de las que sólo una es correcta. Las respuestas dadas al elemento 40 del test son las que se dan en la tabla adjunta. (La respuesta C es la correcta) . 1. Analizar las respuestas dadas a dicho elemento. 2. Calcular el índice de dificultad sin corregir y corregido . 3. Calcular el número de discriminaciones del elemento. Alternativas del ítem

Subgrupo A

B

e

D

E

50% superior

15

10

90

30

o

5

50% inferior

15

70

30

10

15

10

Omisiones

224. Realizado el análisis de elementos del test de razonamiento se encontró que las respuestas de los universitarios a un elemento del test se distribuían como se indica en la tabla siguiente: Subgrupo

A

B

e

D

27% superior

o o

8

37

3

2

11

14

13

12

27% inferior

E

La respuesta correcta es C y tanto las puntuaciones en el test como en el elemento se distribuyen normalmente. Averiguar e interpretar: 1. El índice de discriminación del elemento.

2. ¿Qué puede decirse acerca de las respuestas incorrectas al elemento?

75 Evaluación y análisis de los elementos del test

225. Un grupo de 6 sujetos obtuvo las siguientes puntuaciones en un test: 1, (4), 4, (5), 6, (1 O). Únicamente los tres que aparecen entre paréntesis acertaron la última pregunta del test, a pesar de que todos intentaron resolverla . Calcular: 1. El índice de dificultad de la última pregunta y comentar el resultado . 2. El número de discriminaciones que hace la última pregunta.

226. Un grupo de 500 universitarios realizó un test que constaba de 260 preguntas. Las ochenta primeras eran de verdadero o falso, es decir, cada pregunta tenía dos alternativas, y sólo una de ellas era correcta; las 120 preguntas siguientes tenían cada una 5 alternativas (5 posibles respuestas) y sólo una de ellas era correcta. Las 60 últimas eran de tres alternativas con sólo una correcta. 1. Un sujeto de los que realizaron el test contestó todas las preguntas: de las 80 primeras falló 1O; de las 120 siguientes acertó 100; y de las 60 últimas acertó tantas como falló. LQué puntuación corregida obtuvo? 2. Diga si es verdadera o falsa la siguiente frase: «La puntuación del sujeto del punto 1 está por encima de la media del grupo que realizó el test». Razone la respuesta. 3. Si un sujeto no sabe nada y contesta al azar, Lcuántas preguntas es de esperar que acierte? LQué puntuación corregida se espera que obtendría? Razone las respuestas .

227. A un grupo de 500 sujetos se les ha aplicado un test de 100 elementos. Cada elemento tiene 5 alternativas de las cuales sólo una es cor recta . Las respuestas dadas al elemento 80 del test son las que figuran a continuación . (La respuesta C es la correcta.) 1. Analizar las alternativas de dicho elemento . 2. Calcular el índice de discriminación. 3 . Calcular el número de discriminaciones del elemento. Subgrupo 27% superior 27% inferior

Alternativas del ítem A

B

e

D

E

Omisiones

5

10

80

20

20

o

25

60

20

5

20

5

228. Las respuestas de los universitarios a un elemento del test se distribu ían como se indica en la tabla siguiente: Subgrupo

1

2

3

4

5

50% superior

14

3

3

o

80

50% inferior

22

13

9

2

54

76

!1

Psicometría: problemas resueltos

La respuesta correcta es «5» y tanto las puntuaciones en el test como en el elemento se distribuyen normalmente. Averiguar: 1. La dificultad de ese elemento. 2. LQué puede decirse acerca de las respuestas incorrectas al elemento?

229. En un test, cada una de sus 200 cuestiones tiene 4 alternativas de las cuales sólo una es correcta. 1. LQué puntuación le correspondería a un sujeto que habiendo contestado a todas las preguntas acertase 80? 2. LQué puntuación obtendría si, habiendo contestado 80, hubiese dejado sin contestar 30? 3. Si contestase al azar, Lcuántas acertaría? LQué puntuación obtendría? 4. LCuál sería la probabilidad de acertar todos los ítems contestando al azar? ¿y la de fallarlos todos?

230. Un grupo de 1O sujetos obtuvo en un test de 6 elementos la matriz de puntuaciones adjunta. (El 1 significa correcto y el O incorrecto).

Sujetos

Elementos

1

2

3

4

5

6

A

1

1

1

o

o o

o

o o

o o o o

1

1

1

1

1

1

B

1

e

1

D

1

1

E

1

o

o o

1

1

F

1

1

1

1

1

o o

G

1

1

1

1

1

1

H

1

1

1

1

1

1

1

1

1

J

1

1

o

o o

o o o

o o

1. Calcule los índices de dificultad de todos los elementos y diga cuál es el más difícil. 2. LCuál es el elemento con mayor poder discriminativo y cuántas discriminaciones hace?

231. A un grupo de vendedores se les aplicó un test de 260 elementos. Los 80 primeros sólo tenían dos alternativas cada elemento, es decir, eran de verdadero o falso. Los 120 elementos siguientes tenían 5 alternativas de las que sólo una era correcta y los 60 elementos restantes tenían 4 alternativas con sólo una correcta.

77 Evaluación y análisis de Jos elementos del test

1. Un sujeto contesta todos los elementos; de los 80 primeros acierta 70; de los 120 siguientes falla 20 y de los restantes acierta tantos como falla. LQué puntuación corregida obtuvo? 2. Si un sujeto no sabe nada y contesta al azar, Lcuántas preguntas es de esperar que acierte? LQué puntuación corregida se espera que obtenga? Razone las respuestas.

232. Al realizar el análisis de los elementos de un test se encontró que las respuestas dadas por un grupo de 400 sujetos a uno de los elementos se distribuyó según la tabla adjunta. Suponiendo que tanto el test como el elemento son variables normales aunque dicotomizadas, averiguar: Subgrupo

A

B

C*

D

50% superior

10

40

120

30

50% inferior

40

60

70

30

1. Índice de dificultad del elemento. 2. Comentario sobre las respuestas incorrectas.

233. Sometemos cinco sujetos (A, B, C, D y E) a un test de 4 ítems para medir una variable continua y normal. Las calificaciones en cada uno de los ítems así como en el test, aparecen en el siguiente cuadro junto con las notas obtenidas por los sujetos en el criterio del test empleado. Ítems test

A

Test

Criterio

6

21

4

h

i

j

k

5

6

4

B

6

7

5

7

25

6

e

6

7

6

8

27

7

D

7

8

6

8

29

8

E

5

6

4

5

20

5

Calcular, con tres cifras decimales:

1. Índice de homogeneidad del elemento «h». 2. Índice de validez del elemento «h». 3. El coeficiente de validez del test. 4. El error típico de estimación del criterio a partir del test.

5. Es posible que los estadísticos calculados en las cuatro cuestiones anteriores, sobre un test con 4 elementos y con 5 sujetos, le permitan hacer algunas críticas sobre la sensatez y utilidad -en un caso real- de su cálculo. Hágalas .

78

11

Psicometría: problemas resueltos

234. Se le aplica una escala tipo Likert a un grupo de 1000 sujetos. La varianza de la escala es de 49 y el ítem 25 tiene una varianza de 2. La correlación rjx del ítem con el test es de 0,40 . LCuál será el índice de homogeneidad de dicho ítem? 235. Se quiere estudiar cierta actitud de los ejecutivos españoles. Para ello se ha elaborado una escala tipo Likert. Se ha aplicado a una muestra de 300 sujetos para hacer un estudio previo del poder discriminativo de los ítems. La puntuación media del 25% con calificación más alta en el ítem 8 ha obtenido una puntuación media de 6,25 y una varianza de 2, 12. El 25% con menor calificación en este ítem ha obtenido una media en el mismo de 2 y una varianza de 2,7. LEs la diferencia entre ambas medias estadísticamente significativa? NC 95%. 236. Se desea saber si un ítem de una escala de Likert podría discriminar adecuadamente. Se aplica el ítem a un grupo de 400 personas. Este grupo se dicotomiza en dos por la mediana. Las puntuaciones del grupo pueden verse en la tabla adjunta: Grupo inferior

Total

Puntuación sobre la mediana

Grupo superior 176

80

256

Puntuación bajo la mediana

24

120

144

200

200

400

Total

LQué podemos decir sobre la capacidad discriminativa del ítem? NC 95%.

237. Para medir una determinada actitud se quiere construir una escala siguiendo la técnica de Likert. Se escoge una muestra de 60 sujetos a los que se les aplica un conjunto inicial de 30 elementos. Cada uno de estos elementos tiene 5 categorías de respuesta que van del 1 al 5. Ordenados los sujetos según la puntuación total obtenida, seleccionamos el 25% que obtuvo puntuaciones más altas y el 25% de los que obtuvieron puntuaciones más bajas. Las puntuaciones obtenidas por ambos grupos en el elemento n.o 15 de la prueba fueron las siguientes: Grupo alto 25% superior Grupo bajo 25% inferior

1. Calcular el poder discriminante del ítem mediante la prueba estadística t de Student utilizando un nivel de confianza del 95%. 2. Utilizando el test de la mediana y aplicando la prueba de Chi cuadrado, Lpodemos decir que el ítem es discriminativo al NC del 99%7 Nota. No tener en cuenta el pequeño tamaño de la muestra.

238. Para la elaboración de una escala tipo Likert, se somete a una muestra de sujetos (N = 60) a un conjunto inicial de 20 ítems. Cada uno de los ítems tiene cinco categorías de respuesta cuyas puntuaciones van del 1 al 5. Ordenados los sujetos según la puntuación total obtenida, seleccionamos el 25% que obtuvo puntuaciones

79 Evaluación y análisis de los elementos del test

más altas y el 25% de los que obtuvieron puntuaciones más bajas. Las puntuaciones obtenidas por ambos grupos en el elemento número 20 de la prueba fueron las siguientes: Grupo alto 25% superior Grupo bajo 25% inferior

Utilizando el test de la mediana y aplicando la prueba de significación Chi cuadrado, Lpodemos decir que el ítem número 20 es discriminativo? Utilizar el nivel de confianza del 95%. Nota. No tener en cuenta el pequeño tamaño de la muestra, ya que se trata de un ejemplo.