• Author / Uploaded
• Giancarlo Díaz

Citation preview

ESCUELA DE POSGRADO MAESTRÍA EN PSICOLOGÍA EDUCATIVA

Portafolio del curso: Construcción y Validación de Instrumentos de Evaluación Educativa

Estudiante: Díaz Arévalo, Giancarlo

Docente: Dr. Oscar López Regalado

Chiclayo – Perú 2018

1. Justificación Este portafolio de evidencias es para llevar un control acerca de las actividades que se realizan durante el curso de Construcción y Validación de Instrumentos de Evaluación. Asimismo, este portafolio de evidencias no termina con el aprendizaje del curso, sino que permite visualizar todas las actividades realizadas durante clase, ya que al contar con la información capturada y ordenada, el estudio se lleva a cabo de una manera más viable. A su vez, se puede evidenciar el logro de competencia del curso de Construcción y Validación de Instrumentos de Evaluación.

2. Objetivo 2.1. Objetivo General: Describir los procesos de validación y confiabilidad de Instrumentos de evaluación educativa. 2.2. Objetivos Específicos: Registrar las actividades realizadas en cada sesión de clase. Detallar cuáles son los procedimientos para realizar la validación y confiabilidad. Analizar la importancia de cada procedimiento de validación y confiabilidad

3. Producto de clase 3.1.

Sesión 1: sábado 30/06/2018 (mañana)

3.1.1. Tema: La evaluación. Definición. ¿Por qué evaluar? Funciones de la evaluación. ¿Para qué evaluar? ¿Qué evaluar? ¿Cómo evaluar? Matriz de evaluación. Tabla de especificaciones. - La evaluación de los aprendizajes en la universidad

3.2.

Sesión 2: sábado 30/06/2018 (tarde)

3.2.1. Tema: Instrumento de evaluación. Definición. Tipos de instrumentos de evaluación del aprendizaje: - Instrumentos paramétricos y no paramétricos. - Instrumentos referidos a normas y criterios. - Instrumentos de respuesta abierta o cerrada. Coherencia entre objetivo (competencia/capacidad) de evaluación y el instrumento seleccionado. Cómo seleccionar un instrumento para evaluar aprendizajes

3.2 Sesión 3: domingo 01/07/2018 3.2.2. Tema: Instrumentos de evaluación: Portafolio de evidencias, lista de cotejo, rúbrica de evaluación, escalas de apreciación, registro anecdótico, registro descriptivo, guía de observación, guía de evaluación de proyectos, pruebas de desempeño. Estructura, procedimiento, importancia, ventajas y desventajas. - I n s t r u m e n t o s P s i c o l ó g i c o s

3.3. Sesión 4: sábado 07/07/2018 (mañana) 3.3.1. Tema: Diseño y elaboración de test: - Teoría de los tests. - Definición del dominio del test. - Selección y elaboración de escalas. - Redacción de ítems. - Revisión del test por expertos. - Análisis y selección de ítems. - Adaptación de los test. - Método de adaptación de los test - Construcción y Adaptación de los Test

Sesión 5: sábado 07/07/2018 (tarde) 3.3.2. Herramienta de evaluación El instrumento de evaluación consta de 25 preguntas que se aplicarán a alumnos del 4to año de educación secundaria, dónde se propone que existe una relación directa entre la música y la atención durante el desarrollo del aprendizaje: Núm. Indicadores 1.

Cuando usted estudia lo hace solo

2.

Pierde la atención con facilidad

3.

Cuando estudia o hace algún trabajo del colegio escucha música Tiende a dejar sus trabajos a medias para empezar otro Cuando escucha música, se concentra más en la melodía

4. 5. 6. 7.

8. 9. 10. 11. 12. 13.

Tienes el celular prendido y cerca tuyo cuando estas estudiando. Cuando escucha música, se concentra más en el letra Eres capaz de estudiar durante 90 minutos seguidos sin distracción de algún tipo. Escuchas música constantemente Tu mente se enfoca constantemente en el presente, en el aquí y en el ahora. Estudias en un lugar apacible y tranquilo. Te pones de pie, miras a otro lado, te distraes fácilmente mientras estás estudiando. Utiliza técnicas de estudio

14.

La mayor parte del tiempo estoy escuchando música

15.

Se siente cómodo escuchando música mientras estudia Cuando escucho música me siento bien y tengo más ganas de estudiar

16. 17.

Cuando leo un texto usualmente no recuerdo nada de ello

Siempre (3)

Algunas veces (2)

Nunca (1)

18.

La música me ayuda a recordar lo leído

19.

21.

Cuando escucho música y estudio, el volumen tienen un nivel moderado Siento que mi atención mejora cuando escucho música Organizo la información para estudiar mejor

22.

Suelo distraerme con facilidad

23.

Cuando escucho música me siento relajado

24.

Normalmente estudio con música

25.

Siento que la música me acompaña en todo momento de mi vida

20.

3.3.3. Procedimiento: Se creó una escala de actitudes con 20 preguntas de respuestas en escala nominal (Nunca, Casi Nunca, Algunas Veces, Siempre). Luego se procedió a entregarle a 3 expertos para que puedan considerar y determinar qué preguntas responden a la variable “ansiedad frente a los exámenes”, asimismo los expertos nos brindó algunas observaciones. Para realizar el proceso de Validación se ingresó los resultados en un documento Excel que ya tiene las fórmulas específicas para su ejecución: -

Se coloca la cantidad de coincidencias que han tenido los jueces en las categorías (Esencial, Útil pero no esencial, No importante) Se modifica la fórmula por la cantidad de expertos (en este caso son 3 expertos) Se consideran preguntas válidas a aquellas cuyo resultado es mayor e igual a 0.30

3.3.4. Análisis Crítico: Es útil y necesario realizar este tipo de validación, pues es un método que sirve para verificar la fiabilidad de una investigación que se define como “una opinión informada de personas con trayectoria en el tema, que son reconocidas por otros como expertos cualificados en éste, y que pueden dar información, evidencia, juicios y valoraciones” (Escobar-Pérez y Cuervo-Martínez, 2008:29).

3.4. Sesión 6: domingo 01/07/2018 3.4.1. Tema: Confiabilidad de un instrumento: - Técnicas para medir la confiabilidad Métodos para determinar la confiabilidad. - Coeficiente de confiabilidad. - Factores que determinan la falta de confiabilidad: a. Al construir o adaptar un test b. Al administrar un test c. Al evaluar un test - Validación y confiabilidad del instrumento El instrumento tiene un coeficiente de alfa >0,67 , lo cual indica un criterio de Bueno

Estadísticas de fiabilidad Alfa de Cronbach

N de elementos

,671

24

Estadísticas de elemento Desviación Media

estándar

N

P1

2,43

,558

35

P2

2,20

,531

35

P3

2,57

,655

35

P4

2,00

,594

35

P5

2,63

,490

35

P6

2,17

,822

35

P7

2,60

,553

35

P8

1,40

,651

35

P9

2,69

,530

35

P10

2,37

,690

35

P12

2,51

,702

35

P13

2,17

,453

35

P14

2,37

,690

35

P15

2,37

,598

35

P16

2,43

,778

35

P17

1,89

,796

35

P18

1,80

,406

35

P19

1,40

,695

35

P20

2,23

,808

35

P21

2,00

,594

35

P22

2,34

,639

35

P23

2,31

,471

35

P24

2,74

,505

35

P25

2,09

,702

35

Estadísticas de total de elemento Varianza de

Alfa de

Media de escala

escala si el

Correlación total

Cronbach si el

si el elemento

elemento se ha

de elementos

elemento se ha

se ha suprimido

suprimido

corregida

suprimido

P1

51,29

26,916

-,064

,686

P2

51,51

26,610

-,006

,680

P3

51,14

22,361

,657

,618

P4

51,71

24,328

,371

,649

P5

51,09

25,904

,143

,669

P6

51,54

24,667

,185

,668

P7

51,11

24,104

,451

,643

P8

52,31

26,339

,014

,682

P9

51,03

23,499

,599

,632

P10

51,34

27,232

-,118

,696

P12

51,20

24,341

,292

,655

P13

51,54

25,844

,176

,666

P14

51,34

25,055

,192

,666

P15

51,34

23,997

,427

,644

P16

51,29

23,328

,389

,643

P17

51,83

23,264

,385

,644

P18

51,91

26,434

,062

,673

P19

52,31

24,575

,261

,659

P20

51,49

27,551

-,159

,707

P21

51,71

23,622

,499

,637

P22

51,37

27,064

-,093

,691

P23

51,40

25,600

,217

,663

P24

50,97

25,558

,204

,664

P25

51,63

22,240

,623

,618

Estadísticas de escala Desviación Media 53,71

Varianza 26,857

estándar 5,182

N de elementos 24

3.4.2. Procedimiento: Para obtener la validez y confiabilidad de nuestro instrumento se ha tenido que aplicar un piloto a 25 estudiantes cuarto año de secundaria. Para el procedimiento de validación y confiabilidad en SPSS se realizó lo siguiente:

Paso 1

En la pestaña VISTA DE VARIABLES ingresar la cantidad de preguntas P1…P20

Paso 2

En la pestaña VISTA DE VARIABLES ingresar la cantidad de preguntas P1…P20

1 ° Paso 3

3

2

°| || || || || || °°

°| || || || || || °°

Seleccionar los elementos desde P1…P25 y pasarlos a la casilla en blanco

Paso 4

1 °

2 °

Ingresar la etiqueta de escala

Paso 5 Seleccionar los siguientes estadísticos

Click en continuar

Paso 6

Click en aceptar

3.4.3. Análisis Crítico: El SPSS es un software imprescindible para desarrollar investigaciones, ya que su uso permite procesar datos reales y analizar los estadísticos que permiten conocer la viabilidad de los datos.

3.5. Sesión 7: sábado 21/07/2018 (mañana) 3.5.1. Tema: Instrumentos de evaluación para evaluar variables del proceso educativo: - Metodología Medios y materiales educativos. - Rendimiento académico. - Desempeño docente.

3.5.2. Procedimiento: Definir el tema y subtema, recopilando la información necesaria, haciendo síntesis y priorizando la información, de manera que pueda obtener lo esencial para enlazarlo entre sí, y como resultado se obtenga un esquema visualmente atractivo que capte la atención de quien lo lee.

3.5.3. Análisis Crítico Es importante precisar en la variable de Aprendizaje y Participación para conocer el grado de aprovechamiento de la sesión y que el proceso sea interesante y provechoso para los estudiantes, y sobre todo aporte conocimientos.

3.5.4. Tema: Análisis Factorial 3.5.5. Procedimiento:

Paso 1

Click en Aanalizar Reducción de dimensiones Factor

Paso 2

Seleccionar los datos y colocar en recuadro de variables

Paso 3

Click en opción Descriptivos: Seleccionar solución inicial y KMO Continuar

Paso 4

Click en opción Extracción: Seleccionar Matriz de correlaciones / solución factorial sin rotar

Luego seleccionar la opción Número fijo de factores y colocar el Número de factores que se desea extraer (3) Continuar

Paso 5

Click en opción Rotación: Seleccionar Varimax y Solución rotada. Continuar

Paso 6 Click en opción Opciones: Seleccionar Excluir casos según lista Ordenar por tamaño Continuar

Paso 7

Click en ACEPTAR

Matriz de componente rotadoa Componente 1

2

3

Matriz de componente rotadoa P3

,785

,189

,285

P9

,733

,113

,013

P7

,724

,044

-,192

P17

,711

-,093

-,194

P12

,627

-,404

,233

P25

,548

,382

,230

P21

,518

,446

,029

P16

,500

,321

,118

P14

,355

-,140

,276

P19

,353

,048

-,259

P20

-,218

-,042

,121

P6

-,060

,656

,333

P13

-,039

,585

-,010

P4

,122

,581

,023

P15

,492

,561

-,012

P5

,098

,512

-,288

P22

-,043

-,327

-,050

P23

,053

,204

,682

P24

,183

,359

-,626

P2

,011

,094

,592

P10

,115

-,282

-,532

P8

-,077

-,179

,433

P18

,123

,015

,172

P1

-,135

-,098

-,162

Método de extracción: análisis de componentes principales. Método de rotación: Varimax con normalización Kaiser. a. La rotación ha convergido en 4 iteraciones.

Se agrupan lo ítems por factores, tomando en cuenta que el puntaje sea igual o mayor a 0.5, por tanto, se obtuvieron los siguientes resultados

Componente P3

1 0.785

2 0.189

3 0.285

P9

0.733

0.113

0.013

P7

0.724

0.044

-0.192

P17

0.711

-0.093

-0.194

P12

0.627

-0.404

0.233

P25

0.548

0.382

0.230

P21

0.518

0.446

0.029

P16

0.500

0.321

0.118

P14

0.355

-0.140

0.276

P19

0.353

0.048

-0.259

P20

-0.218

-0.042

0.121

P6

-0.060

0.656

0.333

P13

-0.039

0.585

-0.010

P4

0.122

0.581

0.023

P15

0.492

0.561

-0.012

P5

0.098

0.512

-0.288

P22

-0.043

-0.327

-0.050

P23

0.053

0.204

0.682

P24

0.183

0.359

-0.626

P2

0.011

0.094

0.592

P10

0.115

-0.282

-0.532

P8

-0.077

-0.179

0.433

P18

0.123

0.015

0.172

P1

-0.135

-0.098

-0.162

Método de extracción: análisis de componentes principales. Método de rotación: Varimax con normalización Kaiser. a. La rotación ha convergido en 4 iteraciones.

Denominación para las dimensiones según la agrupación Dimensión 1 Música y estudio

Dimensión 2 Concentración

Dimensión 3 Estado anímico

Procedimiento para estadísticos descriptivos del instrumento: Dimensión 1: Música y estudio

Paso 1

Click en ANALIZAR Estadísticos Descriptivos Frecuencia

Paso 2

Selleccionar los ítems correspondientes a la Dimensión 1

Paso 3

Click en Estadísticos y sellecionar Media, Mediana, Moda, Suma, DE, Varianza, Min, Max, Rango Continuar

Paso 4

Click en Gráficos Histograma Mostrar curva Continuar

Paso 5

Click en ACEPTAR

Se observa los puntajes correspondientes a la Dimensión 1:

P3 N

Válido Perdidos

P9 25

P7 25

P17 25

P12

25

P25

25

P21

25

P16

25

25

0

0

0

0

0

0

0

0

,32

,36

,60

,68

,72

,64

,48

,88

Mediana

0

0

0

0

0

0

0

1

Moda

0

0

0

0

0

0

0

0

,69

,64

,87

,85

,89

,81

,82

,97

Media

Desviación estándar Varianza

,48

,41

,75

,73

,79

,66

,68

,94

Rango

3

2

3

3

3

3

3

3

Mínimo

0

0

0

0

0

0

0

0

Máximo

3

2

3

3

3

3

3

3

Suma

8

9

15

17

18

16

12

22

Dimensión 2: Concentración

Paso 1

Click en ANALIZAR Estadísticos Descriptivos Frecuencia

Paso 2

Selleccionar los ítems correspondientes a la Dimensión 2

Paso 3

Click en Estadísticos y sellecionar Media, Mediana, Moda, Suma, DE, Varianza, Min, Max, Rango Continuar

Paso 4

Click en Gráficos Histograma Mostrar curva Continuar

Paso 5

Click en ACEPTAR

Se observa los puntajes correspondientes a la Dimensión 2:

P6 N

Estadísticos P4 P15

P13

P5

P6

P13

Válido

25

25

25

25

25

25

25

Perdidos

0

0

0

0

0

0

0

Media

1

1

1

2

1

1

1

Mediana

1

2

0

2

1

1

1

Moda

1

0a

1

2

0

2

1

Desviación estándar

,93

1,03

,88

,82

1,05

,82

,93

Varianza

,87

1,06

,77

,67

1,11

,67

,86

Rango

3

3

3

3

3

3

3

Mínimo

0

0

0

0

0

0

0

Máximo

3

3

3

3

3

3

3

Suma

26

29

31

50

19

35

31

a. Existen múltiples modos. Se muestra el valor más pequeño.

Dimensión 3: Estado anímico

Paso 1

Click en ANALIZAR Estadísticos Descriptivos Frecuencia

Paso 2

Selleccionar los ítems correspondientes a la Dimensión 3

Paso 3

Click en Estadísticos y sellecionar Media, Mediana, Moda, Suma, DE, Varianza, Min, Max, Rango Continuar

Paso 4

Click en Gráficos Histograma Mostrar curva Continuar

Paso 5

Click en ACEPTAR

Se observa los puntajes correspondientes a la Dimensión 3:

Estadísticos P2

P23 N

P8

Válido

25

25

25

Perdidos

0

0

0

Media

,92

,84

1,4

Mediana

2

1

1

Moda

0

0a

2

Desviación estándar

1,1

0,9

0,7

Varianza

1,2

0,7

0,5

Rango

3

3

2

Mínimo

0

0

0

Máximo

3

3

2

Suma

23

21

36

a. Existen múltiples modos. Se muestra el valor más pequeño.

3.6. Sesión 8: sábado 21/07/2018 (tarde) 3.6.1. Tema: Ética y justicia de los instrumentos de evaluación: - Ética del instrumento. Ética y evaluación. - Justicia del instrumento. Evaluación justa.

4. Conclusiones En este portafolio se han utilizado todos los elementos aprendidos y desarrollados a lo largo de las sesiones de clase El docente está calificado en la orientación para la investigación científica y la validación de la misma El proceso del desarrollo de curso fue satisfactorio. Se ha obtenido un instrumento de evaluación que cumple con todos los criterios de calidad, llegando así a obtener versión final. 5. Referencias Bibliográficas Covacevich, C (2014) Cómo seleccionar un instrumento para evaluar aprendizajes estudiantiles. España: Banco Interamericano de Desarrollo. Recuperado en: https://publications.iadb.org/bitstream/handle/11319/6758/C%C3%B3mo-seleccionar-uninstrumento-para-evaluar-aprendizajes-estudiantiles.pdf Dirección General de Desarrollo Curricular (2013) Las estrategias y los instrumentos de evaluación desde el enfoque formativo. México: Secretaría de Educación Pública. Recuperado en: https://www.educacionespecial.sep.gob.mx/pdf/doctos/2Academicos/h_4_Estrategias_in strumentos_evaluacion.pdf Fernández, A (2009) La evaluación de los aprendizajes en la universidad la evaluación de los aprendizajes en la universidad, nuevos enfoques. Valencia: Universidad Politécnica de Valencia. Recuperado en: https://web.ua.es/es/ice/documentos/recursos/materiales/evaprendizajes.pdf Mikulic, I (2012) Construcción y adaptación de pruebas psicológicas. Argentina: Universidad de Buenos Aires. Recuperado en: http://23118.psi.uba.ar/academica/carrerasdegrado/psicologia/informacion_adicional/obl igatorias/059_psicometricas1/tecnicas_psicometricas/archivos/f2.pdf Universidad autónoma de nuevo león (2015) Análisis estadístico del instrumento de evaluación de las unidades de aprendizaje del programa de superación académica”. Subdirección de Desarrollo y Superación Académica de la DGPPE: México. Recuperado en: https://studylib.es/doc/6037528/an%C3%A1lisis-estad%C3%ADstico-del-instrumento-deevaluaci%C3%B3n-de-las.