• Author / Uploaded
• lina4_16

Citation preview

 

Diciembre

2012

Informe final del proyecto “Reflexión pedagógica en base a casos y dominio  de lenguaje académico en la formación inicial docente: una propuesta de  medición para informar a las trayectorias formativas”  Soledad Concha  Carolina Hernández  Francisca del Río  Francisca Romo  Lorena Andrade   

Facultad de Educación, UDP 

 

1

  INDICE DE CONTENIDOS    I. Introducción .......................................................................................................................................... 3  II. Resumen del proyecto ..................................................................................................................... 3  III. Marco teórico ..................................................................................................................................... 4  3.1  La reflexión pedagógica en base a casos ..................................................................... 4  3.2 Alfabetización pedagógica ................................................................................................. 6  3.3 Reflexión pedagógica y escritura: los géneros escritos de la formación  inicial docente ................................................................................................................................. 7  3. 4 La evaluación de la reflexión pedagógica escrita .................................................... 8  3.5 Lenguaje académico ........................................................................................................... 10  IV. Objetivos específicos: ................................................................................................................... 11  V. Encuesta a formadores de profesores .................................................................................... 11  VI. Marco metodológico del estudio ............................................................................................. 14  6. 1 Procedimientos de construcción del instrumento y de las rúbricas ........... 14  6.1.1 Resumen de la construcción del instrumento RPEC y de su rúbrica ........ 14  6.1.2 Procedimientos de construcción y validación de la rúbrica Lenguaje  Académico ..................................................................................................................................... 23  7. Estudio  Final ..................................................................................................................................... 35  7.1 Procedimientos de selección de la muestra ............................................................... 35  7.2 Procedimientos de toma de datos ............................................................................... 36  7.3 Procedimientos de análisis de datos ............................................................................. 36  7.5 Resultados del estudio principal .............................................................................................. 37  7.5.1 Análisis comparativos entre Universidades ............................................................ 37  Análisis de relación entre variables ..................................................................................... 42  7. Conclusiones ...................................................................................................................................... 42  8. Discusión .............................................................................................................................................. 45  Anexo 1: prueba de reflexión pedagógica en base a casos ................................................. 51  Anexo  2: rúbrica de lenguaje académico (LA)…………………………………………………..52  Anexo   3: rúbrica de reflexión pedagógica en base a casos………………………………...54  Anexo   4: resumen del proceso de juicio de expertos para la revisión y validación  de la rúbrica RPEC……………………………………………………………………………………………55  Anexo 5: Manual de Aplicación del instrumento………………………………………………..56                         

2

          I. Introducción    El informe que se presenta contiene los resultados finales del proyecto “Reflexión  pedagógica  en  base  a  casos  y  dominio  de  lenguaje  académico  en  la  formación  inicial  docente:  una  propuesta  de  medición  para  informar  a  las  trayectorias  formativas”, financiado por el Consejo Nacional de Educación.     En  este  estudio  se  entiende  la  reflexión  pedagógica  en  base  a  casos,  como  la  capacidad  para  analizar  los  fundamentos  teóricos  de  las  decisiones  pedagógicas  observadas en una clase dictada por otro profesor, usando para ello ‐‐de manera  articulada‐‐  los  distintos  saberes  relevantes  a  la  pedagogía:  disciplinarios,  de  didáctica  general,  de  didáctica  específica,  del  desarrollo  de  los  niños,  de  los  contextos de la enseñanza.     Como se discutirá en este informe, el concepto de reflexión pedagógica ha recibido  extensa atención en la literatura especializada y ha sido abordado desde encuadres  teóricos  diversos.  Este  trabajo  se  funda  particularmente  en  la  evidencia  recogida  en  estudios  que  comparan  la  cognición  de  los  profesores  novatos  y  la  de  los  expertos,  según  los  cuales  una  de  las  características  diferenciadoras  clave  de  ambos  grupos  es  la  capacidad  de  analizar  una  sala  de  clases  en  base  a  conocimientos especializados, particulares a la profesión docente. Así también, el  estudio se basa en trabajos que proponen que la escritura es un medio privilegiado  para  evaluar  y  para  enseñar  a  los  estudiantes  a  reflexionar  pedagógicamente  durante su formación.     Respecto  de  su  contenido,  el  Informe  incluye  una  descripción  de  las  actividades  realizadas durante el segundo semestre del año 2012, así como la respuesta a las  observaciones  al  primer  informe  realizadas  por  la  contraparte:  construcción  de  rúbrica de lenguaje académico, marco teórico revisado, toma de muestra principal,  codificación,  análisis  de  resultados  y  construcción  de  manual  de  aplicación  del  instrumento.     II. Resumen del proyecto    En  este  estudio  se  diseñó  y  aplicó  un  instrumento  para  evaluar  el desempeño  en  reflexión  pedagógica  en  base  a  casos  y  lenguaje  académico  de  estudiantes  de  último año  de la carrera de Pedagogía en Educación Básica. En el estudio principal,  82  estudiantes,  provenientes  de  tres  universidades  diferentes  de  Santiago,  analizaron  por  escrito  una  clase  de  Lenguaje  y  Comunicación,  presentada  en  un  video  de  aula.  Los  productos  fueron  codificados  para  determinar  la  calidad  de  la  reflexión  pedagógica  en  base  a  casos  que  realizaron  los  estudiantes,  así  como  el  dominio  que  poseen  de  los  recursos  lingüísticos  propios  del  lenguaje  académico.  Por último, se analizó una posible relación entre ambas medidas.    

 

3

Un  estudio piloto  antecede  a  la  investigación  aquí  descrita,  que  tuvo  el  objeto  de  explorar  y  validar  los  procedimientos  metodológicos.  Parte  clave  del  piloto  lo  constituyó  la  consulta  a  formadores  de  profesores  nacionales  e  internacionales  y  docentes de reconocida trayectoria, para fijar una expectativa de desempeño de los  estudiantes en estudio, la cual se recoge en la rúbrica de Reflexión pedagógica en  base a casos elaborada por las investigadoras.     Los datos del estudio principal se analizaron para determinar el comportamiento  de  los  instrumentos,  para  dilucidar  niveles  de  desempeño  y  para  explorar  la  hipótesis  de  que  el  dominio  de  lenguaje  académico  pudiera  explicar  los  desempeños en reflexión pedagógica en base a casos.    Un objetivo clave que se proyecta para este trabajo es que el instrumento diseñado  pueda  ser  utilizado  en  distintas  instituciones  formadoras  de  profesores,  para  evaluar la capacidad de sus estudiantes para reflexionar pedagógicamente en base  a casos. En ese sentido, sin embargo, es importante destacar que el presente es un  estudio  aún  exploratorio,  pues  si  bien  se  ha  construido  un  instrumento  válido  y  confiable,  resta  su  aplicación  en  otros  contextos  y  por  otros  actores  para  determinar su replicabilidad en condiciones distintas a la de esta investigación.     III. Marco teórico    La reflexión pedagógica ha recibido gran atención en la literatura durante décadas,  por  su  asociación  con  la  enseñanza  efectiva.  Los  estudios,  sin  embargo,  son  diversos respecto de la manera en que conceptualizan esta noción, lo que pone en  cuestionamiento  su  valor,  tanto  como  la  posibilidad  de  identificar  métodos  sistemáticos  para  desarrollar  este  tipo  particular  de  razonamiento  entre  los  futuros profesores.     Un cuerpo reducido de estudios ha explorado la idea de que la escritura es un buen  medio  para  desarrollar  la  reflexión  pedagógica  en  programas  de  pedagogía.  Esta  propuesta  se  basa  en  la  noción  de  que  escribir  no  es  meramente  un  medio  de  comunicación,  sino  también  una  oportunidad  para  construir  y  transformar  nuestros conocimientos.     Se  ofrece  aquí  una  revisión  de  trabajos  teóricos  y  empíricos  que  sustentan  la  propuesta  de  que  la  escritura  puede  ser  un  medio  para  aprender  a  reflexionar  pedagógicamente,  tanto  como  para  evaluar  y  monitorear  el  desarrollo  de  esta  capacidad  en  los  profesores  en  formación.  Esta  revisión  incluye  asimismo  una  descripción  de  la  noción  de  lenguaje  académico,  para  dar  sustento  teórico  a  la  exploración de una relación entre la capacidad para reflexionar pedagógicamente  por escrito y el dominio de recursos sofisticados de la lengua y del discurso.        3.1  La reflexión pedagógica en base a casos    Una revisión de la teoría disponible sobre reflexión pedagógica revela que se trata  de una preocupación central en el área de Educación. Los estudios que exploran la  idea de que los futuros profesores deben aprender a pensar reflexivamente sobre 

 

4

la  enseñanza  se  basan  en  distintas  conceptualizaciones:  reflexión  crítica  pedagógica  (Harrington  et.  Al.  1996),  reflexión  práctica  (Luk,  2008),  habilidad  reflexiva (Braun & Cumpler, 2004), pensamiento pedagógico reflexivo (Lee, 2005),  razonamiento  pedagógico  (Youngs  &  Bird,  2010;  Herman,  1998)  y  enseñanza  reflexiva  (Silcock,  1994).  Esta  heterogeneidad  teórica  ha  sido  discutida  por  distintos autores, quienes sostienen que, a pesar de la relevancia de su objeto de  estudio,  el  concepto  se  ha  vuelto  un  tanto  confuso  en  la  literatura  disponible  (Mclellan, 2008; Silcock, 1994; Lee, 2005; Braun & Crumpler, 2004).     La mayoría de los artículos relacionados con reflexión pedagógica hacen referencia  al razonamiento pedagógico de Shulman (1987) y a las reflexiones en la práctica y  sobre la práctica de Schön (1983). Los dos autores estudian la noción de reflexión  en relación con la práctica profesional y comparten la idea de que los profesores  pueden  reflexionar  sobre  sus  decisiones  instruccionales,  lo  que  a  su  vez  les  permite mejorar su práctica. Shön (1983) es en general referido por su propuesta  de  que  los  expertos  pueden  reflexionar  sobre  su  conocimiento  especializado  durante la práctica y fuera de ella. Mientras que en el primer caso la reflexión da  sustento  a  una  práctica  experta,  en  el  segundo,  permite  revisar  las  decisiones  y  mejorar la práctica en el futuro. El razonamiento pedagógico de Shulman (1987) es  específico  de  la  enseñanza  y  ocurre  cuando  los  profesores  razonan  sobre  cómo  transformar  su  conocimiento  disciplinario  de  modo  que  pueda  ser  comprendido  por los estudiantes.     Para sustentar la toma de decisión y el desarrollo profesional, los profesores deben  apoyarse  en  una  base  sólida  de  conocimiento  (Darling  Hammond  &  Bransford,  2005; Berliner, 1986; Ben‐Peretz, 2011). La propuesta es que los eventos del aula  pueden  ser  entendidos  y  analizados  por  referencia  a  distintas  fuentes  de  conocimiento  especializado,  las  que  deberían  estar  disponibles  para  la  reflexión.  Darling  Hammond  &  Bransford  (2005)  proponen  que  la  reflexión  durante  la  enseñanza  requiere  que  los  conocimientos  característicos  de  la  enseñanza  estén  representados  en  dos  niveles:  esquemas  que  sustentan  acciones  rutinarias  y  eficientes  y  conocimiento  profundo  que  sustenta  la  innovación  y  el  pensamiento  creativo, cuando los esquemas no sean suficientes para lidiar con las preguntas de   los estudiantes u otras conductas inesperadas.     Los profesores novatos no serían tan capaces de reflexionar en la acción, como sí lo  son los expertos. Esto se debería a una base precaria de conocimiento, a la falta de  habilidades  metacognitivas,  o  al  hecho  de  que  las  complejidades  de  la  enseñanza  no dejarían espacio de atención disponible para la reflexión (Darling Hammond &  Bransford, 2005; Berliner, 1986; Schemp & Woorons, 2006; Carter & Richardson,  1989;  Davis,  2006;  Borko  &  Livingston,  1989).  Berliner  (1986)  encontró  siete  rasgos que caracterizan a los profesores expertos y que los distinguen con claridad  de  los  novatos:  infieren  en  base  a  su  observación  de  eventos  y  objetos  del  aula,  categorizan  los  problemas  (categorización  de  orden  superior),  rápidamente  identifican patrones de conducta, se demoran más en examinar los problemas del  aula,  son  sensibles  a  los  cambios  en  el  contexto  de  la  enseñanza,  son  flexibles  (planean sobre la marcha, lo que se opone a la fijación funcional de los novatos) y  autorregulan su conducta.    

 

5

No obstante la capacidad limitada de realizar este tipo de razonamiento durante la  enseñanza,  los  expertos  coinciden  en  que  los  profesores  novatos  deberían  ser  capaces  de  reflexionar  sobre  eventos  del  aula,  como  parte  de  su  proceso  de  convertirse  en  profesores  expertos  (Berliner,  1986;  Darling  Hammond  y  Bransford,  2005;  Carter  &  Richardson,  1989;  Schemp  and  Woorons,  2006;  Davis,  2006).  Se  trataría  de  la  capacidad  de  analizar  situaciones  de  aula  en  base  a  distintos saberes, un ejercicio que exige revisar de qué manera se presentan estos  saberes  a  los  futuros  profesores  durante  su  formación,  de  modo  que  estén  disponibles para este tipo de análisis.     Siguiendo  esta  idea  es  que  Carter  y  Richardson  (1989)  proponen  un  método  de  enseñanza  para  la  formación  inicial  docente  que  denominan  “conocimiento  estructurado  en  torno  a  eventos”.  Este  método,  muy  similar  a  la  propuesta  de  “conocimiento situado basado en casos” de Kim y Hannafin (2008),  propone que  se  presente  a  los  profesores  en  formación  articuladamente  distintas  fuentes  de  conocimiento,  en  torno  a  eventos  del  aula.  Los  estudiantes  de  pedagogía  serían  luego enfrentados a casos de aula que deben analizar desde distintas perspectivas  (manejo  de  aula,  tipos  de  preguntas,  organización  del  espacio,  evaluación,  entre  otros), considerando no solo qué y cómo se enseña en una sala en particular, sino  también las explicaciones que sustentan las decisiones de un profesor, tanto como  qué podría cambiar para mejorar la enseñanza.     Además  del  análisis  de  caso,  otras  experiencias  de  aprendizaje  como  la  observación  de  aulas,  los  talleres  de  enseñanza  con  expertos,  el  análisis  de  protocolos  de  pensamiento  en  voz  alta  de  profesores  expertos,  son  experiencias  que pueden favorecer que los futuros profesores visualicen la enseñanza como un  proceso de toma de decisión y aprendan a inferir estas decisiones por referencia a  distintos dominios de conocimiento que adquieren durante su formación (Schemp  & Woorons, 2006).       3.2 Alfabetización pedagógica     Mclellan (2008) introduce el concepto de alfabetización pedagógica para referirse  a  la  capacidad  de  comprender  y  producir  discurso  al  interior  de  la  comunidad  académica de la Educación. Su descripción del concepto se basa en los principios  de la escritura como medio para aprender y considera la alfabetización como una  herramienta  cognitiva  que  puede  promover  el  desarrollo  del  conocimiento  pedagógico. En sus palabras:    “Pedagogical  literacy  is,  therefore,  the  fundamental  competence  of  being  able  to  read,  understand  and  criticize  the  documents  that  make  up  the  professional  knowledge  base  of  teaching  and  learning.  Furthermore,  because  reading  material  is  better  understood  when  it  requires  to  be  manipulated through situated writing tasks (Langer & Applebee, 1987) the  construction of written representations about teaching and learning can be  powerful catalysts for teacher education students’ own learning” (p.1987)    De  acuerdo  con  la  autora,  en  orden  a  aprender  cómo  enseñar,  un  estudiante  de  pedagogía debe atravesar un proceso que incluye leer y escribir. Un profesor que 

 

6

ha tenido la oportunidad de leer sobre la teoría y la práctica de la enseñanza y el  aprendizaje puede acceder al conocimiento contenido en esos textos, para razonar  con  ellos  sobre  su  práctica.  Sin  la  representación  de  ese  conocimiento,  la  enseñanza  se  limita  a  la  ejecución  automática  y  los  profesores  no  pueden  ser  flexibles (adaptarse a lo inesperado) o mejorar sus prácticas.     Escribir en la formación de profesores es visto por la autora como una oportunidad  de construir el conocimiento pedagógico discursivamente. Por ejemplo, en relación  con  el  conocimiento  pedagógico  del  contenido  de  Shulman  (1987),  esa  manera  única  de  pensar  que  permite  a  los  profesores  transformar  el  conocimiento  disciplinario  en  formas  que  el  aprendiz  puede  comprender  (Mclellan,  2008,  p.1988), la autora declara que se puede representar simbólicamente tanto como en  acciones pedagógicas. Si se representa simbólicamente a través de la escritura, el  conocimiento  pedagógico  del  contenido  puede  ser  transformado  por  los  estudiantes a la vez que observado por sus instructores.     Al  representar  su  conocimiento  teórico  y  práctico  por  escrito,  los  futuros  profesores tienen también la oportunidad de hacer de este conocimiento un objeto  de  reflexión;  pueden  manipularlo,  integrarlo,  reestructurarlo,  controlarlo  y  transformarlo. Así, en el contexto específico de la formación de profesores, escribir  es  una  oportunidad  para  transformar  el  conocimiento,  las  creencias  y  las  percepciones  sobre  la  enseñanza.  Asimismo,  permite  dejar  un  testimonio  escrito  de  este  proceso  constructivo,  que  entrega  información  a  los  formadores  de  profesores respecto del proceso de aprendizaje de sus estudiantes.     3.3 Reflexión pedagógica y escritura: los géneros escritos de la formación inicial  docente    Hay  disponibles  algunos  estudios  que  han  explorado  el  uso  de  la  escritura  como  medio  para  desarrollar  hábitos  de  una  reflexión  pedagógica  basada  en  fuentes  relevantes  de  conocimiento  (Davis,  2006;  Barksdale‐Ladd  et  al.,  2001;  Le  Fevre,  2011; Braun & Cumpler,2003; Lee, 2005; Luk, 2008).  Como explica Davis (2006),  distintas tareas de escritura que se utilizan en la formación inicial docente tienen  el  potencial  de  promover  la  integración  de  distintos  conocimientos  y  la  reflexión  en  base  a  ellos.  Entre  otras,  el  diálogo,  la  investigación‐acción,  la  investigación  realizada  por  profesores,  la  escritura  reflexiva  y  el  análisis  de  casos.  Todas  estas  tareas involucran la reflexión articulada de aspectos clave sobre los aprendices y el  aprendizaje,  sobre  el  conocimiento  disciplinario,  sobre  la  evaluación  y  la  enseñanza, sobre los contextos de la enseñanza.     En  su  propio  trabajo  con  diarios  reflexivos  en  la  formación  inicial docente,  Davis  (2006) sugiere que el lenguaje es un mediador en el proceso de aprendizaje de lo  que  ella  llama  reflexión  productiva.  En  este  tipo  de  escritura,  los  estudiantes  entregan  evidencias  para  secundar  sus  afirmaciones,  hacen  propuestas  alternativas,  cuestionan  supuestos,  identifican  los  resultados  de  la  enseñanza,  evalúan  y  juzgan  la  enseñanza.    Por  su  parte,  la  reflexión  improductiva  se  caracteriza  por  una  escritura  centrada  en  la  descripción  de  situaciones  de  enseñanza,  listas  de  ideas  sin  relación  y  una  perspectiva  crítica  y  de  juicios  sin  fundamento empírico.  

 

7

  Muy  similar  es  el  trabajo  de  Luk  (2008),  quien  ofrece  una  exploración  más  detallada de las características discursivas de diaros reflexivos evaluados como de  alta calidad por formadores de profesores: nexos contrastivos (sin embargo, por el  contrario, etc.) que reflejan la consideración de distintas perspectivas, discusiones  o  posturas;  marcadores  de  modalización  (verbos  en  condicional,  o  expresiones  como podría ser, sería posible) que reflejan que el escritor asume que hay distintas  maneras de enseñar y no soluciones únicas y verdaderas; movidas discursivas de  evaluación y sugerencias, en lugar de solo secuencias descriptivas; presentación de  evidencias para sustentar afirmaciones.     Se  puede  encontrar  también  otro  cuerpo  de  investigaciones  que  exploran  tareas  escritas  como  medios  para  desarrollar  la  reflexión  pedagógica,  pero  que  conceptualizan  la  reflexión  de  forma  diferente;  por  ejemplo,  como  una  oportunidad  para  relacionar  el  ámbito  personal  con  el  profesional  (Barksdale‐ Ladd  et  al,  2001;  Braun  &  Cumpler,  2004;  Le  Fevre,  2011),  como  cuando  se  recuperan  experiencias  previas  de  aprendizaje,  de  modo  que  los  futuros  profesores recuerden cómo era ser estudiantes y qué estrategias de enseñanza les  ayudaban más. Las memorias sociales, las narraciones de niños, las autobiografías,  entre otros géneros más narrativos, se presentan en la literatura especializada en  relación  con  la  noción  de  que  el  conocimiento  pedagógico  se  puede  representar  narrativamente,  lo  que  afecta  la  percepción  y  las  decisiones  de  los  docentes    (Le  Fevre,  2011).  En  este  marco,  se  promueve  que  los  estudiantes  de  pedagogía  escriban para dar voz y reflexionar sobre sus teorías implícitas, sus actitudes y su  conocimiento sobre la enseñanza.     3. 4 La evaluación de la reflexión pedagógica escrita    Hay  disponibles  pocos  estudios  que  reporten  la  construcción  de  instrumentos  válidos  y  confiables  para  evaluar  la  reflexión  pedagógica  (Youngs  y  Birds,  2010;  Fund,  Court  y  Kramarski,  2002).  Es  posible  encontrar,  también,  algunos  trabajos  que  reportan  estudios  de  casos  de  reflexión  pedagógica  (Luk,  2008;  Lee,  2005;  Davis,  2006),  junto  con  detalles  de  los  procedimientos  de  análisis.  No  obstante  escasas, es interesante la coincidencia que existe entre estas investigaciones.    En primer lugar, respecto de la funcionalidad que atribuyen al ejercicio de evaluar  la  reflexión  pedagógica  por  escrito,  todos  ellos  sostienen  que  la  escritura  es  un  medio  privilegiado  para  evaluar  y  para  enseñar  a  los  futuros  profesores  a  reflexionar pedagógicamente durante su formación. Hay incluso evidencia de que  la  aplicación  sistemática  de  ejercicios  de  reflexión  pedagógica  escrita  logra,  gradualmente,  mejorar  las  capacidades  de  los  estudiantes  en  esta  tarea  (Fund  et  al.,  2002).  Lo  anterior  incluye  retroalimentaciones  recursivas  a  los  estudiantes  respecto  de  su  nivel  de  logro,  en  base  a  un  modelo  y  criterios  de  evaluación  determinados.    En  segundo  lugar,  los  autores  coinciden  en  su  diagnóstico  de  la  amplitud  y  vaguedad  del  concepto  de  reflexión  pedagógica  y  de  la  necesidad  de  modelos  y  procedimientos  para  sistematizarlo,  de  manera  que  sea  posible  transferirlo  a  los  estudiantes. Se argumenta sobre la importancia de familiarizar a los estudiantes no 

 

8

solo  con  los  criterios  de  evaluación,  sino  que  también  con  las  características  discursivas  de  la  reflexión  pedagógica,  para  promover  una  comprensión  más  profunda  de  lo  que  constituye  este  ejercicio  y  cómo  se  construye  con  palabras  (Luk, 2008).     En tercer lugar, llama la atención que la totalidad de los autores gradúa la calidad  de  la  reflexión  pedagógica  en  polos  que  van  desde  la  mera  descripción  de  lo  observado o realizado y los juicios sin fundamentos, hasta una reflexión profunda  o  crítica  que  involucra  afirmaciones  con  fundamentos,  distintas  perspectivas  de  análisis  y  articulación  entre  distintos  conceptos.    Dos  elementos  diferenciales  de  los  trabajos  referidos  merecen  ser  resaltados.  Por  una  parte,  Youngs  y  Birds  (2010) agregan a estos criterios de evaluación la necesidad de que los estudiantes  demuestren un sólido dominio de los conceptos teóricos que utilizan para realizar  su análisis. En esta lógica se considera de bajo nivel no solo que se cometan errores  conceptuales,  sino  también  que  se  utilicen  los  conceptos  de  manera  vaga  o  imprecisa,  o  que  se  nombren  solamente  en  lugar  de  usarlos  para  realizar  el  análisis. Por otra parte, Fund et al. (2002) relevan la capacidad de los estudiantes  para  situarse,  en  el  más  alto  nivel  de  la  rúbrica,  en  un  marco  conceptual  más  amplio, ofreciendo generalizaciones conceptuales.     Si  bien  hay  diferencias  en  la  manera  en  que  los  distintos  autores  abordan  el  problema  de  la  escritura  en  relación  con  la  reflexión  pedagógica  escrita,  hay  también  coincidencias  en  sus  propuestas  de  un  uso  sofisticado  de  la  lengua  necesario para realizar este ejercicio. Luk (2008) y Davis (2006) optan por realizar  análisis  discursivos  de  las  muestras  recogidas,  para  derivar  características  constantes  en  los  trabajos  de  mayor  nivel.  De  estos  estudios  es  posible  concluir  que  el  ejercicio  reflexivo  requiere  de  un  dominio  sofisticado  de  recursos  de  la  lengua,  que  permita  a  los  estudiantes  establecer  relaciones  entre  las  ideas  presentadas,  como  los  conectores,  las  relaciones  lógicas  y  los  marcadores  discursivos.  De  hecho,  Luk  (2008)  sostiene  que  el  dominio  discursivo  es  una  variable que necesariamente se entrecruza en el desempeño de los estudiantes, lo  que  justifica  la  necesidad  de  una  enseñanza  explícita.  Recurriendo  al  trabajo  de  Bereiter  y  Scardamalia  (1987),  Fund  et  al  (2002)  involucran  en  su  modelo  de  evaluación  la  noción  de  que  en  los  niveles  más  altos  de  reflexión  pedagógica,  los  estudiantes  deben  poder  coordinar  una  mayor  cantidad  de  ideas  (conocimientos  teóricos,  experiencia,  creencias)  y  transformarlas  en  su  conjunto  para  construir  conocimiento nuevo por escrito.   Este plano “formal”, según proponen, es el que se  gradúa  a  lo  largo  de  la  rúbrica,  de  modo  que  el  nivel  más  alto  se alcanza no  solo  incluyendo  información  sobre  qué  se  enseña  y  cómo,  sino  que  siendo  capaz  de  reflexionar coordinadamente con todos los conceptos relevantes para ese análisis.      Por último, es importante destacar las propuestas de Youngs y Birds (2010) y Fund  et al. (2002) respecto de que es posible aspirar a la construcción de instrumentos  para  ser  usados  al  interior  de  la  formación  inicial  docente  (embedded  assessments)  con  niveles  de  confiabilidad  y  validez  adecuados.  Según  proponen  Youngs  y  Birds  (2010),  es  de  la  mayor  importancia  que  los  formadores  de  profesores  trabajen  colectivamente  en  la  aplicación  de  estos  instrumentos  y  que  éstos puedan coincidir con sus creencias y concepciones respecto de la Educación.    

 

9

        3.5 Lenguaje académico 

  Siguiendo  el  trabajo  de  Snow  y  Ucelli  (2008),  entendemos  el  lenguaje  académico  como  un  registro  de  la  escritura  que  es  común  en  la  cultura  escrita  del  mundo  académico.  En  términos  de  sus  características,  se  trata  de  un  dominio  léxico,  gramatical y discursivo que permite “empaquetar” ideas complejas y abstractas al  escribir,  tanto  como  comprender  los  textos  de  la  escuela  y  de  las  comunidades  académicas.  Se  utiliza  este  registro  escrito  en  diversas  comunidades  académicas,  de tal manera que es posible distinguir particularidades lingüísticas en cada una de  ellas, tanto como elementos comunes.     Quienes  producen  géneros  escritos  académicos  al  interior  de  comunidades  particulares,  no  solo  poseen  dominio  lingüístico,  sino  también  saberes  disciplinarios,  de  modo  que  logran  construir  discursivamente  el  conocimiento  de  su comunidad. Inspirados en el trabajo de Halliday y Matthiesen (2004), estudios  como el de Schleppegrel y Oliveira (2006) asumen que las formas lingüísticas son  inseparables  de  los  contenidos.  En  otras  palabras,  los  escritores  expertos  de  una  disciplina  particular  construyen  sus  teorías,  argumentos  y  opiniones  en  forma  discursiva en un texto, usando los recursos del lenguaje académico. Así, para poder  acceder  a  ese  conocimiento  en  la  lectura  o  para  poder  construir  conocimiento  nuevo  por  escrito,  los  universitarios  que  ingresan  a  una  comunidad  académica  deben  poder  dominar  gradualmente  los  géneros  de  dicha  comunidad  y  sus  convenciones discursivas.      Adicional al uso de lenguaje técnico, infrecuente y abstracto, una cuestión clave del  lenguaje académico es que permite relacionar varias ideas en una misma porción  del  texto  (una  oración,  un  párrafo),  por  medio  de  relaciones  de  dependencia  gramatical (cláusulas anidadas) y de conectores lógicos, entre otros recursos. Esta  tarea  requiere  ser  capaz  de  gestionar  grandes  porciones  de  información  simultáneamente  y  de  organizarlas  lógicamente,  un  ejercicio  muy  propio  de  la  escritura  académica  y  escasamente  necesario  en  la  comunicación  oral  coloquial  (Durst, 1987; Crowhurst, 1981; Concha, Aravena, Coloma y Romero, 2010; Concha  y Paratore, 2011).     Respecto de la organización de ideas a un nivel más global, los textos escritos en  este  registro  presentan  evidencia  de  que  se  ha  planificado  la  entrega  de  información, pues esta se presenta en un orden lógico y se introduce y cierra con  afirmaciones  que  la  abordan  de  manera  general.  Lo  anterior  da  cuenta  de  una  consideración  del  lector  potencial  del  texto,  tanto  como  de  las  maneras  convencionales en que se marca en el texto esta interacción con otro u otros que  leerán.  Este  orden  lógico  suele  estar  acompañado  de  marcadores  discursivos  (en  primer  lugar,  respecto  de  lo  anterior,  etc.)  u  otras  formas  lingüísticas  que  encabezan secciones del texto, reflejando la función que cumplen estas últimas en  un esquema de organización mayor.    

 

10

Justamente en relación con el dominio disciplinario, es característico del lenguaje  académico  el  uso  de  conceptos  abstractos  o  procesos  como  sujetos  oracionales  (metáforas gramaticales).  Un escritor que domina una disciplina particular pone  en posición de sujeto gramatical una noción abstracta como la migración campo‐ ciudad, la didáctica de la lengua, el manejo del aula, para poder predicar respecto  de ellas. Lo hace también cuando recoge una serie de elementos ya mencionados   en  categorías  abstractas  (este  fenómeno  recién  descrito,  este  proceso,  esta  jerarquía), reflejando su comprensión profunda del conocimiento respecto del cual  escribe.     Asimismo,  dado  que  comprende  que  escribe  en  el  marco  de  una  comunidad  de  personas que contribuyen a la construcción de un conocimiento teórico que aspira  a  la  objetividad,  el  escritor  asume  una  postura  despersonalizada  respecto  de  sus  dichos,  que  se  marca  en  el  texto  con  formas  lingüísticas  como  el  “se”  impersonal  (se dice, se sabe que, etc.) (Snow y Ucelli, 2008).     En su conjunto, todas estas convenciones que caracterizan al lenguaje académico  resultan ser selecciones que un escritor realiza cuando adecua su participación a  contextos  comunicativos  reales,  dentro  de  los  cuales  reconoce  determinadas  convenciones  que  son  valoradas  por  una  comunidad,  tanto  como  medios  para  construir  y  acceder  al  conocimiento  experto  de  dicha  comunidad  .  Estas  convenciones  son  clave  para  la  participación  en  las  comunidades  discursivas  (Carlino, 2007; Tapia, Burdiles y Arancibia, 2003) y son también herramientas que  dan forma al conocimiento (Soto, 2005).         IV. Objetivos específicos:    Los siguientes son los objetivos específicos propuestos para este estudio:    1. Definir,  en  conjunto  con  formadores  de  profesores  y  con  docentes  de  reconocida trayectoria, una expectativa de desempeño de los estudiantes de  último año, respecto de su habilidad para reflexionar pedagógicamente en  base a casos y de su dominio de lenguaje académico.  2. Diseñar  y  validar  un  instrumento  para  medir  la  reflexión  pedagógica  en  baso a casos y el dominio de lenguaje académico de estudiantes de último  año  de la carrera de Pedagogía en Educación Básica.  3. Determinar qué ámbitos de conocimiento utilizan los estudiantes en estudio  para analizar la práctica en aula y de qué manera articulan dichos saberes al  reflexionar pedagógicamente en base a casos.   4. Determinar  en  qué  medida  el  dominio  de  lenguaje  académico  podría  explicar  la  capacidad  de  reflexionar    pedagógicamente  por  escrito  de  los  estudiantes en estudio.    V. Encuesta a formadores de profesores    Una  cuestión  clave  de  los  instrumentos  de  medición  es  que  puedan  evaluar  constructos  que  sean  valiosos  para  la  comunidad  en  la  que  se  espera  utilizarlos. 

 

11

Con el objeto de verificar la relevancia de la tarea análisis de caso en la formación  inicial  docente,  se  procedió  a  aplicar  una  encuesta  a  los  académicos  de  las  universidades  que  participaron  del  estudio  principal.  Los  resultados  de  esta  encuesta revelan que se trata de una tarea frecuente entre los encuestados y que  sus  características  son  homólogas  a  las  condiciones  de  evaluación  que  plantea  el  instrumento  construido  en  este  estudio.  Los  resultados  de  esta  encuesta  confirman,  además,  la  tendencia  de  una  encuesta  previa  recogida  durante  el  estudio piloto, entre formadores de profesores de otras universidades.     A  los  profesores  de  las  universidades  participantes  en  el  estudio  principal  se  les  pidió  contestar,  voluntariamente,  una  breve  encuesta  online  sobre  las  tareas  que  les  solicitan  realizar  a  sus  estudiantes.  Específicamente,  se  les  consultó  por  la  realización de análisis de casos en sus clases y las características de este.    Participaron en la encuesta online 24 profesores de la Universidad de Los Andes,  12  de  la  Universidad  del  Pacífico  y  16  de  la  Universidad  Diego  Portales.  La  gran  parte  de  los  profesores  que  contestaron  la  encuesta  (43,1%)  realizan  clases  de  didáctica específica, seguido por los docentes de práctica profesional (29,4%).    

    De los 52 profesores que contestaron la encuesta, un 76,5% (39) respondió que sí  solicitaba a sus estudiantes realizar análisis de casos de enseñanza. Este resultado  estaría  señalando  que  el  ejercicio  que  se  les  pidió  resolver  a  los  estudiantes  participantes del estudio es una tarea relevante en su formación y valorada por sus  profesores.    

 

12

      Con  respecto  al  tipo  de  análisis  de  caso  que  los  profesores  piden  realizar  a  los  estudiantes,  casi  la  totalidad  señala  que  los  estudiantes  deben  describir  el  aula  observada  (94%),  analizarla  (97%),  aplicar  conceptos  revisados  en  clases  al  análisis  (97%)  y  realizar  recomendaciones  para  la  mejora  de  la  enseñanza  y  el  aprendizaje (91%). Estos resultados confirman la coincidencia que existe entre las  características  de  la  tarea  que  suelen  solicitar  los  formadores  de  profesores  encuestados  y  los  ámbitos  de  evaluación  del  instrumento  que  aquí  se  describe  y  que se ha denominado Reflexión pedagógica en base a casos.     Con  respecto  al  producto  que  deben  entregar  de  sus  análisis,  un  73%  de  los  encuestados respondió que los estudiantes deben entregar un producto escrito. En  menor  medida  (61%)  señalan  que  los  estudiantes  deben  entregar  un  “Producto  oral”  (por  ejemplo:  una  presentación  oral).  En  el  caso  de  que  se  entregue  un  producto  escrito,  la  longitud  solicitada  es  entre  tres  carillas  (34,5%)  y  más  de  3  carillas (44,8%).    

   

 

 

13

Finalmente, con respecto al  caso que se presenta a los estudiantes, los profesores  respondieron  que  este  se  deriva  de  una  observación  directa  (92%)  y  en  forma  escrita  (88,5%).  En  menor  medida,  pero  aún  de  forma  frecuente,  el  caso  se  presenta en la forma de un video (68% señaló que sí y un 32% que no).     Como  en  los  resultados  recogidos  en  la  encuesta  previa  descrita  en  el  informe  preliminar del estudio, estos últimos confirman también la coincidencia entre las  tareas  solicitadas  por  los  formadores  encuestados  a  sus  estudiantes  y  las  características del instrumento construido en el estudio que se reporta.    VI. Marco metodológico del estudio    6. 1 Procedimientos de construcción del instrumento y de las rúbricas    En el estudio que se reporta, se construyó un instrumento denominado Reflexión  Pedagógica  en  Base  a  Casos  (RPEC),  una  rúbrica  de  RPEC  y  una  rúbrica  de  Lenguaje  Académico.  Dado  que  en  el  informe  preliminar  entregado  a  la  contraparte  se  ofreció  un  análisis  detallado  del  proceso  de  construcción  del  instrumento RPEC, se presenta en este documento un resumen de dicho proceso.  Respecto de su rúbrica, sin embargo, se incluye acá el detalle del último proceso de  revisión  derivado  del  análisis  de  los  datos  recogidos  en  la  muestra  piloto.  Por  último,  se  ofrece  un  detalle  de  los  pasos  seguidos  para  construir  la  rúbrica  de  Lenguaje Académico (LA).     6.1.1 Resumen de la construcción del instrumento RPEC y de su rúbrica    El instrumento construido durante el estudio piloto, RPEC, consta de dos partes:     • Un  video  de  15  minutos  que  presenta  fragmentos  que  representan  los  distintos momentos de una clase, editados y etiquetados según su función,  además de una diapositiva inicial que presenta el objetivo de la clase y un  esquema de su estructura.     • Un  reactivo  que  invita  a  escribir  un  análisis  de  caso  a  partir  del  video,  utilizando  para  ello  los  distintos  saberes  adquiridos  a  lo  largo  de  la  formación  inicial:  disciplinarios,  de  didáctica  general,  de  didáctica  específica, de los contextos de la enseñanza, entre otros.     Respecto del video, durante el estudio piloto se utilizó un fragmento de 15 min. del  inicio de una clase de Lenguaje y Comunicación en un cuarto básico de un colegio  particular  subvencionado.  En  las  muestras  recogidas,  sin  embargo,  fue  posible  constatar que los estudiantes expresaban la necesidad de conocer la totalidad de la  clase para poder juzgar respecto de la función de la sección observada, tanto como  el objetivo de la clase para poder compararlo con lo efectivamente logrado. Por lo  mismo,  se  optó  por  mantener  el  mismo  video  para  el  estudio  principal,  pero  editado de modo que fuera posible ver una porción de cada una de las partes de la  clase, a las que se agregó además una diapositiva inicial que presenta la estructura  de  la  clase  y  su  objetivo,  además  de  diapositivas  inmediatamente  previas  a  cada 

 

14

sección,  que  la  anuncian  (ej:  comienza  la  lectura,  comienza  la  discusión,  cierre,  etc.).     Asimismo, se observó en los dos momentos del estudio piloto (pre piloto y piloto)  que  el  fragmento  seleccionado  podía  afectar  la  capacidad  de  los  estudiantes  de  atraer  su  conocimiento  teórico  al  análisis,  dada  la  diferencia  en  la  densidad  de  saberes que subyacen a la toma de decisiones pedagógica en distintos momentos  de  una  clase  (es  mayor,  por  ejemplo,  mientras  se  dan  las  instrucciones  o  se  presenta  un  contenido  y  menor,  por  ejemplo,  cuando  los  estudiantes  realizan  un  trabajo de aplicación individual y el profesor solo circula por la sala para mantener  el orden). Este segundo problema se resuelve también con la modalidad de video  editado que representa la totalidad de la clase y explicita su objetivo y estructura.     Respecto  del  reactivo,  se  optó  por  solicitar  a  los  estudiantes  que  escribieran  el  análisis  de  una  clase,  considerando  la  enseñanza  como  un  ejercicio  de  toma  de  decisiones  basado  en  conocimientos  expertos.  De  modo  de  provocar  este  tipo  de  análisis, se solicita a los estudiantes que se refieran a lo que hace la profesora (qué  hace), a la manera en que lo hace (cómo lo hace) y a los principios que subyacen al  qué y el cómo enseña (por qué enseña de esta manera). Para esto, se les pide que  utilicen los distintos saberes adquiridos a lo largo de su formación, los que se listan  para  ellos  en  el  reactivo.  Adicionalmente,  se  sugiere  que  propongan  vías  para  mejorar la enseñanza. El diseño de la tarea se basa principalmente en los trabajos  de Carter y Richardson (1989), Kim y Hanafin (2008), Schemp y Woorons, (2006),  Fund et al. (2002) y Luk (2008)1.     Respecto  de  la  rúbrica  RPEC,  se  trata  de  una  escala  basada  en  los  principios  derivados  de  la  revisión  bibliográfica  incluida  en  este  informe,  tanto  como  en  la  opinión  de  formadoras  de  profesores  convocadas  a  un  proceso  de  juicio  de  expertos.  De  esta  forma,  las  investigadoras  han  contrastado  los  principios  ofrecidos  en  la  literatura  relevante,  con  aquellos  que  valoran  formadoras  de  la  comunidad  académica  nacional,  un  procedimiento  que  agrega  validez  al  instrumento.    

                                                         1 Ver en anexo el instrumento prueba de RPEC 

 

15

Tabla 1. Criterios de Evaluación de Reflexión Pedagógica en Base a Casos y fuentes    Es  importante  destacar,  además,  que  los  procedimientos  de  validación  de  la  rúbrica permitieron que sus niveles fueran ajustados en relación con las muestras  recogidas  en  el  piloto.  De  esta  manera,  no  solo  se  favorece  la  consistencia  entre  codificadores, por la vía de asegurar la productividad de los niveles de la rúbrica,  sino que se logra un instrumento sensible al desempeño de estudiantes nacionales.     La  siguiente  tabla  resume  los  criterios  de  evaluación  de  la  rúbrica  y  su  procedencia:      CRITERIOS DE EVALUACIÓN DE REFLEXIÓN PEDAGÓGICA EN BASE  A CASOS  A. Inferir razones o explicaciones que subyacen a las decisiones  pedagógicas de un profesor o profesora observado     B. Articular distintos dominios de conocimiento relevantes a la  enseñanza y el aprendizaje, en una reflexión escrita.   

C. Sólido dominio de conceptos teóricos utilizados para analizar y  comprender la toma de decisiones pedagógicas.   

D. Un tipo de análisis en el que se entregan fundamentos para las  afirmaciones, se consideran distintas perspectivas (por ejemplo,  distintas explicaciones para un fenómeno observado, o distintos  dominios de conocimiento relevantes), se evalúa y se ofrecen vías  alternativas de solución. En el nivel bajo, se trata de descripciones de  eventos y conductas, no se analiza la toma de decisiones, se entregan  opiniones sin fundamentos.    

FUENTES   Panel de expertos  Davis, 2006  Schemp & Woorons, 2006  Carter & Richardson, 1989  Panel de expertos  Davis, 2006  Carter & Richardson, 1989   Silcock, 1994  Luk (2008)  Lee (2005) Panel de expertos  Darling Hammond & Bransford, 2005   Berliner, 1986  Ben‐Peretz, 2011   Youngs and Bird, 2010  Panel de expertos  Davis, 2006  Lee, 2005  Luk, 2008  Youngs and Bird, 2010  

        Respecto  de  los  denominados  “dominios  de  conocimiento  relevantes  a  la  enseñanza y el aprendizaje” (punto B de la tabla precedente), la rúbrica considera  y adapta la propuesta de Davis (2006). A continuación se presentan dos tablas: una  de  ellas  presenta  una  traducción  de  los  dominios  propuestos  por  la  autora  y,  la  otra, la adaptación que hicieron las investigadoras de su propuesta, agregando una  nuevo  dominio  de  didáctica  específica.  En  la  tabla,  la  nueva  propuesta  se  ilustra  con los contenidos relativos a cada dominio derivados del video que se utilizó en  este estudio.     Dominios  de  conocimiento  relevantes  para  la  enseñanza  y  el  aprendizaje,  Davis  (2006) traducción.     Tabla 2. Dominios de conocimiento relevantes para la enseñanza y el aprendizaje 

 

16

Aprendices y  aprendizaje  Ideas alternativas o  ideas de los  estudiantes  Conocimiento previo  y experiencias  Involucramiento y  motivación  Colaboración  Resultados de  aprendizaje  Estudiantes  individuales  Similitudes entre  estudiantes  Procesos de  desarrollo cognitivo y  social  Contexto social de la  enseñanza     

Conocimiento  sobre la  asignatura   Naturaleza de la  ciencia  Naturaleza del  conocimiento  científico  Investigación  científica  Contenidos de la  ciencia  Conexiones entre  conceptos,  hechos, teorías,  etc.   

Evaluación/calificación

Instrucción  

Métodos Tiempo asignado  Metas de evaluación  Distintos enfoques y  usos  Alineación entre  evaluación y metas de  enseñanza, ideas de los  estudiantes y  actividades  Efectividad de la  evaluación   

Introducción a la clase  Cierre de la clase  Conexiones con actividades  previas o futuras  Manejo de (grupo,  materials, actividades)  Materiales, guías de trabajo  Construcción de la clase,  uso de propuestas  existentes   Representaciones  instruccionales  Actividades  Metas de enseñanza  Preguntas guía  Tiempo instruccional  Seguridad de la profesora o  profesor  Secuencia de enseñanza y  su relación con las metas 

  Adaptación de Davis (2006): ejemplificado con contenidos observados en el video  utilizado en este estudio    Tabla  3.  Adaptación  Dominios  de  conocimiento  relevantes  para  la  enseñanza  y  el  aprendizaje                   

 

17

Aprendices y  aprendizaje 

Conocimiento  sobre la  asignatura  Conocimiento  Cuentos de  previo de los  tradición oral,  estudiantes  su definición y   sobre la forma de  sus  ser de los adultos  características  mayores y cómo  estructurales  este  (estribillo)  conocimiento se    usa para  Puntuación:  comprender el  signos de  cuento narrado  interrogación   en clases, en    especial al  Ortografía  personaje  (tilde en  principal  esdrújulas)  Involucramiento    de los  estudiantes en  la actividad  su interés y  motivación para  participar de las  discusiones que  propone la  profesora, para  responder a sus  preguntas   Preguntas de  los estudiantes y  comentarios  Cómo revelan su  comprensión de  la clase, de los  contenidos  tratados; su  interés, su  motivación.   Vocabulario de  los niños   “vinadre”,  “cargocito”: qué  revelan estos  usos respecto de  su dominio de  vocabulario.    

Evaluación/calificación

Instrucción:  general 

Instrucción:  específica 

Procedimientos de  Evaluación  formativa:   Demostrar  comprensión global,  identificando idea  principal, usando  mapas conceptuales  (idea principal y  detalles), escogiendo el  mejor título para la  historia.     Demostrar  comprensión de  conceptos presentados  en clases: responder  preguntas de  definiciones (qué  significa idea  principal),  parafraseando.   

Manejo de  grupo:  explicitación de  las reglas,  aplicación  asistemática de  las reglas, estilo  proactivo o  reactivo  Clima positivo:  llamar a los niños  por su nombre,  no alzar la voz,  sonreír,  participar  activamente de la  conversación.  Estructura de la  clase (inicio,  desarollo, cierre)  Objetivo de la  clase: determinar  idea principal de  un cuento  Toma de turnos  (interacciones  de aula):  predominio de la  profesora en la  toma de turnos,  oportunidades de  los estudiantes de  proponer temas o  tomar la palabra;  tiempo para  responder a las  preguntas,  retroalimentación  específica.  Refuerzo  positivo (ej: me  gusta la manera  en que Roberto se  está portando)  Premios (tiempo  extra de recreo  por terminar el  trabajo) 

Momentos de la  lectura (antes,  durante y después)  Lectura en voz  alta (entonación,  pausas, etc.)  Preguntas  abiertas y su  relación con la  comprensión y el  desarrollo del  lenguaje oral (ej:  qué creen que  pasará a  continuación)  Descripción de  personaje  principal   Enseñanza de  vocabulario  (palabras en  contexto, pobre  discusión de su  significado, falta de  oportunidades para  usarlas)   Estrategias de  lectura  (predicciones,  conexiones)  Enseñanza de  comunicación oral  (modelaje de  discurso extendido  y  descontextualizado;  oportunidades de  los estudiantes  para producer ese  tipo de discurso:  oraciones  completas,  parafraseo  Enfoque  comunicativo  functional para la  enseñanza de la  lengua (se enseña  vocabulario y  ortografía en el  contexto de un  cuento leído y  comprendido)   

    Se  resume  a  continuación  las  etapas  del  proceso  de  construcción  de  la  rúbrica  RPEC, las que fueron detalladas en el informe preliminar:   

18

 

a) Revisión bibliográfica  b) Elaboración de la versión 1 del instrumento  c) Expertas  en  formación  de  profesores  y  en  didáctica  de  la  lengua,  de  tres  universidades  (Viviana  Galdames,  Universidad  Alberto  Hurtado;  Beatriz  Figueroa,  Universidad  de  Concepción;  Soledad  Aravena,  Pontificia  Universidad  Católica)  responden  al  instrumento  y  opinan  respecto  de  sus  contenidos  y  su  redacción.  Este  ejercicio  contribuye  a  fijar  un  nivel  de  desempeño  sobresaliente  en  la  rúbrica,  además  de  una  revisión  de  sus  contenidos.   d) Aplicación de prepiloto de la versión 1 del instrumento a 10 estudiantes  e) Análisis de las muestras  f) Expertas internacionales, Jeanne Paratore (Boston University) y Paola Ucelli  (Harvard University) analizan la versión 1  g) Revisión del instrumento, construcción de la versión 2  h) Aplicación  de  la  versión  2  del  instrumento  a  8  profesoras  de  Lenguaje  y  Comunicación de Santiago, que habían obtenido la Asignación de Excelencia  Pedagógica (AEP). Este ejercicio contribuye a fijar niveles de desempeño de  la rúbrica.   i) Análisis de las muestras obtenidas  j) Decisión de volver a la versión 1, ajuste del instrumento 

    Distintos  mecanismos  fueron  utilizados  para  revisar  y  validar  los  contenidos  y  procedimientos  de  codificación  de  la  rúbrica  RPEC.  El  proceso  involucró  la  consulta de expertos y tres rondas de codificación, una con muestras recogidas en  el pre‐piloto y dos con las muestras del piloto. Cada etapa fue seguida de jornadas  internas de revisión del señalado esquema.     Se reproducen resumidamente las etapas del proceso de revisión y validación de la  rúbrica  RPEB  (descritas  en  el  informe  preliminar)  y  se  ofrece,  en  mayor  detalle,  una descripción de la última revisión posterior a la aplicación piloto:    a) Tres formadoras de profesores, especialistas en didáctica de la lengua (Marcela  Guajardo,  Universidad  Andrés  Bello;  Rosa  Miranda,  UDP  y  Soledad  Aravena,  Universidad  Católica),  analizaron  una  selección  de  muestras  producidas  por  formadores de profesores, profesores AEP y por estudiantes del estudio piloto. Las  expertas clasificaron las muestras en tres niveles de desempeño (bajo, medio, alto)  y justificaron oralmente las razones que subyacían a sus decisiones. Así también,  analizaron la primera versión de la rúbrica de evaluación de reflexión pedagógica y  aportaron con sugerencias sobre sus contenidos y niveles de logro2.     b) Revisión de la rúbrica, en base a comentarios de las expertas.    c) Codificación de muestras recogidas en una aplicación pre piloto (5 muestras de  estudiantes  de  cuarto  año  de  pedagogía  de  la  Universidad  Alberto  Hurtado  y  5  muestras de estudiantes homólogos de la Pontificia Universidad Católica de Chile).                                                           2 Ver en anexo el resumen de los comentarios de las expertas.  

 

19

  d)  Análisis  de  resultados  de  la  codificación  y  transformación  de  la  rúbrica  en  un  primer esquema de codificación, en formato excel.     e) Codificación de muestras piloto con primer esquema de codificación.     f)  Análisis  de  resultados  y  revisión  del  primer  esquema  de  codificación.  Construcción del esquema 2 de codificación.    g) Segunda codificación de muestras piloto con segundo esquema. Respecto de los  procedimientos  de  codificación,  este  esquema  se  aplicó  a  las  muestras  por  secuencias,  entendidas  estas  como  porciones  de  texto  dedicadas  a  un  ámbito  o  momento de la clase. Cada una de las dos codificadoras segmentó en secuencias las  muestras antes de aplicar los criterios de codificación. Respecto de cada secuencia  se codificó:    • Qué  se  hace  con  palabras:  describir  un  evento  instruccional,  evaluar  la  instrucción, sugerir cómo mejorar la instrucción.  • Qué tipo de conocimiento se usa para reflexionar: conocimiento sobre el  lenguaje,  sobre  enseñar  y  aprender,  sobre  didáctica  de  la  lengua,  sobre  contextos de la enseñanza, sobre el desarrollo de los niños, sobre la práctica  (adquirido  en  la  práctica,  no  involucra  teoría);  conocimiento  de  sentido  común (no demuestra experticia en la enseñanza).  • Cómo  se  presenta  el  conocimiento:  con  o  sin  lenguaje  técnico,  correctamente o con errores, por referencia a marcos teóricos o métodos de  enseñanza, por referencia a autores.  • Qué  profundidad  presenta  la  reflexión:  una  afirmación  categórica  sin  fundamentos,  una  afirmación  expresada  en  primera  persona,  una  afirmación  fundamentada  con  razones,  una  afirmación  fundamentada  con  razones, evidencias y/o ejemplos.   • Qué  recursos  discursivos  se  usan  para  reflexionar:  conectores  o  nexos  que  expresan  adversatividad,  causalidad,  consecuencia,  adición,  distribución o propósito3.     De  los  resultados  de  la  aplicación  piloto,  derivaron  conclusiones  relativas  a  la  funcionalidad  del  esquema  utilizado  y  su  comportamiento  psicométrico,  que  se  detallaron  en  el  informe  preliminar.  Se  reproduce  aquí  el  detalle  de  aquellas  conclusiones que dieron origen a la última revisión del esquema de codificación.    • No  resulta  operativo  ni  justo  analizar  las  muestras  por  secuencias:  la  codificación  se  hace  engorrosa,  extensa  y  dependiente  de  que  los  codificadores  tengan  conocimientos  sobre  lingüística,  todo  lo  cual  obstaculiza  la  potencial  replicabilidad  de  la  rúbrica.  En  muchas  ocasiones  los estudiantes amplían una temática presentada en una secuencia, en otra  secuencia  más  adelante  en  el  texto;  dicho  de  otro  modo,  el  análisis  de  un  ámbito  del  aula  observada  puede  presentarse  distribuido  a  lo  largo  del  texto, por lo que solo luego de leer la totalidad del texto se puede juzgar la                                                           3 Ver en anexo esquema de codificación aplicado en el piloto  

 

20

calidad  con  la  que  se  analizó  dicho  ámbito.  Adicionalmente,  el  criterio  utilizado por los codificadores para fragmentar los textos en secuencias no  resulta del todo objetivo, lo que afecta la consistencia entre codificadores.     •  Es  necesario  revisar  los  niveles  de  logro  para  avanzar  en  su  productividad:  los  análisis  no  permiten  encontrar  ejemplos  de  todos  los  niveles  de  logro  al  interior  de  cada  una  de  las  modalidades  discursivas  (describir, evaluar, sugerir), como mostraron los gráficos de frecuencia por  nivel  de  logro.  De  esto  se  deduce  que,  si  bien  las  tres  modalidades  discursivas  ocurren  en  las  muestras,  estas  no  describen  niveles  de  desempeño independientes entre sí. En atención a esta conclusión, se opta  por retomar la idea claramente expresada en la teoría de que en la actividad  de  reflexión  pedagógica,  la  predominancia  de  la  descripción  es  el  polo  de  baja calidad y el análisis en base a distintos conocimientos y desde distintas  perspectivas es el polo de alta calidad.    

  • El  esquema  de  codificación  no  produce  resultados  que  respondan  claramente respecto del dominio que demuestran los estudiantes del  conocimiento que utilizan para analizar: la codificación tiende enfocarse  en los conceptos utilizados, en el uso de palabras técnicas, en la mención de  autores  o  enfoques,  sin  lograr  una  mirada  más  amplia  de  cómo  esas  ocurrencias  revelan,  en  su  conjunto,  un  dominio  teórico  que  sirva  a  los  estudiantes para analizar el aula (si es confuso, muy general o inespecífico,  además  de  correcto  o  incorrecto;  si  recurre  a  modelos  o  enfoques  para  analizar las decisiones pedagógicas).    • La  mecánica  de  codificación  con  el  esquema  privilegia  ocurrencia  de  conceptos  a  la  aplicación  de  dichos  conceptos  en  el  contexto  de  distintas  perspectivas,  alternativas,  ámbitos  de  análisis:  los  estudios  que  proponen  maneras  de  evaluar  la  reflexión  pedagógica  reconocen  que  los análisis de mejor calidad pueden “ver” en las decisiones de un profesor  distintas  consideraciones  relativas  a  la  enseñanza,  la  evaluación,  el  desarrollo  de  los  niños,  etc.,  tanto  como  distintas  posibilidades  para  explicar el logro o fracaso de estas decisiones y para resolver los errores en  el  futuro.  Esta  multidimensionalidad  es  una  expresión  concreta  de  la  diversidad de conocimientos que se activan en el análisis, tanto como de la  capacidad de atraerlos articuladamente a la tarea. No obstante este criterio  está  contenido  en  la  rúbrica,  en  la  mecánica  de  codificación  las  codificadoras  lo  asimilaban  a  cantidad  de  contenidos,  por  lo  que  no  resultaba tan relevante que estos fueran diversos respecto de los dominios  de la pedagogía que abordaban.  

  Por  todo  lo  anterior,  las  investigadoras  construyeron  una  última  versión  de   rúbrica  RPEC  que  conserva  los  criterios  de  evaluación  de  la  anterior,  pero  los  reordena  en  una  lógica  de  desarrollo  que  va  desde  la  mera  descripción  hasta  el  análisis desde distintas dimensiones y con fuerte dominio teórico. Se puede decir  que  conserva  los  mismos  criterios,  pero  evita  que  sean  codificados  de  manera  fragmentaria,  pues  analiza  cómo  son  funcionales  unos  a  otros.  Por  esta  razón  es 

 

21

que  la  nueva  versión  opta  por  una  escala  holística:  se  considera  que  permite  evaluar los distintos criterios en relación, en lugar de darles un trato de elementos  aislados que ocurren o no. Por ejemplo, sigue considerando la presencia de autores  o la mención de enfoques, pero resguarda que estos sean parte de una explicación  respecto  de  un  determinado  ámbito  de  la  enseñanza.  Así  también,  permite  con  justicia evaluar la profundidad del análisis ofrecido respecto de cada uno de estos  ámbitos, pues no exige que esta se complete en una sola secuencia sino a lo largo  del texto.    La  siguiente  tabla  resume  los  resultados  promedio  obtenidos  por  la  totalidad  de  los participantes del estudio principal, al aplicar la rúbrica RPEC:    Tabla 4.  Resultados promedio obtenidos para la rúbrica RPEC  Participantes  Resultados  Válidos 82  Media 2,6  Perdidos 0  Desv, típ. ,81    Respecto  de  la  distribución  de  los  resultados  obtenidos  de  la  aplicación  de  la  rúbrica  RPEC,  se  observa  que  esta  tiene  un  comportamiento  similar  a  lo  normal,  como se observa en el siguiente gráfico.     Gráfico 1. Histograma Rúbrica Reflexión Pedagógica    

    Por  su  parte,  se  obtuvieron  buenos  niveles  de  confiabilidad  entre  codificadores  durante su aplicación. Los cálculos se realizaron como se detalla a continuación:    a) Al  comienzo  del  proceso  de  codificación,  una  primera  ronda  con  15  muestras  (18%  de  la  muestra  total)  que  se  codificaron  de  manera  independiente con un 100% de doble codificación. Con este procedimiento  se obtuvo un coeficiente Kappa de 0,61 (p