• Author / Uploaded
• Alex Peña

Citation preview

Blanco, A., & Rodríguez, J. (2007). Intervención Psicosocial. Madrid: PEARSON EDUCACIÓN. Se ha pasado de una definición de evaluación como una actividad puntual que ocurre al final de un proceso y que tiene el propósito central de determinar el éxito o fracaso de un programa, a una aproximación que resalta la importancia de ésta como un proceso inherente al ciclo de intervención psicosocial y cuyo objetivo se sitúa en aportar información útil para asegurar que la toma de decisiones sobre el programa permita el logro de objetivos. Fitzpatrick, Sanders y Worthen (2004) definen la evaluación como la identificación, clarificación y aplicación de criterios previamente definidos, especificados y defendibles para juzgar el mérito o valor del objeto de evaluación. De acuerdo con la teoría de los sistemas:

Los inputs son recursos (financieros, tecnológicos, humanos o físicos) que se toman del contexto para ser usados sistemáticamente a fin de sostener el programa. Las transformaciones representan los procesos que permiten convertir los inputs en outputs, y corresponden a la etapa de implementación del programa. Los outputs son los resultados de las trasformaciones, y conciernen al logro de los objetivos del programa. Los contextos se refieren a cualquier factor que puede facilitar u obstaculizar la implementación del programa. Incluyen las normas sociales,

las estructuras políticas, las agencias financiadoras, los intereses grupales y las preocupaciones de los ciudadanos. La retroalimentación tiene que ver con la información que proporciona la evaluación para establecer si los inputs son adecuados y organizados, si las intervenciones se están implementando apropiadamente, si se están alcanzando los objetivos, si los clientes reciben servicios de calidad, y si los outputs demuestran que se están alcanzando las metas y satisfaciendo las expectativas de las agencias y de los responsables de la toma de decisiones.

Los tipos de evaluación CLASIFICACIÓN DE LOS TIPOS DE EVALUACIÓN ¿Qué? ¿Para qué? ¿Qué guía la ¿Quién? ¿Con quiénes? evaluación? De proceso, Proactiva: cuando lo Los objetivos: Desde dentro: No participativa: seguimiento o que se busca es cuando los cuando es cuando el proceso monitoreo: contar con objetivos del realizada desde evaluativo se define en cuando se realiza información para la programa la propia función de las para establecer si toma de decisiones constituyen la base institución o por cuestiones la respecto al futuro del para organizar los parte de quienes fundamentales que implementación programa. datos y definir los han propuesto y deben resolverse para del programa se criterios de mérito ejecutado el hacer un juicio sobre el ejecuta tal y como de la intervención. programa. mérito de un programa se había previsto. Los objetivos guían sin atender a las todo el proceso preocupaciones de los evaluativo del involucrados en su programa. planificación, implementación, gestión o financiación. En este tipo de evaluación es el evaluador quien se encarga de tomar las decisiones acerca del proceso evaluativo. De resultados, de Retroactiva: cuando

Los resultados:

Desde fuera:

Participativa: cuando

¿Cómo? Cuantitativa, experimental o positivista: cuando se busca evaluar el programa a través de información confiable, generalizable, válida y objetiva que permita hacer predicciones a futuro.

Cualitativa o

impacto o de caja negra: cuando se ejecuta para verificar los efectos a corto, medio y largo plazo del programa.

lo que se pretende es dar cuenta de lo ejecutado o rendir cuentas contables para justificar el gasto.

cuando el elemento organizador del proceso evaluativo son los resultados, planificados o no, del programa haciendo caso omiso de los objetivos.

cuando la evaluación la realizan organizaciones o personas ajenas a los responsables de su planificación y ejecución.

Formativa: cuando el objetivo de la evaluación es obtener información que pueda ser usada para corregir errores en el proceso de implementación. Sumativa: cuando se busca emitir un juicio de valor sobre los

La teoría: cuando se usa la teoría que fundamenta el programa como referente para la definición de las actividades evaluativas.

Mixta: cuando el equipo de evaluación está integrado tanto por personas involucradas en el programa como por expertos externos.

el proceso evaluativo se define en función de los intereses y las preocupaciones de todos los involucrados en el programa (políticos, financiadores, planificadores, operadores, beneficiarios). Las decisiones sobre el proceso evaluativo se realizan con la participación activa de todos los interesados en el programa.

naturalista: cuando se evalúa el programa recurriendo a información que revela cuál es la percepción que tienen del programa, sus procesos y resultados los involucrados en el mismo y comprender el significado que los participantes le atribuyen al programa. Mixta, multiplista, pluralista o integrativa: cuando se utilizan diversos enfoques teóricos y metodológicos y una combinación de métodos de recolección de información,

resultados del programa.

análisis de datos y contraste de hipótesis. Tomado de (Blanco & Rodriguez, 2007), pág. 412 y 413

CARACTERÍSTICAS DE LA EVALUACIÓN SEGÚN QUIÉN LA REALIZA Evaluación Interna Evaluación Externa Evaluación mixta ¿Quién realiza la evaluación? Desde dentro de la institución/ Desde fuera de la institución/ Desde dentro y desde fuera. centro que diseña/ejecuta el centro que diseña/ejecuta el programa. programa. Ventajas  Buen conocimiento del  Mayor objetividad.  Integra las ventajas de  Mayor conocimiento y programa. la evaluación interna y  Facilita la mejora del externa. uso de estándares y programa. técnicas de evaluación.  Menor reactividad de  Mayor independencia y las personas credibilidad social.  Generalmente, mayor observadas.  Menor coste. experiencia en  Minimiza conflictos evaluación. entre la población beneficiaria. Desventajas  Mayor subjetividad.  Resistencias para la  Gran coste material y  Menor independencia y mejora del programa. temporal.  Mayor reactividad y  Dificultades en credibilidad social.  Menor conocimiento y desconfianza de la conseguir acuerdos. población beneficiaria. uso de los estándares y  Mayor coste. técnicas de evaluación.



Riesgo de realizar evaluaciones como justificación de lo realizado.

 

Poco tiempo. Desconocimiento en profundidad del programa. Tomado de (Blanco & Rodriguez, 2007), pág. 416

En la evaluación participativa los interesados (beneficiarios) participen activamente en el planteamiento de la agenda de la evaluación, en los criterios que se van a tener en cuenta para juzgar la calidad de la intervención, en la definición de los medios para lograr los objetivos que se han propuesto, en la obtención de la información, en el análisis de los datos, en la interpretación de los resultados, y en la toma de decisiones sobre el programa a partir de los hallazgos (MacNeil, 2005).

Tomado de (Blanco & Rodriguez, 2007) pag. 218

La evaluación de la implementación del programa Alvira (1997) propone doce preguntas para controlar la evaluación de proceso: 1. ¿La intervención se ejecuta como se había planeado?

2. ¿Se está atendiendo a la población prevista? 3. ¿Todos los participantes se benefician de la misma forma? 4. ¿Qué grado de participación y satisfacción se está logrando? 5. ¿Cuál es la demanda?, ¿Qué tanto se atiende?, ¿Qué factores inciden en la fluctuación de la demanda? 6. ¿Es adecuada la importancia relativa que se da a cada una de las actividades del programa? 7. ¿Quiénes son los beneficiarios directos e indirectos del programa?, ¿Cuántos son y qué características tienen? 8. ¿Cómo se realizan las actividades?, ¿los recursos del programa son suficientes y adecuados? 9. ¿Cómo se puede optimizar la utilización de los recursos? 10. ¿Cómo funciona el equipo del programa?, ¿Cómo es la comunicación entre sus miembros y cómo resuelven los conflictos? 11. ¿Están bien organizadas y distribuidas las actividades y tareas del programa? 12. ¿Cómo es la interacción de los miembros del equipo con los beneficiarios del programa? Cuando la evaluación ya ha finalizado se pueden realizar las mismas preguntas pero, serian como las siguientes: 1. 2. 3. 4.

¿Cómo fueron ejecutadas las actividades del programa? ¿Quiénes participaron en el proceso de implementación? ¿Cómo se invirtieron los recursos destinados al programa? ¿Contaba con la capacitación requerida para ejecutar las acciones y responsabilidades asignadas el personal responsable del programa? 5. ¿Los responsables del programa tenían claros los objetivos? 6. ¿Compartía el equipo el marco de referencia teórico o conceptual que fundamentaba el programa? Evaluación de resultados y de impacto Siguiendo el ciclo de intervención, una vez implementado el programa se realiza la evaluación de resultados y de impacto, o evaluación ex post o a posteriori. Si los resultados se refieren a los efectos encontrados por el programa, el impacto hace hincapié en los efectos que provoca a largo plazo sobre la población no destinataria y sobre el contexto del programa. Ahora bien, esta no tiene por qué realizarse una vez concluido el programa. Como ya se ha señalado, es conveniente que las actividades de seguimiento del programa permitan medir/ valorar el cumplimiento de los objetivos de la intervención a corto, medio y largo plazo, al tiempo que se desarrolla el programa y se modifica. Los costes y los beneficios deben expresarse de una manera métrica comparable. Un programa será exitoso si los beneficios exceden los costes.

La evaluación de resultados puede ser entendida como una etapa propia «pero también como una acción que es transversal a todas las etapas del ciclo del proyecto, al nutrirse constantemente de análisis evaluativos, tanto en la preparación del proyecto, como en el seguimiento del mismo.