• Author / Uploaded
• Karla R

Citation preview

Monitoreo y Evaluación de Proyectos Jaqueline Berumen Milburn

Cuadernos de Cooperación para el Desarrollo No. 3 Especialización en Cooperación Internacional para el desarrollo

Monitoreo y Evaluación de Proyectos Jaqueline Berumen Milburn

Cuadernos de Cooperación para el Desarrollo No. 3 Especialización en Cooperación Internacional para el Desarrollo

Monitoreo y Evaluación de Proyectos Jaqueline Berumen Milburn

Cuadernos de Cooperación para el Desarrollo No. 3 Especialización en Cooperación Internacional para el Desarrollo

Con la ejecución de:

   

©Escuela Latinoamericana de Cooperación y Desarrollo, 2010 Director del proyecto Sebastian Vadalá Director de la Escuela Jairo Agudelo Taborda Coordinador de la Unidad de Investigación Gustavo Rodríguez Albor Autora Jaqueline Berumen Milburn Profesional en Relaciones Internacionales Especialista en Cooperación Internacional para el Desarrollo Asesores Carlo Tassara Silvia Favaron Primera edición Medellín (Colombia), noviembre de 2010 ISBN: 978-958-8590-10-3 Diagramación e Impresión: Pregón Ltda

Página 5

La Escuela Latinoamericana de Cooperación y Desarrollo

s un proyecto colombo-italiano, fruto del convenio entre la Universidad de San Buenaventura de Cartagena de Indias, Colombia, la Universidad de Pavia y el Instituto Universitario de Estudios Superiores de la Universidad de Pavia, Italia. Además de un consorcio de las    nanciado por el Ministerio de Asuntos Exteriores de Italia y por la Conferencia Episcopal Italiana.

E

Su propósito es contribuir al fortalecimiento de la Cooperación Internacional para el Desarrollo, a través de la formación de profesionales autóctonos que operen en programas de cooperación internacional, la realización de investigaciones en esta área del conocimiento, el apoyo a redes y al

trabajo interinstitucional con las organizaciones que promueven el desarrollo de la región. La Escuela posee una estructura interna conformada por dos unidades operativas interdependientes: formación e investigación. La Unidad de Investigación tiene como objetivo realizar investigaciones en el campo de la Cooperación Internacional para el Desarrollo que    !   "     en herramientas básicas en los procesos de gestión de proyectos. Los trabajos de investigación guardan correspondencia con las áreas que conforman el programa académico de la Especialización en Cooperación Internacional para el Desarrollo: Economía del desarrollo, Sociopolítica y Metodologías sobre proyectos.

Página 7

Tabla de contenido Prólogo ...................................................................................................... 11 Presentación ............................................................................................. 13 Contenido y organización del manual ..................................................... 15 Capítulo 1 Fundamentos del monitoreo y la evaluación ........................................... 19 1.1 Importancia y función del monitoreo y la evaluación .............................................21  #$%   &     '  .....................................................22 1.3 Monitoreo y evaluación en el ciclo del proyecto ....................................................24 1.4 El Monitoreo y la Evaluación en la etapa de formulación del proyecto ..............25 1.5 La planeación a través del Marco Lógico ..................................................................25 Capítulo 2 Monitoreo .........................................................................................................29 2.1 Planeación del monitoreo ............................................................................................31 2.2 Formatos para el monitoreo .......................................................................................33 2.3 Desarrollo del monitoreo por niveles de la organización .....................................35 Capítulo 3 Evaluación ........................................................................................................37 3.1 Criterios básicos de la evaluación ..............................................................................39 3.2 Tipos de evaluación .......................................................................................................41 3.3 Desarrollo de la evaluación .........................................................................................42 3.4 La evaluación participativa ...........................................................................................46 Capítulo 4 Selección de información para el sistema de monitoreo y evaluación ...49 4.1 Preguntas de desempeño .............................................................................................51  *$   +  '  '     ......................................................................53 4.3 Líneas base y metas .......................................................................................................59  **/  '     ..................................................................................................60 Capítulo 5 Recolección de información para el monitoreo y la evaluación .............61 5.1 Muestreo .........................................................................................................................63 5.2 Categorías de información ...........................................................................................64 5.3 Métodos de recolección de datos ..............................................................................65 5.4 Técnicas de Valoración Participativa Rápida (VPR) ..................................................73 5.5 Cómo mejorar la calidad de la información .............................................................77

Página 8

Monitoreo y Evaluación de Proyectos

Capítulo 6 Análisis y empleo de la información ..............................................................79 6.1 Sistematización y organización de datos ...................................................................81 6.2 Análisis e interpretación de datos ..............................................................................81 6.3 Empleo de la información ............................................................................................84 Capítulo 7 Monitoreo y evaluación en proyectos de incidencia y de emergencia ....87 7.1 Monitoreo y evaluación en proyectos de incidencia ...............................................89 7.2 Monitoreo y evaluación en proyectos de emergencia ............................................93 Referencias ................................................................................................ 97 Anexos ..............................................................................................................99 Anexo I. .....................................................................................................................101 Anexo 2. ......................................................................................................................107 Anexo 3. ......................................................................................................................111 Anexo 4. .....................................................................................................................117 Anexo 5. .....................................................................................................................125

Página 9

Índice de figuras y tablas Figura 1.

M y E en el Ciclo del Proyecto ...........................................................................................24

Figura 2.

Esquema para el “Análisis de las partes interesadas” ....................................................74

Figura 3.

Ejemplo de Diagrama de Venn.............................................................................................75

Tabla 1.

Diferencias entre el monitoreo y la evaluación ..............................................................23

Tabla 2.

Estructura de la Matriz de Marco Lógico .........................................................................26

Tabla 3.

Formatos para plan e informe de monitoreo ..................................................................34

Tabla 4.

Organización de las actividades de monitoreo por niveles de la organización .......36

Tabla 5.

Ventajas y desventajas de evaluaciones externas e internas ........................................42

Tabla 6.

Ejemplo de una matriz de evaluación ................................................................................44

Tabla 7.

Distinción entre evaluaciones convencionales y evaluaciones participativas ...........48

Tabla 8.

Preguntas de desempeño para cada nivel de intervención...........................................51

Tabla 9.

Preguntas e indicadores de proyecto para el sector agua (texto de ejemplo) ........52

Tabla 10.

Pasos para la formulación de indicadores (texto de ejemplo) ....................................54

Tabla 11.

Características de los indicadores .....................................................................................54

Tabla 12.

Resumen de indicadores por nivel de intervención.......................................................58

Tabla 13.

Indicadores, Líneas Base y Metas (texto de ejemplo) ....................................................60

Tabla 14.

Diferencias entre información cualitativa y cuantitativa ...............................................64

Tabla 15.

Cuadro resumen de métodos de recolección de datos ...............................................72

Tabla 16.

Errores comunes en la recolección de información ......................................................77

Tabla 17.

Tabla resumen de recomendaciones .................................................................................85

Tabla 18.

Ejemplo de Estrategia de Difusión .....................................................................................86

Tabla 19.

Tabla guía de indicadores para estrategias de incidencia ..............................................91

Tabla 20.

Preguntas e indicadores en un proyecto de atención humanitaria.............................95

Página 11

Prólogo

as actividades de monitoreo se realizan durante el periodo de ejecución de un proyecto y están a cargo fundamentalmente del equipo que lo está ejecutando, sirven sobre todo para averiguar si se están logrando los objetivos y los resultados esperados, y si es necesario mo   

;

      donantes como a los demás actores involucrados en la formulación de las políticas y la realización de los proyectos de cooperación internacional para el desarrollo para que no escatimen esfuerzos y recursos para el monitoreo y la evaluación.

Página 12

Monitoreo y Evaluación de Proyectos

Este manual es una herramienta de mucha utilidad para los dirigentes y los operadores que trabajan

   = =      

 

 ^    '    to fundamental para la toma de decisiones, pues =     !       gias del propio trabajo, proporcionando valiosos insumos para la planeación futura. Los criterios básicos para la evaluación de un proyecto tienen que ver con la pertinencia (de los =            @  =    [ ciencia (de los procesos de conversión de insumos

  [   X ?"  =yecto puede producir los resultados esperados), el impacto (cómo contribuye a la introducción de cambios a largo plazo) y sostenibilidad (permanencia o durabilidad de los cambios introducidos). Como se puede ver, el monitoreo y la evaluación están interrelacionados pero son procesos distintos. Mientras que el monitoreo es un proceso continuo y permanente en la ejecución del proyecto, la evaluación se realiza en periodos establecidos, entre lapsos más largos. El monitoreo es un proceso continuo de análisis, observación y sugerencias de ajustes para asegurar que el proyecto esté encaminado a alcanzar su objetivo. La evaluación, por su parte, permite la formulación de conclusiones acerca de lo que se observa a una escala mayor, del diseño del proyecto y sus impactos (Ortegón, Pacheco y Prieto, 2005). Los procesos de monitoreo y de evaluación son complementarios: la evaluación depende en gran medida de la información reportada y recolectada de forma periódica a través de los sistemas de monitoreo. Sin embargo, cada proceso tiene @   = W  !  ; @    fundamentales que se resumen en la Tabla 1.

Fundamentos del monitoreo y la evaluación

Página 23

Tabla 1. Diferencias entre el monitoreo y la evaluación Monitoreo

Evaluación Valoración más profunda enfocada en el aprendizaje y la rendición de cuentas. Enfoque en los resultados, objetivos e impacto más amplio y a largo plazo. Información proviene de la recolección de datos para el monitoreo, para la línea base, etc.

Función

Información para la gestión del proyecto.

Enfoque

Revisión del progreso del proyecto.

Insumos

Levantamiento de datos/información.

Tiempo

Continuo, durante toda la implementación del proyecto.

Responsable

Equipo responsable del proyecto.

Presentación

Presentación directa con base en formatos estandarizados.

Difusión

Entre el equipo del proyecto y los usuarios.

`  = W    =  Evaluadores internos o externos al proyecto (o a la organización ejecutora). Presentación menos estandarizada y enfocada en menos temas, pero analizados con mayor profundidad. Más amplia: partes involucradas, donantes, opinión = ^  

!    { ;     nes introducidas como resultado del monitoreo u otras evaluaciones, y el alcance en cuanto al objetivo de desarrollo del proyecto.También existen las evaluaciones o apreciaciones de impacto, que valoran los efectos positivos o negativos de un proyecto o programa sobre individuos, hogares, instituciones o el medio ambiente. Estas evaluaciones pueden medir impactos de mediano o largo plazo. Otras distinciones de los tipos de evaluaciones son las siguientes:

Por etapas en el ciclo del proyecto - Evaluación Ex ante: es un análisis del contexto, de estudios preliminares o de intervenciones anteriores que permitan valorar la

- Evaluación ex post: se realiza después (desde meses hasta varios años después) de concluido el proyecto, evaluando los resultados con la intención de valorar el impacto del proyecto en el largo plazo y deducir indicaciones para futuras intervenciones similares.

Por agente - Autoevaluación: la realizan personas involucradas directamente en la ejecución del proyecto. Las autoevaluaciones se llevan a cabo para fortalecer las capacidades internas y empoderar el equipo del proyecto y los socios locales. Existe una modalidad de autoevaluación asistida, en la que un externo apoya las acciones de evaluación, pero ésta es realizada por los actores locales, fomentando su empoderamiento. - Evaluación interna: la realizan personas que forman parte del equipo de la organización, pero que son externas al proyecto. - Evaluación externa: La realizan personas externas al proyecto y a la organización (sin  ; =       "   referencia y en la matriz de evaluación. Aquí se desarrollan al detalle los resultados de la evaluación y las recomendaciones, incluyendo evidencia concreta de la información y las conclusiones. - Conclusiones y recomendaciones: puede   surgido como importante en los hallazgos de la evaluación. - Anexos: Términos de Referencia (TdR), cuW   ' ;   !" 

3.4 La evaluación participativa “Es una dimensión participativa del desarrollo que abarca muchos conceptos similares, involucra a las partes interesadas y a los be     =;  =    análisis colectivo y la evaluación del mismo. Está centrada en las personas: las partes in        =  actores clave del proceso de evaluación, y no solamente un objeto de esto (PNUD, 1997)”.

La experiencia ha demostrado que los proyectos sociales tienen más posibilidades de éxito cuando la población local se apropia del proyecto y se involucra en los procesos de diseño, implementación, monitoreo y evaluación. Ya se ha mencionado la importancia de que los proyectos sean diseñados e implementados en respuesta a una necesidad expresada por los

7. En el capítulo 6 se desarrollan en detalle las diversas técnicas de recolección de datos, y se dan algunas recomendaciones generales tanto para este proceso como para la interpretación de resultados.

Evaluación

propios implicados. Si las iniciativas responden a una necesidad planteada por la población local, necesariamente las mismas personas deberán determinar  "?" ?  ;  '  jora sustancial en cuanto a dicha problemática. Por eso es fundamental que las personas impactadas por el proyecto participen en determinar los parámetros del monitoreo y la evaluación. Así, la participación debe ser una parte fundamental y natural del proceso de evaluación, tanto en los procesos de diseño, como en las actividades de recolección de datos, el análisis y la evaluación de los resultados y la formulación e implementación de recomendaciones. Algunas de las ventajas de un proceso de evaluación participativo son: - Pro '    =&  partidos de resultado y desempeño. - Fomenta la corresponsabilidad. „ _   ^  =  - Crea compromiso entre los involucrados. - Fomenta el aprendizaje, la gestión y otras ca=          - Al incluir a las partes involucradas en el análisis de problemas y en la propuesta de soluciones se refuerza el sentido de apropiación. Esto genera mayor apertura a las recomendaciones de la evaluación y facilita la introducción de cambios.

Principios básicos de la evaluación participativa Existen diferentes enfoques de evaluaciones participativas, que comparten ciertos principios básicos

Página 47

que los distinguen de los enfoques de evaluación convencionales: - Intervención: el mismo diseño del proyecto lo abre a la participación e intervención de las personas directamente afectadas por un problema        '  =  debe estar involucrada en todas las etapas de la implementación del proyecto, incluso en el seguimiento de las actividades y en la evaluación. - Negociación: se negocia y acuerda con los     ?" &    '  así como los métodos y las herramientas de recolección de datos. Por otro lado, las estrategias y los procedimientos para el análisis de información y la difusión de los resultados también deben retomar los aportes de la población local. - Aprendizaje: se acuerda con las personas involucradas cómo se retomarán las lecciones aprendidas para lograr mejoras sustanciales en el futuro. En este proceso, es fundamental tener        @ & nas prácticas y su promoción, de manera que el aprendizaje permanezca y sea apropiado por      - Flexibilidad: los proyectos de desarrollo se afectarán por una diversidad de factores fuera del control de los responsables. Por lo tanto, es importante estar conscientes de la necesidad de   !  adaptarse a cambios inesperados. La evaluación participativa se distingue de las evaluaciones convencionales en diferentes aspectos (ver Tabla 7).

Página 48

Monitoreo y Evaluación de Proyectos

Tabla 7. Distinción entre evaluaciones convencionales y evaluaciones participativas Evaluación Convencional Más orientadas por el donante y dirigidas a asegurar la responsabilidad y la rendición de cuentas.

Evaluación Participativa 

 =     =    prioridad al aprendizaje y la apropiación. Las partes interesadas deciden sobre los planes de traLas partes interesadas tienen un papel pasivo: proveen la inforbajo, realizan investigaciones, analizan datos y elaboran mación requerida sin participar en el proceso de evaluación. recomendaciones. Énfasis en el proceso: el objetivo no es sólo el de cumplir los requisitos formales, sino también desarroEl énfasis se concentra en los resultados de la evaluación.  =       = ' entorno y actuar con base en esta apreciación.     "! =     @    - La población local determina sus propios indicadores

     ;  =  =  de éxito. %  { !    ;&=   Diseño predeterminado: métodos convencionales, centrados “saberes”, valores e intereses locales para guiar la en lograr el mayor rigor y objetividad posibles. evaluación (empleando por ejemplo la autoevaluación y métodos simples adaptados a la cultura local). Se emplean métodos convencionales, como entrevistas Se emplean métodos más participativos, como entreestructuradas, mediciones, datos estadísticos, revisión de la vistas abiertas, grupos focales y técnicas de valoración documentación, observación directa, etc. participativa rápida. Fuente: Elaboración propia con base en diversos documentos de referencia

Es recomendable lograr un equilibrio entre evaluaciones participativas y convencionales, buscando la opción más adecuada con relación al proyecto, a las necesidades de evaluación y al contexto. Así, puede ser que en ciertas circunstancias sea mucho &