• Author / Uploaded
• amaiaferrero

Citation preview

PROCESOS SANITARIOS

TEMA 11:

Evaluación en educación sanitaria • 1

Evaluación en educación sanitaria. Tipos de evaluación. Recogida de información: fases, indicadores. Retroalimentación en educación sanitaria.

Esquema: 1. INTRODUCCIÓN

Email: [email protected] • Web: http://www.preparadoresdeoposiciones.com

2. EVALUACIÓN EN LA EDUCACIÓN SANITARIA 3. TIPOS DE EVALUACIÓN 3.1. Evaluación de la estructura y proceso. 3.2. Evaluación del impacto. 3.2.1. Evaluación cuantitativa o experimental. 3.2.2. Evaluación cualitativa. 3.3. Evaluación de los resultados. 4. RECOGIDA DE INFORMACIÓN 4.1. La observación. 4.2. Las entrevistas. 4.3. Los cuestionarios. 4.4. El análisis de documentos. 4.5. Los procesos de triangulación. 5. EVALUACIÓN DEL PROGRAMA 5.1. Evaluación de la necesidad del programa. 5.2. Evaluación de la pertinencia del programa. 5.3. Evaluación de los resultados e impacto. 5.4. Evaluación económica. 6. INDICADORES 7. RETROALIMENTACIÓN 8. BIBLIOGRAFÍA

REV.: 05/06

1. INTRODUCCIÓN Se ha discutido mucho sobre la efectividad de las intervenciones mediante proyectos de Educación para la Salud (EPS) y la influencia que tienen sobre la salud. Actualmente se han realizado algunos metaanálisis que han demostrado la efectividad de estas intervenciones. PREPARADORES DE OPOSICIONES PARA LA ENSEÑANZA

C/ Génova, 7 – 2º • 28004 MadridTel.: 91 308 00 32

PROCESOS SANITARIOS

Evaluación en educación sanitaria • 2

Por lo tanto, existen sobradas evidencias de que la intervención más efectiva en materia de salud es aquella que incluye educación sanitaria. La educación debe perseguir la máxima autonomía personal con el mejor autocontrol y control del entorno con el fin de que la enfermedad no aparezca; si ya está instaurada, minimizar los síntomas y si ya ha transcurrido el periodo patogénico o se trata de un proceso crónico paliar las invalideces, cronicidades o secuelas. La educación debe ser personalizada, escalonada, motivadora y debe ofrecer apoyos que aseguren el éxito del proceso. La utilización de herramientas educativas puede contribuir de forma eficaz en el logro de estos objetivos. No existe una forma de educar única, válida y que asegure el logro de los objetivos propuestos. Por ello el profesional sanitario debe incorporar el mayor número de métodos y estrategias posibles, aplicando en cada situación el más adecuado. Los objetivos y las estrategias han de transformarse en acciones o, lo que es lo mismo, en actividades educativas. De nada sirven objetivos ni estrategias ni actividades si no establecemos modelos de evaluación del proceso educativo. Evaluación en sentido estricto significa valoración, estimación de las cosas no materiales. Para ser llevada a cabo necesita del control, o lo que es lo mismo, inspección, fiscalización, implicando además intervención. Son, por tanto, términos que implican comparación de los resultados obtenidos entre varias alternativas de acción, o cuando menos comparación entre resultados obtenidos y objetivos planteados, así como la correspondiente intervención posterior dependiendo de dichos resultados. Cualquier sistema de servicios, por lo tanto, debería ser evaluado periódicamente para descubrir e impulsar alternativas óptimas, aquéllas capaces de producir mayores beneficios con una inversión de recursos más razonable. Esta afirmación tiene aún más fuerza cuando se trata de servicios sufragados con presupuestos públicos y que alcanzan el rango de bien social, fundamentales para un adecuado desarrollo del estado de bienestar. El sesgo en las evaluaciones suele ser una de las principales complicaciones del proceso evaluador. Cuando la investigación la hacen clínicos, valoran las variables que les son familiares, menospreciando PREPARADORES DE OPOSICIONES PARA LA ENSEÑANZA

C/ Génova, 7 – 2º • 28004 MadridTel.: 91 308 00 32

PROCESOS SANITARIOS

Evaluación en educación sanitaria • 3

las variables relacionadas con la calidad de vida de la población; cuando la evaluación es efectuada por investigadores sociales, se da una gran importancia a la interpretación de los fenómenos, olvidando el aspecto sanitario que toda intervención educativa de esta índole debe tener.

2. EVALUACIÓN EN LA EDUCACIÓN SANITARIA La educación es una parte más del programa de intervención. Los resultados de éste reflejan también el papel desempeñado por el proceso educativo. Además de evaluar la evolución clínica del paciente (disminución de síntomas) y su calidad de vida, resulta imprescindible valorar de forma periódica qué decisiones y acciones es capaz de tomar de forma autónoma, respecto a su enfermedad. La evaluación de un programa de intervención contempla tres dimensiones básicas: • Los resultados en morbilidad. Disminución de los síntomas. • La mejora de la calidad de vida. Las escalas de calidad de vida aportan información útil sobre conocimientos, cambios de estilo y decisiones autónomas, por lo que deberían ser aplicadas de forma periódica. Ejemplo de ello es el cuestionario pediátrico para asma, el PAQLQ y su escala para cuidadores (PACQLQ). Esta escala específica tiene el inconveniente de ser algo extensa (23 preguntas los niños y 13 los cuidadores). Por esta razón algunos autores proponen el uso de escalas más breves, como el EuroQol (EQ-5D), una escala genérica validada, compuesta de cinco preguntas y una escala analógico-visual, cada vez más extendida, que puede resultar de utilidad. • Los resultados educativos. Se trata de evaluar el número y calidad de decisiones y acciones autónomas positivas tomadas por el paciente y la familia y los amigos. Un ejemplo de listado de comprobación de decisiones-acciones autónomas incluiría: comprensión del diagnóstico, aceptación del diagnóstico, incorporación al programa, acuden a las visitas programadas, dejaron de fumar, redujeron hábito tabáquico, usan la medicación correctamente, etc. La evaluación de los programas de educación sanitaria emplea diversos métodos y técnicas con el fin de: • Intentar determinar y contrastar la magnitud y el alcance de los hechos. • Diseñar y desarrollar intervenciones eficaces, efectivas y eficientes, PREPARADORES DE OPOSICIONES PARA LA ENSEÑANZA

C/ Génova, 7 – 2º • 28004 MadridTel.: 91 308 00 32

PROCESOS SANITARIOS

Evaluación en educación sanitaria • 4

para la solución de los problemas detectados, para el diseño de futuros programas y la reestructuración de los existentes. Así pues, la evaluación consiste en analizar si hemos logrado realmente lo que pretendíamos. Su función no es la de controlar, sino la de conseguir mejorar los programas educativos. La evaluación de los resultados es la última fase y nos permite saber si los participantes han logrado hacer algo que antes no sabían o no podían hacer. Pero esto no es lo único susceptible de evaluación y a menudo se precisa un tiempo largo para poder valorarlo. Por ello debemos también evaluar aquellos aspectos que nos van a facilitar o dificultar la consecución de nuestros objetivos. En la EPS la evaluación está sometida a un proceso de evolución muy importante para poder desarrollar prácticas futuras en la que todavía hay pocas evidencias de la efectividad de los diferentes programas. Todavía carecemos de modelos amplia y claramente aceptados e incluye metodologías tanto cuantitativas como cualitativas. La evaluación es un proceso relacionado con los objetivos planteados: como todo proceso tiene una fase de planificación, ejecución, análisis e informe. Medir no es evaluar: la medición es una de los puntos de la evaluación, y tras la recogida y medición de los datos se hará el juicio evaluativo. Evaluar implica emitir un juicio de valor: deben existir unos criterios de evaluación y poder compararlos con otro patrón. En este juicio hay que tener en cuenta el logro de los objetivos propuestos y la satisfacción de las necesidades que se pretendía atender. La evaluación es fundamental para facilitar la toma de decisiones y sólo es útil en la medida en que sirve para mejorar en el futuro. El logro de los objetivos pueden alcanzarse independientemente del proceso educativo planificado, ya que muchos factores pueden haber provocado los cambios esperados en el paciente. Este es un aspecto importante en el momento de efectuar investigaciones en educación. Conocer la causa exacta del cambio es difícil. Es fundamental asegurar la validez y confiabilidad de los instrumentos de evaluación. Las técnicas para evaluar la educación son variadas; algunas incluyen preguntas orales, test, observación y devolución de procedimientos. Durante la entrega de contenidos se debe reevaluar la motivación del paciente, la comprensión del material que se está utilizando y el avance hacia los objetivos planteados. PREPARADORES DE OPOSICIONES PARA LA ENSEÑANZA

C/ Génova, 7 – 2º • 28004 MadridTel.: 91 308 00 32

Evaluación en educación sanitaria • 5

PROCESOS SANITARIOS

Transcurrido un tiempo, es necesario evaluar nuevamente al paciente, una vez que haya emprendido sus actividades habituales, puesto que es frecuente la suspensión o alteración del tratamiento por parte de éste debido a interferencias con su trabajo u otras actividades rutinarias.

3. TIPOS DE EVALUACIÓN Evaluar significa comparar entre los resultados obtenidos y los objetivos planteados, interviniendo posteriormente según los resultados. Como la evaluación en Educación Sanitaria es muy difícil de efectuar se presentan tres tipos de evaluación y sus correspondientes metodologías o modelos de evaluación que pretenden medir los resultados de la acción educativa: evaluación de la estructura y proceso, evaluación del impacto y evaluación de los resultados. 3.1. Evaluación de la estructura y proceso La estructura y el proceso son importantes porque facilitan el logro de los resultados. Son evaluados dado que si no son adecuados impiden la consecución de los objetivos educativos y de resultados en salud. Evaluamos la estructura en cuanto a la adecuación de los recursos: sala, duración, horarios, materiales educativos, del personal. Evaluamos el proceso en cuanto a las actividades del programa, la calidad y a quién va dirigido. Consiste en asegurarse de que el programa se desarrolló tal y como se preparó. Mediante la evaluación de los procesos se guarda constancia de lo que se ha llevado a cabo y con quién se han realizado esas actividades. La constancia de tales actividades nos permite saber qué servicios se han prestado, quién los ha recibido y cuándo, y qué nivel de calidad tuvieron los mismos. En ocasiones diversas circunstancias impiden que las actividades programadas se lleven a cabo de la forma prevista y ello puede tener fatales consecuencias para el proyecto de educación, tanto en el ámbito individual como grupal. Cubre diversos aspectos como contenido, asistencia a las sesiones y opinión de los participantes sobre ellas, actividades y adecuación de los ejercicios. 3.2. Evaluación del impacto Mide el efecto inmediato del programa, es decir si se alcanzan los objetivos planificados. PREPARADORES DE OPOSICIONES PARA LA ENSEÑANZA

C/ Génova, 7 – 2º • 28004 MadridTel.: 91 308 00 32

PROCESOS SANITARIOS

Evaluación en educación sanitaria • 6

A veces es difícil diferenciar entre evaluación del impacto y de los resultados. Por ejemplo, trabajar los hábitos alimentarios para conseguir disminuir las enfermedades cardiovasculares. La evaluación del impacto sería valorar los cambios que las personas han introducido en sus hábitos dietéticos. La evaluación de los resultados sería valorar si esto ha conseguido o no reducir las enfermedades cardiovasculares. Medir los cambios en las habilidades y los comportamientos es un proceso complejo. Podemos distinguir dos grandes métodos: cualitativos y cuantitativos. 3.2.1. Evaluación cuantitativa o experimental. Este modelo de evaluación tiene como finalidad comprobar las modificaciones que ha producido la intervención sanitaria sobre la población. El éxito del programa viene dado por el grado de consecución de los objetivos propuestos. Para la medición de los efectos de la acción utilizamos los estudios epidemiológicos descriptivos. Ejemplo de esto sería investigar si después de un programa de Educación Sanitaria antitabaco ha disminuido el número de fumadores. Los destinatarios de la actividad sólo intervienen en la evaluación como sujetos pasivos para comprobar los efectos que en ellos ha tenido el programa según el evaluador. La evaluación de programas de salud se apoya en la valoración de la pertinencia, la eficacia, la efectividad y la eficiencia de las intervenciones realizadas. La finalidad de las evaluaciones cuantitativas es ofrecer a los responsables administrativos o políticos datos, a partir de medición de resultados, que ayuden a la toma de decisión sobre los programas más adecuados, según el alcance o consecución de los objetivos previamente marcados. Dicha decisión trata de ser apoyada con la cuantificación de los resultados. Limitarse a la comprobación del grado de consecución de los objetivos previos puede hacer olvidar la argumentación profunda sobre el significado de la importancia de los mismos, su adecuación a las necesidades de los individuos, los procesos desarrollados para conseguirlos y los efectos no pretendidos con el diseño del programa. La simplificación de los resultados y del proceso de evaluación es preocupante no sólo por la parcialidad y escasez de lo que muestra, sino por la importancia de lo que oculta. PREPARADORES DE OPOSICIONES PARA LA ENSEÑANZA

C/ Génova, 7 – 2º • 28004 MadridTel.: 91 308 00 32

PROCESOS SANITARIOS

Evaluación en educación sanitaria • 7

Cuando los resultados no son significativamente positivos, hay que señalar la poca utilidad práctica de estas evaluaciones, porque hacen creer a los responsables del programa que éste no sirve, no dan indicadores de lo que es válido o no del mismo y no permite ofrecer informaciones razonadas a los beneficiarios u otras personas interesadas en dicho programa. 3.2.2. Evaluación cualitativa. En el modelo cualitativo o naturalista se evalúa para comprender la naturaleza del programa, para mejorarlo a través del análisis de los resultados y de los procesos para generar teorías interpretativas de la realidad. Su objeto de estudio es la comprensión de la realidad social en la que se desarrolla el programa. La labor de los evaluadores es recoger, organizar y ofrecer datos relevantes para favorecer y provocar el análisis y el diálogo con los participantes. Mediante este análisis, de intercambio de información y debate, se conseguirá la comprensión profunda de los diversos aspectos del programa por todos los implicados en él. La compresión posibilitará que surjan actuaciones encaminadas a la mejora de la intervención y al desarrollo integral del programa. La evaluación encierra dentro de sí misma unos procesos de análisis y de crítica que pueden convertirse en un instrumento de cambio. Para investigar y medir los cambios de conocimientos, actitudes y conductas de la población se usan como instrumentos más habituales de evaluación: • En el dominio cognoscitivo, preguntas verbales. Nos permitirán comprobar si el contenido se ha comprendido. • En el dominio afectivo o de actitudes, la observación de las preguntas que se hacen, las que se omiten y de los comentarios que pueden surgir del grupo. • En el dominio de las habilidades, la observación de demostraciones. En el proceso continuo de la evaluación nunca debe olvidarse evaluar el aprendizaje, objetivo del trabajo de la educación para la salud. La evaluación del aprendizaje se refiere a los conocimientos, habilidades y actitudes adquiridas durante el proceso. Estos son: • Evaluación de los objetivos de conocimiento: la característica fundamental es el recuerdo y la comprensión. PREPARADORES DE OPOSICIONES PARA LA ENSEÑANZA

C/ Génova, 7 – 2º • 28004 MadridTel.: 91 308 00 32

PROCESOS SANITARIOS

Evaluación en educación sanitaria • 8

• Evaluación de los objetivos de habilidades: son los objetivos que impliquen el grado de competencia en la aplicación de los conocimientos como solucionar cuestiones, dar respuestas a problemas, capacidad para llevar a cabo una técnica, etc. • Evaluación de los objetivos de actitudes: harán referencia a los hábitos, actitudes y valores susceptibles de estimular y desarrollar durante el proceso de aprendizaje. 3.3. Evaluación de los resultados Mediante la evaluación de los resultados se hace constar si mediante las labores que se llevaron a cabo se obtuvieron resultados positivos. Esa evaluación se lleva a cabo para establecer qué cambios han tenido lugar y para demostrar que los cambios ocurridos son el resultado de esas labores y no de otros factores. Mide los efectos del programa a largo plazo. Por ejemplo en un programa de EPS para diabéticos la evaluación del impacto sería el adecuado cuidado de los pies, ser capaz de realizar dietas adecuadas, etc.; y el de los resultados número de ingresos evitados, reducciones en las complicaciones del pie diabético, valores de HbA1C o reducción de complicaciones cardiovasculares.

4. RECOGIDA DE INFORMACIÓN La selección de los métodos de recogida de información ha de ser coherente con los supuestos teóricos de base y con los objetivos de la investigación a poner en marcha. La gran variedad de situaciones, factores y circunstancias que intervienen e inciden en la vida social y personal de los ciudadanos son difícilmente traducibles a variables cuantitativas. Ello obliga a buscar estrategias, planteamientos y técnicas que, en gran parte, se encuentran en la metodología cualitativa. Por esta razón se expondrán los métodos más utilizados desde el punto de vista cualitativo. 4.1. La observación. Observar es focalizar los sentimientos, la atención, la experiencia y la inteligencia del evaluador hacia un hecho o fenómeno contextualizado, con la intención de captarlo, entenderlo, comprenderlo, interpretarlo y explicarlo. PREPARADORES DE OPOSICIONES PARA LA ENSEÑANZA

C/ Génova, 7 – 2º • 28004 MadridTel.: 91 308 00 32

PROCESOS SANITARIOS

Evaluación en educación sanitaria • 9

Para recoger la información relativa a los hechos observados se usan diversos instrumentos, siendo los más empleados las escalas de observación, consistentes en un listado de cuestiones que el observador trata de comprobar si aparecen en las situaciones observadas. Los datos serán sometidos a tratamiento estadístico y, por tanto, traducidos a valores numéricos. Por contra, en las evaluaciones cualitativas, el observador, además de captar la realidad, ha de interpretarla y comunicarla a los responsables y usuarios, tratando de implicarlos en un proceso de reflexión y debate que clarifique el significado de sus acciones y de lo que acontece en el desarrollo y aplicación del programa. El instrumento que utiliza para la recogida de datos es el cuaderno de observación en el que, junto a los hechos observados, reseñará sus impresiones e interpretaciones de lo acontecido, diferenciando las anotaciones que se refieren a los hechos de las que son opiniones y especulaciones sobre ellos. El observador puede ocupar diferentes estatus y desempeñar papeles distintos en el programa; así hablaremos de observador interno y externo, conocido o desconocido y participante o no participante. En las evaluaciones de los programas sanitarios sería conveniente contar con observadores externos e internos, participantes y conocidos. La observación como método de recogida de datos presenta grandes ventajas porque permite la recogida directa de información, sin interpretaciones previas ni mediatizadas por otras personas; abarca los diversos aspectos del programa (diseño, ejecución, material, etc.); se desarrolla en el escenario de los hechos; y permite desvelar la coincidencia o contradicciones entre opinión y acción. Sin embargo, también tiene limitaciones, principalmente los efectos distorsionadores de la observación y su control. Toda persona que ingresa o se incorpora a un grupo humano influye en las relaciones interpersonales y distorsiona en mayor o menor medida el ambiente preexistente. Si esa persona, además, es el observador puede limitar la espontaneidad de los participantes en el programa e, incluso, forzar comportamientos y manifestaciones artificiales, causantes de graves sesgos informativos. El propio observador puede provocar: • Efecto de autoafianzación. Un observador poco preparado o poco PREPARADORES DE OPOSICIONES PARA LA ENSEÑANZA

C/ Génova, 7 – 2º • 28004 MadridTel.: 91 308 00 32

PROCESOS SANITARIOS

Evaluación en educación sanitaria • 10

autocrítico puede que vea lo que, consciente o inconscientemente, quiera o le interese ver convirtiendo lo que debería ser un proceso de indagación crítica de la realidad en una búsqueda para la confirmación o autoafirmación de sus hipótesis previas e, incluso, prejuicios sobre la situación. • Efecto de espejismo. Al introducirse el evaluador en un ambiente desconocido, y no conocer ni comprender las pautas conductuales ni escalas de valores de los componentes del grupo, puede llevarle a interpretar erróneamente el significado de los hechos y fenómenos observados. • Efecto de asimilación. Ocurre cuando el observador llega a integrarse o compenetrarse de tal manera con la comunidad en estudio que acabe convirtiéndose en uno más del grupo y, por tanto, ve disminuida su capacidad de crítica. Los participantes también son susceptibles de causar distorsionadores como el efecto simpatía y el efecto rechazo.

efectos

El efecto simpatía se produce cuando los observados ofrecen al evaluador lo que creen que éste desea o necesita o, tal vez, lo que quieren, prefieren o les gustaría que se opine o se piense de ellos y de sus actuaciones. El efecto rechazo puede surgir por múltiples causas: desconocimiento de los fines de la evaluación, desacuerdo con la metodología empleada, fallos estratégicos de los evaluadores en el desarrollo de la investigación, etc. Todos estos inconvenientes, tanto los originados por el propio observador como por los participantes en el programa, deben ser previstos, detectados y evitados tomando medidas adecuadas, entre las que caben destacar, la actuación de varios observadores, la permanencia durante un período largo de tiempo en el escenario del programa, la ampliación del ámbito de observación, la implicación del máximo de participantes y la autorreflexión continua del observador sobre sus estrategias, su posición en el grupo, sus relaciones, etc. 4.2. Las entrevistas. La entrevista se basa en la idea de que las personas pueden ofrecer explicaciones sobre su conducta y sus acciones y que son, asimismo, capaces de reflexionar sobre sus prácticas y sobre los hechos y fenómenos que acontecen en sus vidas y en su medio ambiente, inducidas por un entrevistador. Pueden ser individuales y colectivas, formales y espontáneas, y abiertas, semiestructuradas y cerradas. PREPARADORES DE OPOSICIONES PARA LA ENSEÑANZA

C/ Génova, 7 – 2º • 28004 MadridTel.: 91 308 00 32

PROCESOS SANITARIOS

Evaluación en educación sanitaria • 11

Las entrevistas obtienen información directa sobre cualquier aspecto relevante del programa, analizan la interpretación que de los hechos y situaciones hacen los diversos sectores implicados en el programa y posibilitan el contraste de los datos obtenidos mediante otros métodos de evaluación. Las entrevistas colectivas, además, tienen las ventajas adicionales de: a) implicar a miembros de diferentes grupos sociales y de profesionales en procesos de análisis, debate y evaluación de necesidades y actuaciones sanitarias; b) discutir y valorar colectivamente proyectos e informes, que inciden en su labor profesional y en sus vidas y c) comprometer a profesionales y usuarios, individual y colectivamente, en el desarrollo del programa sanitario. El registro de los datos se hará en el lugar y momento en que se realizan las entrevistas, completándolos luego con las impresiones, interpretaciones e incidencias. 4.3. Los cuestionarios. Son los instrumentos básicos y, posiblemente, los más empleados en las investigaciones sociales realizadas o enfocadas por la perspectiva cuantitativa; pero no son una técnica habitual en los estudios cualitativos. Pueden servir como un instrumento complementario en la recogida de datos. Algunos autores consideran los cuestionarios como una entrevista formalizada cerrada o un sustituto de ésta. Tienen la ventaja de poder ser aplicados a grupos simultáneamente y llegar a sectores a los que nos sería difícil acceder por otros métodos. La información ha de ser contrastada con la obtenida por los métodos de recogida de información cualitativos, es decir, la observación participante y las entrevistas. 4.4. El análisis de documentos. Los grupos sociales producen y manejan múltiples documentos escritos, públicos y privados, oficiales o informales, elaborados o espontáneos. La aproximación al conocimiento de la realidad a través de los documentos que generan, utilizar y distribuyen, es una labor clásica en cualquier estudio social. El análisis de la producción escrita permite conocer y comprender los enfoques, las perspectivas, y las posturas individuales y estamentales ante la problemática sanitaria detectada, ante el programa diseñado y ante su puesta en práctica. PREPARADORES DE OPOSICIONES PARA LA ENSEÑANZA

C/ Génova, 7 – 2º • 28004 MadridTel.: 91 308 00 32

PROCESOS SANITARIOS

Evaluación en educación sanitaria • 12

El contraste de la información extraída de los documentos escritos con otros métodos de recogida de datos, como las observaciones y las entrevistas, nos permiten acceder a las verdaderas intenciones, intereses, apoyos, actividades y preocupaciones de quienes los producen. Entre los documentos que podemos analizar para evaluar programas de intervención sanitaria hay que destacar: proyectos y documentos de los programas, documentos oficiales entre la Administración y el Centro de Salud, actas de reuniones, historias clínicas, hojas de interconsulta, publicaciones con relación al programa evaluado, carteles o propaganda y cualquier documento producido o relacionado con el programa en estudio 4.5. Los procesos de triangulación. La triangulación consiste en contrastar los datos obtenidos por diversos métodos, de distintas fuentes y en diferentes momentos, con la finalidad de profundizar, depurar, confirmar y clarificar la información sobre los hechos y fenómenos que acontecen con relación al programa o situación evaluada. Es, en esencia, un diálogo permanente con los hechos. Se trata de un método de contraste de datos e informaciones obtenidos por los diversos métodos utilizados en la evaluación, así como de las opiniones directas de las personas participantes y relacionadas con el programa. Asimismo, es un instrumento valioso para la recogida de datos, al enfrentar las opiniones de varias personas, que viven el programa desde distintas ópticas y que ocupan en él diferentes papeles. En definitiva, es un método de debate, reflexión colectiva y autorreflexión que implica a los responsables y destinatarios, comprometiendo a los participantes en el cambio y la mejora del programa. Una vez realizada la triangulación, se realiza el informe, que ha de ser negociado por los protagonistas. De este modo la triangulación se convertirá en una plataforma de discusión, y de su análisis surgirá la comprensión necesaria para efectuar mejoras en el programa.

5. EVALUACIÓN DEL PROGRAMA. La evaluación puede definirse como el conjunto de actividades dirigidas a lograr un juicio objetivo sobre el programa, siendo sus fines PREPARADORES DE OPOSICIONES PARA LA ENSEÑANZA

C/ Génova, 7 – 2º • 28004 MadridTel.: 91 308 00 32

PROCESOS SANITARIOS

Evaluación en educación sanitaria • 13

principales: facilitar la preparación y elaboración del programa, suministrar la información precisa para mejorarlo y determinar sus efectos. Los aspectos mínimos que debe considerar son: la necesidad del programa, su adecuación a la solución del problema (estructura y proceso del programa) y sus resultados e impacto. 5.1. Evaluación de la necesidad del programa. La evaluación de la necesidad del programa debe dar respuesta a la trascendencia de los problemas existentes y la idoneidad de las posibles soluciones. Para ello es preciso la realización de un análisis global de la situación de salud, dirigido a valorar las necesidades existentes, y de una meditada selección de las prioridades de éstas. 5.2. Evaluación de la pertinencia del programa. La evaluación de la pertinencia del programa o adecuación para solucionar problemas que pretende deberá contribuir, por su parte, a valorar si los recursos y las actividades programadas, que constituyen, en definitiva, la estructura y el proceso del programa, pueden considerarse adecuadas para los resultados pretendidos. Con respecto a los recursos o estructura, deberán considerarse, entre otros, los siguientes aspectos: • Cantidad (humanos, materiales y financieros), considerando su suficiencia o no. • Cualificación y adecuación para las actividades a desarrollar. • Accesibilidad y distribución. La evaluación de las actividades o del proceso debe considerar como aspectos fundamentales si han estado adecuadas a los objetivos previstos, si han sido suficientes o insuficientes con relación a los recursos disponibles, si han sido bien o más aceptadas por la población y si se han desarrollado en el tiempo previsto. 5.3. Evaluación de los resultados e impacto. Por su parte, la evaluación de resultados concretos del programa y de su impacto sobre la salud de una comunidad, debe hacerse en función PREPARADORES DE OPOSICIONES PARA LA ENSEÑANZA

C/ Génova, 7 – 2º • 28004 MadridTel.: 91 308 00 32

PROCESOS SANITARIOS

Evaluación en educación sanitaria • 14

de los objetivos programados, siendo preciso para ello su definición con anterioridad a la ejecución del programa. Los aspectos básicos que hay que considerar son los siguientes: • Eficacia. Mide los efectos del programa sobre los individuos que realmente han sido alcanzados por él. Es un concepto que se refiere a los resultados de una intervención en condiciones ideales de aplicación. En la realidad, estas condiciones no se dan casi nunca, ya que para medir la eficacia se necesitan básicamente diseños experimentales que en muy pocas ocasiones se pueden llevar a cabo. • Efectividad. Analiza las consecuencias del programa en el conjunto de la población a la que estaba dirigido. A diferencia de la eficacia, permite medir el grado en que una determinada práctica asistencial consigue producir mejoras del nivel de salud de los pacientes en condiciones reales de aplicación. La valoración de la afectividad permite identificar los cambios necesarios en la orientación de los programas de salud e, incluso, orientan sobre la conveniencia o no de continuar, ampliar o suprimir determinados programas de salud que ya están en marcha. • Eficiencia. Valora la relación existente entre los objetivos alcanzados y los recursos utilizados, pudiendo ser éstos financieros, humanos o de otra clase. La evaluación económica, por ejemplo, nos ayuda a comparar la eficiencia de diferentes alternativas o programas. La necesidad de conseguir que un programa sea eficiente es particularmente importante cuando nos referimos a la eficiencia económica, ya que, nunca existirán suficientes recursos para satisfacer completamente todas las necesidades humanas. Dada esta escasez, el uso de recursos en una determinada actividad beneficiosa implica inevitablemente un sacrificio. Es decir, la comunidad pierde la oportunidad de utilizar esos mismos recursos en otras actividades beneficiosas. 5.4. Evaluación económica. Debido a la escasez de recursos y al progresivo crecimiento del gasto sanitario, es cada día de más trascendencia la realización de una evaluación económica de los programas de salud que complemente la que podría llamarse evaluación médica. Este tipo de evaluación puede hacerse desde dos enfoques fundamentales: • Coste I beneficio, en términos monetarios. • Coste I eficacia o coste I ventajas, en términos no monetarios. PREPARADORES DE OPOSICIONES PARA LA ENSEÑANZA

C/ Génova, 7 – 2º • 28004 MadridTel.: 91 308 00 32

PROCESOS SANITARIOS

Evaluación en educación sanitaria • 15

La metodología para realizar la evaluación económica de un programa precisa definir de una manera clara lo siguiente: los costes, tanto directos como indirectos e intangibles y los beneficios económicos y las ventajas que sobre el estado de salud representaría la ejecución del programa.

6. INDICADORES La evaluación debe considerarse como una parte del ciclo de programación que permite conocer si se han alcanzado los objetivos propuestos y corregir, si fuera necesario, las estrategias de intervención. Los indicadores precisos para la monitorización se escogen de acuerdo con las actividades establecidas y los resultados esperados. Deben ser válidos, sensibles y específicos, procurando que su número sea lo más reducido posible. Otro aspecto a valorar es la necesidad de indicadores comunes para áreas geográficas grandes que permitan comparar y agregar datos. La evaluación de las actividades respondería a las preguntas ¿qué se está haciendo? y ¿cómo se está haciendo? Se centra básicamente en consecución de los objetivos propuestos para cada una de las actividades. La responsabilidad de este tipo de evaluación recae, principalmente, en los equipos encargados de ejecutar el programa. Debe efectuarse con el menor esfuerzo posible y situarse dentro de las evaluaciones periódicas de la calidad asistencial que efectúen los propios equipos. Los aspectos que se pueden analizar son: • Cobertura. Se define como el porcentaje de individuos de la población objetivo que ha entrado en contacto con el programa. Es conveniente estudiarla en diferentes subgrupos de población para evaluar si existen distintos niveles de cobertura. Responde a preguntas tales como: ¿se están prestando servicios al sector de la población al que se dirige el programa?, ¿a quiénes no se les presta servicios? y ¿se está ejecutando el programa en todos los ámbitos previstos? • Cumplimiento. Es la cuantificación del número de participantes que permanecen en el programa y que cumplen las indicaciones diagnósticas, terapéuticas o de seguimiento. Proporciona una medida indirecta de la continuidad de los servicios y de la estabilidad del programa. • Idoneidad de los procedimientos. No sólo se ha de verificar el número de exámenes diagnósticos realizados y tratamientos prescritos, sino también si estas recomendaciones se han efectuado de manera apropiada. Este tipo de evaluación tiene como marco de referencia PREPARADORES DE OPOSICIONES PARA LA ENSEÑANZA

C/ Génova, 7 – 2º • 28004 MadridTel.: 91 308 00 32

PROCESOS SANITARIOS

Evaluación en educación sanitaria • 16

los protocolos de actuación de cada una de las actividades. • Satisfacción. Estudia la naturaleza de la relación entre el paciente y los profesionales del equipo, en la medida que los usuarios expresan sentimientos positivos y preferencias por distintos aspectos del programa. • Calidad. Unas posibles normas de calidad del programa serían: o ¿Constituye la modificación del comportamiento uno de los objetivos del programa? o ¿Existe equilibrio en materia de conocimientos, actitudes y aptitudes? o ¿Se da importancia a los métodos de enseñanza y de aprendizaje participativos? o ¿Se basa el programa en las necesidades de los estudiantes? (pertinencia) o ¿Es el programa sensible con respecto a las cuestiones de género? o ¿Existen políticas de respaldo al programa? (preparación de los docentes, capacitación en el empleo, respaldo permanente) o ¿Resultan accesible los servicios de apoyo a los participantes y a los sectores a los que está dirigido el programa? o ¿Se consulta a las partes interesadas? ¿Se les da la posibilidad de participar? o ¿Se capacita a tal fin a los evaluadores y docentes? o ¿Se brinda apoyo a los evaluadores en la fase de ejecución? o ¿Dura el programa lo suficiente para poder conquistar los objetivos deseados? o ¿Son pertinentes los materiales de educación que se emplean? (precisos, sensibles con respecto a las cuestiones de género, adecuado para las edades de las personas a las que se prestan servicios, accesibles, redactados en lenguaje adecuado, durables...) o ¿Se basa el programa en métodos e información pertinentes, actualizados y precisos? o ¿Se realizan evaluaciones de las consecuencias y los procesos del programa? Se ha de tener presente que un programa puede conducir a la obtención de resultados intermedios, como cambios en las actitudes, los conocimientos y las conductas de los participantes, que también deben ser evaluados. Tanto los indicadores de procesos como los indicadores de resultados son necesarios para la realización de evaluaciones PREPARADORES DE OPOSICIONES PARA LA ENSEÑANZA

C/ Génova, 7 – 2º • 28004 MadridTel.: 91 308 00 32

PROCESOS SANITARIOS

Evaluación en educación sanitaria • 17

profundas, y deberían ser establecidos en diversos niveles; por ejemplo, los que correspondan al nivel de los participantes, de los evaluadores o docentes, o para el programa en general). 1. En lo inmediato. • Nivel de programa: ¿Se ejecutó el programa de acuerdo a lo planificado? (Proceso). ¿Se modificaron los conocimientos, las actitudes y las aptitudes de los estudiantes según lo esperado? (Resultado) • Para los evaluadores y docentes: ¿Se mejoró la metodología de enseñanza?. En caso afirmativo, ¿de qué manera? (Proceso). ¿Se modificaron la confianza y la satisfacción de los docentes de la manera esperada? (Proceso). ¿Se modificaron los conocimientos, las actitudes y las aptitudes de los docentes según lo esperado? (Resultado). • Para los participantes: ¿Participó el segmento de la población al que estaba dirigido el programa de manera activa en el diseño, la ejecución y la evaluación del mismo? (Proceso). ¿Quedó el segmento de la población al que estaba dirigido el programa satisfecho con los resultados? (Proceso). ¿Mejoraron los resultados en materia de aprendizaje como resultado del programa? (Resultado). 2. A medio y largo plazo • Nivel de programa: ¿Se ejecutó el programa de acuerdo a lo planificado? (Proceso). ¿Se modificó el comportamiento de los educandos según lo esperado? (Resultados). • Para los evaluadores y docentes: ¿Se mejoró la metodología de enseñanza? En caso afirmativo, ¿de qué manera? (Proceso). ¿Se modificaron la confianza y la satisfacción de los educandos de la manera esperada? (Proceso). ¿Se modificaron los conocimientos, las actitudes y las aptitudes según lo esperado? (Resultado). ¿Resultaron los docentes eficaces? (Resultado). • Para los participantes: ¿Participó el segmento de la población al que estaba dirigido el programa de manera activa en el diseño, la ejecución y la evaluación del mismo? (Proceso). ¿Quedó el segmento de la población al que estaba dirigido el programa satisfecho con los resultados? (Proceso.) ¿Se modificó el comportamiento según lo esperado? (Resultado). ¿Se modificaron las actitudes y los valores según lo esperado? (Resultado). ¿Mejoraron los resultados en materia de salud como consecuencia del programa? (Resultado).

PREPARADORES DE OPOSICIONES PARA LA ENSEÑANZA

C/ Génova, 7 – 2º • 28004 MadridTel.: 91 308 00 32

PROCESOS SANITARIOS

Evaluación en educación sanitaria • 18

Para evaluar los programas, los indicadores de procesos se concentran en preguntas como: • "¿Prestó el programa servicios adecuados al sector de la población al que estaba dirigido?" • "¿Le resultó el programa aceptable al sector de la población al que se le prestó servicios? " • "¿Se puso el programa en práctica de la manera en que se había programado?" Además de procesar esos indicadores sobre el grado de aceptación del programa o de satisfacción de los clientes, es necesario tener en cuenta si el programa prestó servicios al sector de la población al que estaba dirigido, si se llegaron a ejecutar los elementos del programa y si se pusieron en práctica de la manera en que se había programado. La cobertura y la calidad del programa son dos aspectos importantes que se deben investigar en la evaluación del nivel de proceso del programa. Los indicadores de los resultados intentan responder a preguntas como las siguientes: • "¿De qué manera cambiaron los participantes o las cuestiones con las que se relaciona el programa como consecuencia de la ejecución del mismo? • "¿En que medida se conquistaron los objetivos deseados?" • "¿En qué medida se conquistó la meta principal?" La evaluación de los resultados se puede realizar en diversos niveles. Por ejemplo, el resultado inmediato de una lección o sesión, o de una serie de lecciones o sesiones, en lo que concierne a lo que aprendieron los participantes, es bastante diferente a los resultados de todo un programa. Por ejemplo, de qué manera los participantes modifican sus comportamientos en un período de tiempo determinado (probablemente a consecuencia de estrategias que no se limitan a la educación) o si realmente se benefician a largo plazo. El nivel en que se lleva a cabo cada evaluación, así como la manera en que se realiza, debería depender del propósito de la misma. A continuación se exponen ejemplos de indicadores en los tres niveles de evaluación de los resultados de un programa de educación sanitaria para el SIDA: NIVEL 1. Nivel de sesión o de aula.

PREPARADORES DE OPOSICIONES PARA LA ENSEÑANZA

C/ Génova, 7 – 2º • 28004 MadridTel.: 91 308 00 32

PROCESOS SANITARIOS

Evaluación en educación sanitaria • 19

Resultados inmediatos: Conocimientos, actitudes y aptitudes. Evaluado por el docente cuando se completan las actividades educacionales o inmediatamente después. Conocimientos. a. Transmisión de conocimientos • ¿Tienen los participantes confianza en que han aprendido a reducir los riesgos de contagio del VIH/SIDA y otras infecciones transmitidas por vía sexual? • ¿Qué conducta / actitudes, conocimientos o falta de ellos causan la propagación del VIH/SIDA y las enfermedades transmitidas por vía sexual? • ¿Qué es lo que no propaga el VIH/SIDA y las enfermedades transmitidas por vía sexual? • ¿Saben los participantes cómo se emplean los condones? • ¿De qué manera afectan la justicia social y los derechos, el género, las normas, la cultura y la discriminación, entre otros, el grado de peligro de contagio con el VIH/SIDA y las enfermedades transmitidas por vía sexual, así como a quienes están afectados por el VIH/SIDA, o infectados con ese virus? Por ejemplo, orfandad, desempleo, etc. b. Diversos tipos de investigación. Prevalencia y consecuencias del VIH. • ¿En qué medida se han propagado el VIH/SIDA y las enfermedades transmitidas por vía sexual? ¿Dónde? ¿Quiénes han sido afectados? ¿Qué peligro corro yo? • ¿Cuáles son los síntomas del VIH/SIDA y las enfermedades transmitidas por vía sexual? c. Atención y apoyo • ¿De qué tipos de atención y apoyo se dispone? d. Salud reproductiva y salud general • ¿Qué comportamientos, actitudes y conocimientos sirven para mantener la buena salud? • ¿Cuáles son las consecuencias de diversos comportamientos peligrosos, del embarazo adolescente, etc.? Actitudes El término actitudes se emplea aquí para denominar a una amplia gama de conceptos entre los que figuran: las intenciones; las creencias; los sentimientos acerca de uno mismo (confianza) y de los demás PREPARADORES DE OPOSICIONES PARA LA ENSEÑANZA

C/ Génova, 7 – 2º • 28004 MadridTel.: 91 308 00 32

PROCESOS SANITARIOS

Evaluación en educación sanitaria • 20

(discriminación); los valores; los pensamientos; los principios sociales, religiosos y culturales; la moral y la ética. • ¿Tienen los participantes "intenciones" de emplear condones cuando tengan relaciones sexuales? • ¿Tienen los participantes intenciones de "esperar" antes de mantener relaciones sexuales hasta que sean mayores o se casen? • ¿Se sienten los participantes "conectados" a sus pares, sus familias y sus escuelas? • ¿Qué sienten los participantes con respecto a las personas afectadas por el VIH/SIDA o infectadas con ese virus? • ¿Se sienten los participantes confiados en que saben cómo reducir su riesgo de contagio con el VIH/SIDA y las infecciones transmitidas por vía sexual? Aptitudes El término aptitudes se refiere a la preparación para la vida activa; o sea, las aptitudes psicosociales y de relación personal que se pueden emplear para la prevención del SIDA y con referencia a otras cuestiones pertinentes. Esas aptitudes son importantes debido a que si se las respalda de manera integral, pueden facilitar o determinar modificaciones del comportamiento. • ¿Pueden los participantes emplear esa preparación para la vida activa en situaciones hipotéticas o prácticas relacionadas con el riesgo de contraer el VIH/SIDA o las infecciones transmitidas por vía sexual, o la discriminación de las personas infectadas? (Por ejemplo, mediante la terminación de oraciones inconclusas, las dramatizaciones, las respuestas breves, los cuentos, las tablas de calificaciones, las representaciones, etc.). • ¿Se sienten los participantes confiados en que pueden emplear esas aptitudes en la vida real? (Por ejemplo, para comunicarse adecuadamente con sus pares, docentes, progenitores y otros; para negarse a mantener relaciones sexuales no deseadas; para resistir la presión para que consuman drogas; para negarse a mantener relaciones sexuales sin protección; para establecer el nivel de riesgo personal; para participar en las cuestiones relacionadas con los derechos humanos, como la lucha contra la discriminación; para establecer las consecuencias de las decisiones y actos; para medir las ventajas y desventajas de las decisiones que se tomen acerca del embarazo adolescente y de otras situaciones peligrosas; para demostrar el uso correcto de los condones en situaciones hipotéticas; para pedir ayuda a personas PREPARADORES DE OPOSICIONES PARA LA ENSEÑANZA

C/ Génova, 7 – 2º • 28004 MadridTel.: 91 308 00 32

PROCESOS SANITARIOS

Evaluación en educación sanitaria • 21

en las que se tiene confianza; para localizar y emplear los servicios de salud, etc.). NIVEL 2. Nivel del comportamiento Resultados a corto plazo del comportamiento. Se evalúa poco tiempo después de la intervención. Se supone que el logro de los resultados en el Nivel 1 determinará los logros en este segundo nivel. • ¿Se usaron condones en el acto sexual más reciente? • ¿Se redujo el número de personas con las que se mantienen relaciones sexuales? • ¿Ha aumentado la edad en que se mantienen relaciones sexuales por primera vez? (¿Ofrece poco peligro de infección la pareja actual? ¿Qué edad tiene? ¿Se trata de hombres de mayor edad?) • ¿Disminuye el consumo de estupefacientes inyectables? • ¿Ha aumentado el número de usuarios de estupefacientes inyectables que limpian adecuadamente las agujas que emplean? • ¿Reciben los participantes afectados por el VIH/SIDA (y otros) el tratamiento adecuado? • ¿Solicitan los participantes asistencia con respecto a los temas sanitarios? (De una persona adulta en la que confíen, o de profesionales). Nivel 3. Nivel de la epidemiología sanitaria social Resultados sanitarios y sociales a largo plazo. • ¿Se ha producido alguna reducción en lo que concierne a las infecciones transmitidas por vía sexual? (¿Disminuye la duración promedio de los casos de infección transmitida por vía sexual? ¿Ha aumentado la demanda de servicios sanitarios, u ocurre el acceso a los mismos con mayor anterioridad en el pasado?). • ¿Está aumentando la edad de las mujeres que quedan embarazadas por primera vez? • ¿Está aumentando la edad de las personas que se casan por primera vez? • ¿Se ha producido alguna reducción en materia de la infección con el VIH? • ¿Disfrutan de mejor estado de salud las personas afectadas por el VIH/SIDA? ¿Viven más (que antes)? • ¿Decrece el grado de adicción a los estupefacientes? • ¿Ha mejorado la situación en materia de salud mental? Por ejemplo, la autoestima, la confianza en uno mismo, el optimismo con respecto al futuro, las relaciones sociales y el sentido de comunidad. PREPARADORES DE OPOSICIONES PARA LA ENSEÑANZA

C/ Génova, 7 – 2º • 28004 MadridTel.: 91 308 00 32

PROCESOS SANITARIOS

Evaluación en educación sanitaria • 22

• ¿Ha aumentado el número de niños afectados por el VIH/SIDA que no abandonan sus estudios escolares? Entre los indicadores de evaluación que permitirán juzgar el programa se encuentran: • Indicadores de recursos: Recursos previstos / Recursos necesarios • Indicadores de efectividad: Objetivos alcanzados / Objetivos programados • Indicadores de eficiencia: Objetivos alcanzados / Recursos utilizados • Indicadores de rentabilidad: Costo del programa / Utilidad del programa

7. RETROALIMENTACIÓN Debe destacarse el hecho de que con la evaluación no se debe cerrar el proceso de programación, ya que, dado su carácter cíclico, constituye la primera etapa para la elaboración de nuevos programas dirigidos hacia los mismos objetivos u otros relacionados. La evaluación constituye la última etapa del proceso de planificación. La planificación es un ciclo y cada una de sus etapas está interrelacionada con las demás, siendo necesario un feed-back o retroalimentación continuo.

Se puede plantear la evaluación antes de tomar una determinada decisión, comparando distintas alternativas posibles desde el punto de vista de su eficacia o rentabilidad; o después de haber tomado la decisión de actuar para obtener información sobre la ejecución, el funcionamiento y los efectos del programa o acción de que se trate. Estos dos tipos de evaluación se denominan, respectivamente, evaluación formativa y evaluación sumativa. La retroalimentación o feed-back en la evaluación formativa es constante durante todo el proceso de diseño y elaboración del programa, mientras que la evaluación sumativa se sitúa al final del proceso, cuando ya se ha llevado a cabo el programa o actuación de que se trate. La evaluación formativa se realiza al mismo tiempo que se desarrolla el programa o actividad, siendo, por tanto, la retroalimentación también continua, permitiendo la introducción de modificaciones en función de los resultados que se obtengan. PREPARADORES DE OPOSICIONES PARA LA ENSEÑANZA

C/ Génova, 7 – 2º • 28004 MadridTel.: 91 308 00 32

Evaluación en educación sanitaria • 23

PROCESOS SANITARIOS

8. BIBLIOGRAFÍA • FERNÁNDEZ SIERRA J ; SANTOS GUERRA M A. Evaluación cualitativa de programas de Educación sanitaria. Aljibe, editor. Málaga: 1992 • FRÍAS OSUNA, A. Salud Pública y Educación para la salud. Masón. Barcelona, 2000 • GARCÍA A, SÁEZ ESCARBAJAL A. Educación para la salud. La apuesta por la calidad de vida 2000. Arán Ediciones. • GREEN WH; SIMONS MORTON BG. Educación para la Salud. Interamericana, México: 2000 • HAWE, P., DEGELING, D., may, J. Evaluación en Promoción de la Salud. Ed. S.G.-Masson,1993. • HANAK, M. Educación sanitaria del paciente y su familia. Doyma, Barcelona,1989 • MARTÍNEZ NAVARRO F. Salud Interamericana. Madrid: 1997

Pública.

McGrawHill

and

• ROCHON, A. Educación para la Salud. Guía Práctica para realizar un proyecto educativo. Ed. Masson 1991. • SANTOS GUERRA M A. La evaluación: Un proceso de dialogo, compresión y mejora. Aljibe, Málaga: 1993.

PREPARADORES DE OPOSICIONES PARA LA ENSEÑANZA

C/ Génova, 7 – 2º • 28004 MadridTel.: 91 308 00 32

REV.: 05/06

Email: [email protected] • Web: http://www.preparadoresdeoposiciones.com

PROCESOS SANITARIOS

Evaluación en educación sanitaria • 24

NOTAS

PREPARADORES DE OPOSICIONES PARA LA ENSEÑANZA

C/ Génova, 7 – 2º • 28004 MadridTel.: 91 308 00 32