Presentación Evaluación PyP

WS02AaPW

A mind map about Presentación Evaluación PyP.

Similar Mind Maps

Outline

Aproximaciones y modelos en la evaluación de programas

Conceptos básicos

Gráfica de conceptos

Aproximación

Método o estrategia usado para alcanzar el objetivo de la evaluación

Enfoque

Responde a la pregunta: ¿Qué es lo que nos interesa examinar del objeto de evaluación? Un momento del ciclo de vida de la iniciativa, un proceso, un componente o un agente interesado...

Perspectiva

Una forma particular de ver y analizar los eventos, las situaciones o el objeto de evaluación

Teoría

Conjunto de principios interrelacionados lógicamente que se proponen para describir, explicar o predecir un fenómeno.

Reduccionismo

Plantea el análisis tipo causa-efecto. Las relaciones entre los elementos y los resultados son directas

Teoría de los sistemas

Se debe observar las partes, la relación entre ellas y con el ambiente, estas relaciones son dinámicas pues el cambio es una parte inherente del sistema

Modelo

Parte de la teoría para soportar la relación entre conceptos, entre procesos o entre variables que se usan como marco de referencia de la evaluación.

Modelos comunes de evaluación: Modelo experimental y cuasi-experimental.Diseño experimental de series temporales. Diseño experimental ex post facto. Modelo de evaluación de 4 niveles de Kirkpatrick.Modelo lógico.

Modelo de evaluación de 4 niveles de Kirkpatrick

Modelo lógico

Tiene en cuenta los componentes del programa y los componentes relaciónales del contexto del programa. Se centra en el proceso de cambio.Muy útil en la planeación de una intervención.

Actividad por cada grupo

https://uniandes-my.sharepoint.com/:x:/g/personal/j_folleco_uniandes_edu_co/EZ33LGY1WaxLodLqHMSk4gQBDubmcakbKkdKE4ir06js2Q?e=ZY66eI

Sobre la intervención

Ciclo de vida

Proyección. Evaluación de necesidades: Carolina, Alejandra y Guillermo

Planeación: Diseño: Jessica, Manuela y JohannaClara Luz, María Alejandra y Juan Camilo

FinalizadaNicole, Camilo y LeonardoOscar, Daniel y Diana

Componentes

Contexto (variables socioculturales)Tipo de organización u organizaciones de las cuales se deriva (la intervención está en varias sedes)Tipo de intervención (objetivo)Grupos de interés (miembros de la organización y usuarios de la intervención)

Nivel de Planificación

Enfoques de la evaluación

Dependen parcialmente del contexto. No son excluyentes, por lo tanto una evaluación puede combinar elementos de dos o más enfoques

Eval. Prospectiva

Objetivo. Intentar analizar la probabilidad de éxito de la iniciativa, predecir su costo y analizar propuestas y proyecciones alternativas

Actividades1. Análisis contextual de la iniciativa2. Revisión de estudios de evaluación sobre iniciativas similares, síntesis de los hallazgos y enseñanzas del pasado.3. Análisis productivo del éxito o el fracaso probable, dado un contexto futuro no muy distinto del presente

Iniciativas interesadas en este enfoque: Carolina, Alejandra y GuillermoClara Luz, María Alejandra y Juan CamiloJohanna, Jessica y Manuela

Eval. de la evaluabilidad

Es una herramienta de planeaciónObjetivosLlevar a cabo un estudio preliminar sobre la utilidad y factibilidad de una evaluaciónPermite: clarificar metas de la iniciativa, determinar la información disponible, detectar vacíos, grupos de interes y efectos directos deseados. Ahorra tiempo y evita errores costoso.

Actvidades1. Identificar las fuentes de datos2. Revisar materiales para definir y describir la intervención 3. Identificar modificaciones necesarias para la intervención4. Entrevistar a las partes interesadas sobre su percepción de las metas y los objetivos de la intervención 5. Desarrollar o refinar un modelo de la teoría ha emplear

Eval. basada en metas

ObjetivoMedir el grado en el cual una intervención logra objetivos claros y específicos (Críticas: suele dejar de lado los aspectos sociales y humanos, solo reconoce los objetivos inicialmente declarados y no busca efectos no previstos)

Interevención de: Oscar, Daniel y Diana

Eval. sin tener en cuenta las metas

Evalúan sólo los efectos directos observables y los documentables en relación con las necesidades de los participantes. Se centra en la realidad de lo que sucedió con la intervención.ObjetivoDeterminar el grado al cual se satisfacen las necesidades de los participantes, independientemente del cumplimiento de los objetivos.

Características1. El evaluador evita conocer los objetivos del programa. 2. No se permite que objetivos predeterminados definan el foco del estudio de  evaluación. 3. El evaluador tiene un contacto mínimo con el administrador de la iniciativa y el  personal. 4. El foco se sitúa en los efectos directos reales del programa y no en los deseados.

Eval. en sitios múltiples

Útil cuando se trata de muestra grande y un conjunto diverso de situaciones donde se desarrolló la intervención.El evaluador debe asegurarse de recopilar los datos de forma estándar.Requiere de mucha participación de parte de las partes interesadas. ObjetivosSuministrar información sobre la experiencia de la intervención. Genera un conocimiento más profundo de las variaciones que ocurrieron con la intervención acorde con los sitios.

Responde a preguntas como:¿Qué características de la implementación de la intervención son comunes a todas las ubicaciones? ¿Qué características varían y por qué? ¿Las diferencias en los efectos guardan relación con las variaciones?

Eval. de conjunto

Se concentra en las intervenciones que comparten una misión, una estrategia y una población objetivo común. Se trata de un grupo de intervenciones desarrolladas en uno o más entornos.No evalúa el éxito o fracaso de las intervenciones individuales ni pretende saber si se puede generalizar resultados o replicar las intervenciones. La variación es positiva porque la intervención se ajusta a un contexto particular. ObjetivoAprender sobre lo ocurrido en los grupos y verificar temas comunes y enseñanzas. Desventaja. No presentan efectos directos para los sitios individuales (los datos sólo muestran información agregada).

Eval. social

Es el principal instrumento para garantizar que se tengan en cuenta los impactos sociales de las intervenciones (centradas en desarrollo)Buscan establecer si es probable que una iniciativa cause impacto social adverso.

Fines de la evaluación social 1. Identificar las principales partes interesadas y establecer un marco apropiado para su participación en la selección, diseño y ejecución de la iniciativa. 2. Asegurar que los objetivos del proyecto y los incentivos para el cambio sean aceptables para la variedad de personas que se espera beneficiar, y que se reflejen las diferencias de género y otras diferencias sociales en el diseño de la iniciativa. 3. Evaluar el impacto social de las iniciativas de inversión, donde se identifiquen impactos adversos, determinar cómo pueden superarse o al menos mitigarse en forma sustancial. 4. Desarrollar la capacidad para resolver conflictos, incrementar la participación, permitir la prestación del o los servicios, y adoptar medidas de mitigación según sea necesario.  

Intervención de: Nicole, Camilo y Leonardo

Eval. ambiental y social

Evaluar el impacto ambiental y social puede ser el fin último de la evaluación o un componente de la misma. Si una organización carece de estándares ambientales y sociales, los evaluadores pueden usar los estándares del país en donde funciona la organización. Algunas fuentes de consulta son: Equator Principles, ISO 14031 (https://www.iso.org/obp/ui#iso:std:iso:14031:ed-2:v1:es) y el libro Sustainable Development Strategies: A Resource Book (Dalal-Clayton y Ba, 2002).

Eval. participativa

La evaluación se construye de forma conjunta.La evaluación es una herramienta de aprendizaje, un proceso de responsabilidad compartida (Gariba, 1998)

Las responsabilidades de planear, implementar e informar se comparten con todas las partes interesadas que contribuyen a definir preguntas para la evaluación, recopilar y analizar datos, así como delinear y revisar el informe. Los lineamientos para la recopilación de datos se desarrollan y evolucionan a través del consenso, la reflexión, el diálogo y la experiencia. Ampliamente usado para evaluar proyectos de desarrollo, sobre todo iniciativas comunitarias.

Permite

Formar responsabilidad dentro de las comunidades. Ofrecer una orientación más realista a la evaluación. Incrementar la cooperación. Empoderar a los participantes locales al incluirlos en el proceso de evaluación.

Demanda

Alto nivel de participación De los participantes. Deben mantener un diario o una bitácora de sus experiencias con la intervención. Del evaluador. Habilidades en resolución del conflictos. Abandonar la posición de experto y pasar a ser uno más del grupo.

Riesgos

Pérdida de la objetividad de parte de los participantes Pérdida de credibilidad para el evaluador

Eval. Cartografía de los efectos directos

Se centra en el cambio del comportamientoLos participantes interactúan con la iniciativa, se establecen relaciones en que las interacciones operan desde diferentes sistemas lógicos y de responsabilidad

Útil como herramienta de evaluación al final de un programa o cuando el propósito de la evaluación es estudiar el progama como un todo

Eval. rápida

Útil para examinar procesos no impactos. Es una evaluación de corto alcance Demanda menos tiempo y menos inversión económica

Requiere de un equipo de evaluadores para llevar a cabo la evaluación en el campo. Indentificar personas con experiencias y perspectivas variadas para entrevistarlas.Establecer grupos pequeños Usar diversas fuentes de información (mayor credibilidad)Contrastar la información de las entrevistas con estudios e informes previos, para analizar la consistencia (a mayor consistencia, mayor confianza)

El evaluador requiere tener en cuenta: 1. Revisar datos secundarios antes de hacer las visitas de campo. 2. Una vez en el campo, observar, escuchar, preguntar y registrar. 3. Mantener buenas anotaciones durante todo el proceso; las buenas anotaciones no solamente son esenciales para el informe, sino que también contribuyen a darle sentido a la información recopilada por los distintos integrantes del equipo.  

Síntesis de evaluación y metaevaluación

Enfoque donde el evaluador examina distintas intervenciones dirigidas a un problema o un asunto similar para identificar características comunes. Útil para estimar el impacto de una intervención. Implica menos costos porque toma investigaciones disponibles.

Una síntesis de evaluación debería incluir lo siguiente: 1. Procedimientos claros 2. Criterios transparentes de calidad (inclusión/exclusión de evaluaciones) 3. Procedimientos claros para aplicar los criterios de calidad (a menudo realizados por un panel y no por un individuo). 4. Citas de todas las evaluaciones revisadas. 5. Descripciones de cada evaluación incluida en la síntesis y los hallazgos sobre los problemas o variables de interés. 6. Declaración de los vacíos o limitaciones de la síntesis.  

Otros enfoques

Suelen ser en general variaciones del enfoque de evaluación participativa

Eval. centrada en el uso

Evalúa el uso previsto por parte de los usuarios previstos. Los usuarios tienen la responsabilidad de aplicar los hallazgos de la evaluación y llevar a la práctica sus recomendaciones.

Eval. para el empoderamiento

Uso de conceptos, técnicas y hallazgos de la evaluación se usan para fomentar el mejoramiento y la autodeterminación. Difiere de la evaluación participativa, en que el evaluador-facilitador es un defensor de los no apoderados y promueve una agenda de cambio político.

Eval. realista

También llamada evaluación dirigida por la teoría.Toma partes de los enfoques de investigación y evaluación. Combina métodos cualitativos y cuantitativos. Asume a las partes interesadas como expertos fiablesParte de la teoría para establecer la hipótesis sobre cómo funciona la iniciativa. Busca probar la hipótesis y determinar lo que podría funcionar, para quién y en qué circunstancias.

Eval. incluyente

Se centra en incluir a los grupos menos favorecidos de una población

Una evaluación incluyente haría preguntas como estas:• ¿Cuáles son las diferencias importantes dentro de la población que se va a atender?• ¿Cómo se prestan los servicios dentro de los distintos subgrupos?• ¿Cuáles son los valores subyacentes a la distribución de los servicios?

Eval. centrada en los beneficiarios

Busca evaluar el valor de una actividad según lo perciben los beneficiarios de la iniciativa, e integrar esos hallazgos en las actividades del proyecto.

Es incluyenteIncluye al cliente final y a los beneficiarios de la iniciativaImplica una alta participación de los beneficiarios para retroalimentar la iniciativa, valorar el impacto y pensar en los cambios deseados y necesarios.

Iniciativa de: Jessica, Manuela y Johanna

Eval. horizontal

Combina un proceso interno de evaluación con una revisión externa de pares. Participantes localesVisitantes (pares de otras or- ganizaciones o proyectos que trabajan en asuntos similares)