Wondershare EdrawMind
MindMap Gallery Presentación Evaluación PyP
- 59
Presentación Evaluación PyP
A mind map about Presentación Evaluación PyP.
Edited at 2021-02-16 21:35:29
Presentación Evaluación PyP
- Recommended to you
- Outline
Aproximaciones y modelos en la evaluación de programas
Conceptos básicos
Gráfica de conceptos
Aproximación
Método o estrategia usado para alcanzar el objetivo de la evaluación
Enfoque
Responde a la pregunta: ¿Qué es lo que nos interesa examinar del objeto de evaluación? Un momento del ciclo de vida de la iniciativa, un proceso, un componente o un agente interesado...
Perspectiva
Una forma particular de ver y analizar los eventos, las situaciones o el objeto de evaluación
Teoría
Conjunto de principios interrelacionados lógicamente que se proponen para describir, explicar o predecir un fenómeno.
Reduccionismo
Plantea el análisis tipo causa-efecto. Las relaciones entre los elementos y los resultados son directas
Teoría de los sistemas
Se debe observar las partes, la relación entre ellas y con el ambiente, estas relaciones son dinámicas pues el cambio es una parte inherente del sistema
Modelo
Parte de la teoría para soportar la relación entre conceptos, entre procesos o entre variables que se usan como marco de referencia de la evaluación.
Modelos comunes de evaluación: Modelo experimental y cuasi-experimental.Diseño experimental de series temporales. Diseño experimental ex post facto. Modelo de evaluación de 4 niveles de Kirkpatrick.Modelo lógico.
Modelo de evaluación de 4 niveles de Kirkpatrick
Modelo lógico
Tiene en cuenta los componentes del programa y los componentes relaciónales del contexto del programa. Se centra en el proceso de cambio.Muy útil en la planeación de una intervención.
Actividad por cada grupo
https://uniandes-my.sharepoint.com/:x:/g/personal/j_folleco_uniandes_edu_co/EZ33LGY1WaxLodLqHMSk4gQBDubmcakbKkdKE4ir06js2Q?e=ZY66eI
Sobre la intervención
Ciclo de vida
Proyección. Evaluación de necesidades: Carolina, Alejandra y Guillermo
Planeación: Diseño: Jessica, Manuela y JohannaClara Luz, María Alejandra y Juan Camilo
FinalizadaNicole, Camilo y LeonardoOscar, Daniel y Diana
Componentes
Contexto (variables socioculturales)Tipo de organización u organizaciones de las cuales se deriva (la intervención está en varias sedes)Tipo de intervención (objetivo)Grupos de interés (miembros de la organización y usuarios de la intervención)
Nivel de Planificación
Enfoques de la evaluación
Dependen parcialmente del contexto. No son excluyentes, por lo tanto una evaluación puede combinar elementos de dos o más enfoques
Eval. Prospectiva
Objetivo. Intentar analizar la probabilidad de éxito de la iniciativa, predecir su costo y analizar propuestas y proyecciones alternativas
Actividades1. Análisis contextual de la iniciativa2. Revisión de estudios de evaluación sobre iniciativas similares, síntesis de los hallazgos y enseñanzas del pasado.3. Análisis productivo del éxito o el fracaso probable, dado un contexto futuro no muy distinto del presente
Iniciativas interesadas en este enfoque: Carolina, Alejandra y GuillermoClara Luz, María Alejandra y Juan CamiloJohanna, Jessica y Manuela
Eval. de la evaluabilidad
Es una herramienta de planeaciónObjetivosLlevar a cabo un estudio preliminar sobre la utilidad y factibilidad de una evaluaciónPermite: clarificar metas de la iniciativa, determinar la información disponible, detectar vacíos, grupos de interes y efectos directos deseados. Ahorra tiempo y evita errores costoso.
Actvidades1. Identificar las fuentes de datos2. Revisar materiales para definir y describir la intervención 3. Identificar modificaciones necesarias para la intervención4. Entrevistar a las partes interesadas sobre su percepción de las metas y los objetivos de la intervención 5. Desarrollar o refinar un modelo de la teoría ha emplear
Eval. basada en metas
ObjetivoMedir el grado en el cual una intervención logra objetivos claros y específicos (Críticas: suele dejar de lado los aspectos sociales y humanos, solo reconoce los objetivos inicialmente declarados y no busca efectos no previstos)
Interevención de: Oscar, Daniel y Diana
Eval. sin tener en cuenta las metas
Evalúan sólo los efectos directos observables y los documentables en relación con las necesidades de los participantes. Se centra en la realidad de lo que sucedió con la intervención.ObjetivoDeterminar el grado al cual se satisfacen las necesidades de los participantes, independientemente del cumplimiento de los objetivos.
Características1. El evaluador evita conocer los objetivos del programa. 2. No se permite que objetivos predeterminados definan el foco del estudio de evaluación. 3. El evaluador tiene un contacto mínimo con el administrador de la iniciativa y el personal. 4. El foco se sitúa en los efectos directos reales del programa y no en los deseados.
Eval. en sitios múltiples
Útil cuando se trata de muestra grande y un conjunto diverso de situaciones donde se desarrolló la intervención.El evaluador debe asegurarse de recopilar los datos de forma estándar.Requiere de mucha participación de parte de las partes interesadas. ObjetivosSuministrar información sobre la experiencia de la intervención. Genera un conocimiento más profundo de las variaciones que ocurrieron con la intervención acorde con los sitios.
Responde a preguntas como:¿Qué características de la implementación de la intervención son comunes a todas las ubicaciones? ¿Qué características varían y por qué? ¿Las diferencias en los efectos guardan relación con las variaciones?
Eval. de conjunto
Se concentra en las intervenciones que comparten una misión, una estrategia y una población objetivo común. Se trata de un grupo de intervenciones desarrolladas en uno o más entornos.No evalúa el éxito o fracaso de las intervenciones individuales ni pretende saber si se puede generalizar resultados o replicar las intervenciones. La variación es positiva porque la intervención se ajusta a un contexto particular. ObjetivoAprender sobre lo ocurrido en los grupos y verificar temas comunes y enseñanzas. Desventaja. No presentan efectos directos para los sitios individuales (los datos sólo muestran información agregada).
Eval. social
Es el principal instrumento para garantizar que se tengan en cuenta los impactos sociales de las intervenciones (centradas en desarrollo)Buscan establecer si es probable que una iniciativa cause impacto social adverso.
Fines de la evaluación social 1. Identificar las principales partes interesadas y establecer un marco apropiado para su participación en la selección, diseño y ejecución de la iniciativa. 2. Asegurar que los objetivos del proyecto y los incentivos para el cambio sean aceptables para la variedad de personas que se espera beneficiar, y que se reflejen las diferencias de género y otras diferencias sociales en el diseño de la iniciativa. 3. Evaluar el impacto social de las iniciativas de inversión, donde se identifiquen impactos adversos, determinar cómo pueden superarse o al menos mitigarse en forma sustancial. 4. Desarrollar la capacidad para resolver conflictos, incrementar la participación, permitir la prestación del o los servicios, y adoptar medidas de mitigación según sea necesario.
Intervención de: Nicole, Camilo y Leonardo
Eval. ambiental y social
Evaluar el impacto ambiental y social puede ser el fin último de la evaluación o un componente de la misma. Si una organización carece de estándares ambientales y sociales, los evaluadores pueden usar los estándares del país en donde funciona la organización. Algunas fuentes de consulta son: Equator Principles, ISO 14031 (https://www.iso.org/obp/ui#iso:std:iso:14031:ed-2:v1:es) y el libro Sustainable Development Strategies: A Resource Book (Dalal-Clayton y Ba, 2002).
Eval. participativa
La evaluación se construye de forma conjunta.La evaluación es una herramienta de aprendizaje, un proceso de responsabilidad compartida (Gariba, 1998)
Las responsabilidades de planear, implementar e informar se comparten con todas las partes interesadas que contribuyen a definir preguntas para la evaluación, recopilar y analizar datos, así como delinear y revisar el informe. Los lineamientos para la recopilación de datos se desarrollan y evolucionan a través del consenso, la reflexión, el diálogo y la experiencia. Ampliamente usado para evaluar proyectos de desarrollo, sobre todo iniciativas comunitarias.
Permite
Formar responsabilidad dentro de las comunidades. Ofrecer una orientación más realista a la evaluación. Incrementar la cooperación. Empoderar a los participantes locales al incluirlos en el proceso de evaluación.
Demanda
Alto nivel de participación De los participantes. Deben mantener un diario o una bitácora de sus experiencias con la intervención. Del evaluador. Habilidades en resolución del conflictos. Abandonar la posición de experto y pasar a ser uno más del grupo.
Riesgos
Pérdida de la objetividad de parte de los participantes Pérdida de credibilidad para el evaluador
Eval. Cartografía de los efectos directos
Se centra en el cambio del comportamientoLos participantes interactúan con la iniciativa, se establecen relaciones en que las interacciones operan desde diferentes sistemas lógicos y de responsabilidad
Útil como herramienta de evaluación al final de un programa o cuando el propósito de la evaluación es estudiar el progama como un todo
Eval. rápida
Útil para examinar procesos no impactos. Es una evaluación de corto alcance Demanda menos tiempo y menos inversión económica
Requiere de un equipo de evaluadores para llevar a cabo la evaluación en el campo. Indentificar personas con experiencias y perspectivas variadas para entrevistarlas.Establecer grupos pequeños Usar diversas fuentes de información (mayor credibilidad)Contrastar la información de las entrevistas con estudios e informes previos, para analizar la consistencia (a mayor consistencia, mayor confianza)
El evaluador requiere tener en cuenta: 1. Revisar datos secundarios antes de hacer las visitas de campo. 2. Una vez en el campo, observar, escuchar, preguntar y registrar. 3. Mantener buenas anotaciones durante todo el proceso; las buenas anotaciones no solamente son esenciales para el informe, sino que también contribuyen a darle sentido a la información recopilada por los distintos integrantes del equipo.
Síntesis de evaluación y metaevaluación
Enfoque donde el evaluador examina distintas intervenciones dirigidas a un problema o un asunto similar para identificar características comunes. Útil para estimar el impacto de una intervención. Implica menos costos porque toma investigaciones disponibles.
Una síntesis de evaluación debería incluir lo siguiente: 1. Procedimientos claros 2. Criterios transparentes de calidad (inclusión/exclusión de evaluaciones) 3. Procedimientos claros para aplicar los criterios de calidad (a menudo realizados por un panel y no por un individuo). 4. Citas de todas las evaluaciones revisadas. 5. Descripciones de cada evaluación incluida en la síntesis y los hallazgos sobre los problemas o variables de interés. 6. Declaración de los vacíos o limitaciones de la síntesis.
Otros enfoques
Suelen ser en general variaciones del enfoque de evaluación participativa
Eval. centrada en el uso
Evalúa el uso previsto por parte de los usuarios previstos. Los usuarios tienen la responsabilidad de aplicar los hallazgos de la evaluación y llevar a la práctica sus recomendaciones.
Eval. para el empoderamiento
Uso de conceptos, técnicas y hallazgos de la evaluación se usan para fomentar el mejoramiento y la autodeterminación. Difiere de la evaluación participativa, en que el evaluador-facilitador es un defensor de los no apoderados y promueve una agenda de cambio político.
Eval. realista
También llamada evaluación dirigida por la teoría.Toma partes de los enfoques de investigación y evaluación. Combina métodos cualitativos y cuantitativos. Asume a las partes interesadas como expertos fiablesParte de la teoría para establecer la hipótesis sobre cómo funciona la iniciativa. Busca probar la hipótesis y determinar lo que podría funcionar, para quién y en qué circunstancias.
Eval. incluyente
Se centra en incluir a los grupos menos favorecidos de una población
Una evaluación incluyente haría preguntas como estas:• ¿Cuáles son las diferencias importantes dentro de la población que se va a atender?• ¿Cómo se prestan los servicios dentro de los distintos subgrupos?• ¿Cuáles son los valores subyacentes a la distribución de los servicios?
Eval. centrada en los beneficiarios
Busca evaluar el valor de una actividad según lo perciben los beneficiarios de la iniciativa, e integrar esos hallazgos en las actividades del proyecto.
Es incluyenteIncluye al cliente final y a los beneficiarios de la iniciativaImplica una alta participación de los beneficiarios para retroalimentar la iniciativa, valorar el impacto y pensar en los cambios deseados y necesarios.
Iniciativa de: Jessica, Manuela y Johanna
Eval. horizontal
Combina un proceso interno de evaluación con una revisión externa de pares. Participantes localesVisitantes (pares de otras or- ganizaciones o proyectos que trabajan en asuntos similares)