Una combinación interesante, de la que se está hablando mucho en muchos ámbitos de Evaluación (inclusive el sector privado, del que por cierto proviene esta filosofía), es la que vincula nuestra área con Gestión del Conocimiento (o como se conoce en la jerga anglosajón, KM o Knowledge Management). En una definición muy burda, vendría a ser el conjunto de procedimientos y recursos establecidos por una organización para facilitar a la misma tanto el acceso a información relevante para la toma de decisiones como la absorción y posterior uso de lecciones aprendidas a partir de la práctica en actividades previas.

En la vida real, la Gestión del Conocimiento se está quedando en muchos casos en la instalación de sistemas (basados en software) que almacenan datos y más datos sobre "cosas" que acontecen en la institución: actividades, recursos, proyectos, etc. Sin embargo, así como hay una transformación para llevar un "dato" a ser "información", también hay otro salto entre "información" y "conocimiento". Y esto último tiene mucho que ver con Evaluación.

Cada vez tenemos más acceso a datos, y también a información en políticas públicas. Pero, ¿sabemos más de los procesos que se están generando dentro y fuera de la institución? Y si la respuesta es afirmativa, ¿quién sabe más? ¿Se puede hablar de la organización que aprende?

Toda esta intro para dejar una pregunta en el aire y empezar a hablar. Y también para introducir alguna propuesta interesante. La Iniciativa Pelícano (no confundir con la conspiradora película de Julia Roberts) es una actividad impulsada por un grupo de instituciones con el IDRC de Canadá a la cabeza (los creadores del Mapeo de Alcances). El resto son: European Centre for Development policy Management (ECDPM), Exchange, Bellanet and Unicef East Africa Regional Office. Se trata de un sitio web para discutir sobre Aprendizaje Organizacional basado en la evidencia. ¿De dónde pueden surgir evidencias de las que aprender? Pues de los procesos de evaluación, por supuesto ;-). Para más información sobre el proceso de esta iniciativa y los alcances que se van dando, puede consultar aquí.

El foro están en inglés (en fin...). Hay temas muy interesantes, como por ejemplo "¿Cómo evaluar pertenariados?" o "Aprendizaje en la nueva arquitectura de la AOD".

¡Ánimo y al toro! (ups, esta última expresión puede herir sensibilidades)

Y empezamos las actividades presenciales con una mezcla de conferencia, mesa redonda, panel...uno nunca sabe ya cómo llamar a esto. En el fondo es un intento de réplica de las conversaciones de café que hemos tenido en alguna ocasión. Por eso la hemos titulado "Evaluación a dos voces". Hablaremos de los temas que nos interesan en evaluación, lo que se está discutiendo por ahí, algunas pistas sobre hacia dónde caminar, etc. Será el jueves 17 a las 12. Aquí podéis ver el cartel anunciador. Es una actividad abierta, patrocinada por la Asociación Valenciana de Ingeniería sin Fronteras. Estáis todos y todas cordialmente invitados. Para los que no podáis venir, intentaremos al menos conseguir unas fotografías (ojala un video que pudiéramos colgar).

Prometo hacer un resumen de las discusiones que están teniendo lugar en estos días (en español, ¡ya sabéis de nuestra lucha!). Mientras tanto, si algun/a aevaluador/a o simpatizante se anima a apoyar a Daniela en su investigación, aquí os adjunto parte del mensaje que nos enviaba, con su contacto. Seguro que la realimentación que nos dé tras su trabajo será de gran utilidad para nuestra práctica diaria.

<<If you are interested in participating in the study and willing to volunteer some of your valuable time for providing critical feedback on the checklist, please reply favorably to my personal e-mail address: Daniela.Schroeter@gmail.com . I will respond to you with a copy of the checklist and the survey. Please indicate if you prefer taking the survey via a web-based link or a word document in which you can save your answers>>

]]> http://evaluateca.wordpress.com/2007/11/05/marco-teorico/ Mon, 05 Nov 2007 08:31:55 +0000 rafamonty http://evaluateca.wordpress.com/2007/11/05/marco-teorico/ En estos días se ha "liberado" un interesante documento, que lleva casi una década siendo un referente a la hora de justificar el uso de uno u otro enfoque cuando diseñamos un proceso evaluativo. Me refiero al compendio de 22 enfoques elaborado por Daniel L. Stufflebeam, un grande de la evaluación de aquellos que se concentraron en Kalamazoo, Michigan (EEUU), en esa versión evaluativa del Pentágono (dicho esto con todo el cariño) llamada Evaluation Center, en la Universidad de Michigan Oeste.

Este artículo nació previamente como un Documento Ocasional (Ocassional Papers Series) del EC y posteriormente fue objeto de un monográfico de la revista de evaluación New Directions in Evaluation. Lamentablemente, esta revista, aunque tiene fácil acceso electrónico, está restringida a la suscripción (es decir, al pago).

A pesar de ser un documento teórico, vale la pena leerlo y tenerlo como referencia. Por supuesto, en cursos y capacitaciones para profesionales que vayan a dedicarse a hacer evaluación, diría que es de obligada lectura. En la web del EC puede bajarse la copia en PDF. Dejo también una copia aquí para mayor facilidad. Lamentablemente sólo está en inglés. Si alguien se anima a traducir, que me avise y lo hacemos a dúo (trío, cuarteto...cuantos más seamos, mejor).

Foundational Models for 21st Century - Program Evaluation

Además de esta aportación, Stufflebeam es, como decía, un grande de la evaluación. No diré que soy un gran fan, pero hay que reconocer su aportación al mundo de la evaluación. En el campo de la evaluación educativa, tenemos su archiconocido modelo CIPP (siglas en inglés de Contexto, Entrada, Proceso, Producto). Para los más prácticos, recomiendo también sus aportes con los enfoques de Listas de Comprombación (Checklist). El EC desarrolló un proyecto hace unos años para el desarrollo de estas listas en difrentes aplicaciones: varios tipos de proyecto/producto, diferentes enfoques, etc. Estas listas son accesibles vía web, aquí.

Una anécdota: la primera vez que me presentaron a Mr. Stufflebeam en una de esas simpáticas recepciones de las tarde-noches de las Conferencias de la AEA (algo muy típico eso del networking), al decirle que era español me contó que la primera vez (y creo que única) que visitó España fue víctima, por error, de un secuestro a manos de supuestos miembros del grupo terrorista ETA. Pensé que era una vacile, ¡pero no!, se ve que esta historia la cuenta con cierta frecuencia.

[Vía XCeval]

En él, unos compañeros suizos del AGRIDEA - Developing Agriculture and Rural Areas, planteaban la eterna discusión sobre las limitaciones del enfoque de Marco Lógico como herramienta de planificación y/o de evaluación. Lo que me pareció interesante, y comparto con vosotros/as, fue que además de la crítica a la ortodoxia inherente al método, se hacía una propuesta para incorporar nuevas capacidades y reducir la rigidez a través de la incorporación de estrategias propias del Mapeo de Alcances (que a aprtir de ahora citaremos como OM en sus siglas en inglés).

Sin entrar en el meollo del debate, que llevaría mucho tiempo y espacio, me gustaría resaltar algunas ideas. Por un lado, contrariamente a la creeencia habitual, el EML tiene carencias en lo OPERATIVO. Se ha convertido en una herramienta-modelo en las relaciones entre instituciones de la Cooperación Internacional, lo que supuestamente ha mejorado su capacidad "operativa" de acción. Pero si pensamos en el objeto del EML, que es la intervención en sí, cualquiera que haya hecho una Matriz de ML se habrá topado con la dificultad de describir mecanismos "en la práctica", cambios de conducta, organización del proyecto para su ejecución.

Una segunda cuestión es la incapacidad del EML de mostrar el trazado del proyecto. El propio IRDC presentó en 2001 una ponencia en la Conferencia Anual de la AEA sobre la posibilidad de dotar al EML de perspectiva temporal, tanto en su fase de diseño como en posteriores monitoreos y evaluación (presentando una interesante "mutación" del EML llamada 'Temporal Logic Model', del que curiosamente, no he sabido más). El EML no nos permite apenas dotar al diseño de una perspectiva de evalución, ya que la variable temporal sólo actúa en la definición de hitos, por ejemplo en metas o en umbrales de los indicadores objetivamente verificables.

Ambas cuestiones son CLAVE para la evaluación con EML. En el primer caso, sin capacidad de describir cambios operativos no podemos reconstruir Teoría de Programa, no podemos establecer cadenas causales de resultados, en definitiva no podemos justificar el alcance de determinadas metas a partir de lo ocurrido en el proyecto. Y lo que es peor, no podemos aprender del propio proyecto en cuanto a las estrategias de cambio más exitosas. En el segundo caso, la falta de perspectiva temporal nos dificulta el establecimiento de ciertos modelos de evaluación, que tienen en cuenta la perspectiva temporal, como podrían ser los modelos cuasi-experimentales y no experimentales destinados a la medición del impacto.

En la discusión, los amigos suizos, encabezados por Daniel Roduner, nos ilustraron algunas de sus ideas de "fusión" con esta animación en PowerPoint (Marco Lógico y Mapeo de Alcances). Prometo traducirla al castellano en cuanto me sea posible.

La propuesta de evaluación enfocada al uso de Patton tiene una fuerte conexión con la idea de incorporar cultura de evaluación en las organizaciones (lo que hace unos años se puso de moda con el manido término "mainstreaming", cuya traducción al español no me atrevo a dar). Y creo que esa es una de sus mayores fortalezas. En el breve artículo que recomiendo, afirma algo así como que "apoyar a los profesionales a reflexionar desde un punto de vista de evaluación, puede tener mayor y mejor efecto en la organización que hallazgos específicos". Ello implica, desde mi punto de vista, un necesario paso de las organizaciones por un proceso de fortalecimiento de sus propias capacidades de evaluación.

Me preocupa el giro que se está dando en España sobre el uso de evaluaciones. De pronto, la solución a todos los males pasa por una Agencia Nacional de Evaluación. Específicamente, hablando del campo de la Cooperación al Desarrollo, parece que podríamos dar una acelerón como en otras cuestiones del área se han dado en el pasado. Se abre un espacio de posibilidades, lo cual es, de entrada, positivo. No obstante, tengo mis dudas sobre si todo esto podría convertirse en un arma de doble filo. Creo que el sector requiere de más fortaleza en sus capacidades, para poder incorporar un buen uso, y no un abuso, de las actividades de evaluación.

En este campo quizá deberíamos mirar más a Latinoamérica. Esa es mi percepción por ahora. En estos días haremos un experimento en el curso. A ver qué tal estamos de usos y abusos en este lado del charco.

Leo en un mensaje de la lista del grupo "International and Cross-Cultural Evaluation" de la Sociedad Americana de la Evaluación, un mensaje de Jim Rugh (ex-Director General de la Oficina de Evaluación de CARE International), informando de otra iniciativa más que parece estar teniendo su pegada en cuanto a la defensa radical de los métodos científicos en evaluación, basados en modelos experimentales cuantitativos (ya hablamos de esto en un post sobre el polémico informe de CGD "When we ever learn?"). Se trata esta vez de un grupo nada menos que del Masachussets Institute of Technology (MIT), denominado Poverty Action Lab.

Nada específico que comentar. Más de lo mismo (pero no por ello no hay que seguir debatiendo...o luchando): un regustillo a "si no es con ESTOS métodos científicos, la validez de las evaluaciones deja que desear". No hay nada más peligroso que un grupo de poder con un par de artículos científicos que avalen su teoría interés (este "Lab" está patrocinado por un grupo empresarial de Arabia Saudí...¡ay! ¡cuanto daño le queda a la Responsabilidad Social Corporativa! por hacer a nuestro mundo). Y queramos o no, siempre va a haber "científicos" con necesidades financieras (lo digo con conocimiento de causa, que yo mismo estoy en el lado oscuro de la Fuerza...).

En fin. Me duele especialmente mi ego ingenieril, ya que el MIT para cualquier profesional de la técnica es algo así como el Olimpo de los Dioses. Y de remate, es la casa de estudios mi admirado Noam Chomsky. Ya no te puedes fiar de casi nadie...

Mucho nos queda por hablar del tema, pero creo que vale la pena hacer mención de un tema, de impacto ;-), sobre el que se ha posteado, y mucho, en los círculos de evaluadores (mayoritariamente de habla inglesa). Se trata de un informe elaborado por una entidad llamada Center for Global Development, una entidad privada patrocinada nada más y nada menos que por la Fundación Gates. El informe en cuestión, elaborado por un grupo de trabajo llamado Evaluation Gap, lleva por desafortunado título "When will we ever learn?", algo así como "¿Cuándo aprenderemos de una vez?".

El tema del informe viene a decirnos que se hace mucha evaluación pero con poco rigor. Supongo que lo de "mucha evaluación" no se refiere a nuestro país. La polémica ha saltado, no tanto por las críticas a la práctica profesional de la evaluacion (que también, dado que los autores parece que no son grandes conocidos del sector) sino por la sospecha de propuesta que viene detrás. Cuando el informe habla de "rigor", y alude a la validez de los resultados de las evaluaciones, lo hace desde la óptica de un enfoque muy particular de evaluación: enfoques experimentales. Sí, sí, los del grupo de control, el tema aleatorio, etc.

Animo a los presentes a echarle un vistazo al informe ejecutivo, para hacerse una idea de lo que comento. Por aquí por la Península no tenemos el tema demasiado hablado, y sería bueno que lo hiciéramos, porque de ese modo, venga lo que venga (modas, estándares, imposiciones incluso) por lo menos sabemos de qué hablamos y a qué atenernos.

Por si alguien no lo ha notado, yo no lo tengo ni medio claro (lo del "impacto"). Será que últimamente sólo leo propuestas transgresoras. Pero eso es otra historia, y como dice Michael Ende "...será contada en otra ocasión".