Desarrollar los criterios

"(...) una acción comunitaria de calidad es aquella que ha sido bien planificada y organizada, que se ha desarrollado de acuerdo a los principios metodológicos de la participación comunitaria y que, finalmente, ha alcanzado los objetivos que se había planteado." 

                     IGOP-UAB (2016), Guía operativa de evaluación de la acción comunitaria.

Valorar un proyecto de intervención implica estudiar sus diferentes aspectos: objetivos, planificación, diseño, metodología, etc. Debemos establecer los criterios que van a guiar ese análisis teniendo en cuenta la temática, las experiencias previas, los criterios de calidad consensuados por una comunidad especializada y también por las personas que elaboraron el proyecto y participaron en él, que son, al fin, las máximas interesadas en su evaluación.

Los criterios de nuestra evaluación pueden y deben ser definidos juntamente con las personas que han participado en el proyecto, con las/os profesionales y con las personas beneficiarias. De esta manera, podemos diseñar una evaluación que responda realmente a las expectativas de las personas para las que el proyecto es importante.

Existen criterios estandarizados que nos pueden servir de referencia como los del Comité de Ayuda al Desarrollo (CAD) de la Organización para la Cooperación y el Desarrollo Económicos (OCDE). Para utilizar criterios, siempre debemos definirlos previamente y consensuarlos con las participantes en la evaluación. 

Para elegir y definir los criterios que vamos a usar, podemos hacernos estas preguntas:

  • ¿Qué define para ti una buena intervención?
  • ¿Qué valores crees que deben regir un programa/ acción/ intervención?

La Evaluabilidad 

Este criterio es importante, ya que de él dependen las condiciones de posibilidad de nuestra evaluación. De hecho, puede determinar si es posible o no realizar una evaluación, si vale la pena ponerla en marcha. Es decir, si no contamos con un mínimo aceptable de información sobre el programa, intervención o servicio a evaluar puede ser muy difícil evaluar.

Siempre es conveniente determinar la evaluabilidad para aclarar cuáles son los límites de la evaluación que vamos a realizar. Qué podemos evaluar y qué no. La evaluación de la evaluabilidad puede considerarse una evaluación del diseño y hacer propuestas de cambio que hagan el proyecto más evaluable. 

Algunos elementos que determinan la evaluabilidad son:

- La definición de los objetivos del programa. Si son claros y concisos, si son consultables. 

- Si se ha planificado y se tiene acceso a esa información. 

- Si existe una teoría del cambio* o teoría programática explícita.

- Si existe sistema de información. 

- Si podemos contactar con las personas que han participado para realizar entrevistas, aclarar dudas, etc.

- Si existe memoria del proyecto, se ha realizado algún tipo de informe.

* La Teoría del Cambio es una herramienta que se está popularizando en intervención social y, muy resumidamente, se trata de desarrollar una teoría sobre qué pensamos que es necesario hacer para producir una transformación en el contexto social en el que intervenimos. Preguntarnos cuál es la teoría del cambio del proyecto puede ser útil para comprobar si el proyecto realmente hace aquello que piensa que es necesario para generar el cambio que se propone. Para profundizar un poco más puedes consultar el documento asociado más abajo.
Con esta ficha sobre la planificación del proyecto puedes valorar la evaluabilidad, ya que al poner a prueba ciertos elementos podemos definir si es posible evaluar el conjunto. Si la mayor parte de la ficha se queda en blanco, querrá decir que será difícil evaluarlo y que la evaluación será solamente una aproximación orientativa.

Criterios estándar 

También existen “criterios” más o menos estándar que pueden ser muy útiles para evaluar cualquier tipo de programa o acción y que tendremos en cuenta:

Pertinencia: Adecuación del programa a las necesidades que pretende cubrir. ¿Este programa es pertinente para esto?

Suficiencia: ¿Los medios y recursos que dispone el programa son suficientes? ¿Es coherente?

Progreso: ¿El programa se está implementando y se desarrolla según lo previsto?

Eficacia: Valorar la eficacia es comparar los resultados reales con los previstos. ¿En qué grado el programa es eficaz, es decir, cumple aquello que se propone?

Efectividad: Valoramos los resultados en comparación con el coste. En qué grado es efectivo.

Utilidad: hasta qué punto los resultados e impactos palian necesidades, es decir, hasta qué punto se podría prescindir del programa.

Las autoras González y Murguialday (2004) nos ofrecen algunas claves para aplicar estos y otros criterios con perspectiva de género:

Eficacia: ¿En qué medida los resultados han cumplido los objetivos del programa? ¿esos objetivos fueron diseñados teniendo en cuenta las desigualdades de género?

Eficiencia: ¿Los recursos y medios dispuestos fueron bien aprovechados? Aquí también se debe observar quién los ha aprovechado y cómo. Introducir la diferencia entre acceso y control de los recursos. Ver cómo han participado las mujeres.

Pertinencia: La intervención es pertinente, es decir, resuelve los problemas/ necesidades planteadas? Aquí hay que observar si la intervención o programa apoya los intereses de las mujeres, si promueve espacios que les permita defender sus intereses respecto al programa en cuestión. “El criterio de pertinencia debe valorar la calidad de la participación de las mujeres en el proyecto, ya que su mera presencia en momentos puntuales de la intervención no asegura que sus necesidades y opiniones sean tenidas en cuenta”. “La intervención habrá sido pertinente respecto a la equidad de género si se ha superado la participación de las mujeres como meras receptoras de servicios y se ha estimulado su organización para la defensa de sus intereses y derechos.”

Sostenibilidad: ¿El proyecto es sostenible a medio y largo plazo?, ¿las personas receptoras del proyecto se han apropiado de él? ¿Qué grado de apropiación del proyecto y de sus resultados tienen hombres y mujeres? Es necesario observar cómo son las condiciones políticas, institucionales y sociales a nivel local, para entender cómo pueden condicionar esta apropiación.

Impacto: “La evaluación del impacto con perspectiva de género implica, además, valorar dichos efectos en la vida de hombres y mujeres en sus diferentes ámbitos (sociales, familiares, culturales, económicos, de participación política, etc) teniendo en cuenta sus relaciones jerárquicas.” Después de valorar el objetivo del programa, y con qué grado de eficacia afectó a hombres y mujeres, hay que valorar efectos no previstos, positivos y negativos, en mujeres y hombres. “El análisis de género plantea que toda acción de desarrollo, del tipo que sea, tiene siempre un impacto en las relaciones de género y, por lo tanto, deben analizarse los efectos del proyecto en los derechos y responsabilidades de hombres y mujeres.