Desarrollar los criterios

"(...) una acción comunitaria de calidad es aquella que ha sido bien planificada y organizada, que se ha desarrollado de acuerdo a los principios metodológicos de la participación comunitaria y que, finalmente, ha alcanzado los objetivos que se había planteado." 

                                                                                             IGOP-UAB (2016), Guía operativa de evaluación de la acción comunitaria.

Valorar un proyecto de intervención supone escrutar sus diferentes aspectos: objetivos, planificación, diseño, metodología, etc. Debemos establecer los criterios que van a guiar ese análisis teniendo en cuenta la temática, las experiencias previas, los criterios de calidad consensuados por una comunidad especializada y también por las personas que han elaborado el proyecto y participado en él, que son, al fin, las máximas interesadas en su evaluación.

Los criterios de nuestra evaluación pueden y deben ser definidos juntamente con las personas que han participado en el proyecto, con las/os profesionales y con las personas beneficiarias. De esta manera, podemos diseñar una evaluación que responda realmente a las expectativas de las personas para las que el proyecto es importante.

Sin embargo, muchas veces no es posible llegar a elaborar una evaluación realmente participada, porque no disponemos del tiempo suficiente, de las herramientas y del presupuesto; porque requiere un proceso largo, que incluya reflexión, debate y en el que todas las personas puedan participar independientemente de su disponibilidad, habilidades, etc.

En todo caso, podemos no tener en cuenta en absoluto la opinión de los/as trabajadores/as y beneficiarios/as, y aplicar sólo “criterios estándar” o bien, incluir algunas preguntas iniciales que vayan más allá de la “satisfacción” (me ha gustado/ no me ha gustado), y que determinen algunos de los criterios con los que vamos a trabajar.

Estas preguntas pueden ser:

  • ¿Qué define para ti una buena intervención?
  • ¿Qué valores crees que deben regir un programa/ acción/ intervención?

Las respuestas a estas preguntas pueden ser muy amplias. Dependiendo del campo en el que estemos trabajando podremos definirlas un poco más: por ejemplo, si se trata de un programa en educación sexo-afectiva, podemos preguntar “¿qué valores definen o atraviesan una experiencia sexo-afectiva positiva?”

Es posible que los objetivos del programa, acción o plan estén tan bien definidos (objetivos generales, específicos y operativos) que nos proporcionen “criterios” para evaluar. Por ejemplo, si uno de los objetivos es “promover una visión positiva, igualitaria y feminista de la sexualidad”, podemos intuir que la “perspectiva de género”, o la “perspectiva feminista” será uno de los criterios que utilizaremos para evaluar. También “Visión positiva de la sexualidad”, lo que nos llevará a elaborar indicadores que midan el grado de satisfacción con el que las personas viven diferentes aspectos de su sexualidad y no tanto aquellos que miden las situaciones de riesgo y conocimientos de enfermedades (sin descartarlos por completo, evidentemente).

La Evaluabilidad 

Este criterio es importante ya que de él dependen las condiciones de posibilidad de nuestra evaluación. De hecho, puede determinar si es posible o no realizar una evaluación, si vale la pena ponerla en marcha. Es decir, si no contamos con un mínimo aceptable de información sobre el programa, intervención o servicio a evaluar puede que no tenga mucho sentido destinar recursos y fuerzas a ello. 

Siempre es conveniente determinar la evaluabilidad para aclarar cuáles son los límites de la evaluación que vamos a realizar. Qué podemos evaluar y qué no.

Algunos elementos que determinan la evaluabilidad son:

- La definición de los objetivos del programa. Si son claros y concisos, si son consultables. 

- Si se ha planificado y se tiene acceso a esa información. 

- Si existe una teoría del cambio* trabajada por el equipo, si está recogida y se puede consultar. 

- Si existe sistema de información. 

- Si podemos contactar con las personas que han participado para realizar entrevistas, aclarar dudas, etc.

- Si existe memoria del proyecto, se ha realizado algún tipo de informe.

* La Teoría del Cambio es una herramienta que se está popularizando en intervención social y, muy resumidamente, se trata de desarrollar una teoría sobre qué pensamos que es necesario hacer para producir una transformación en el contexto social en el que intervenimos. Preguntarnos cuál es la teoría del cambio del proyecto puede ser útil para comprobar si el proyecto realmente hace aquello que piensa que es necesario para generar el cambio que se propone. Para profundizar un poco más puedes consultar el documento asociado más abajo.
Con esta ficha sobre la planificación del proyecto puedes valorar la evaluabilidad, ya que al poner a prueba ciertos elementos podemos definir si es posible evaluar el conjunto. Si la mayor parte de la ficha se queda en blanco, querrá decir que será difícil evaluarlo y que la evaluación será solamente una aproximación orientativa.

Criterios estándar 

También existen “criterios” más o menos estándar que pueden ser muy útiles para evaluar cualquier tipo de programa o acción y que tendremos en cuenta:

Pertinencia: Adecuación del programa a las necesidades que pretende cubrir. ¿Este programa es pertinente para esto?

Suficiencia: ¿Los medios y recursos que dispone el programa son suficientes? ¿Es coherente?

Progreso: ¿El programa se está implementando y se desarrolla según lo previsto?

Eficacia: Valorar la eficacia es comparar los resultados reales con los previstos. ¿En qué grado el programa es eficaz, es decir, cumple aquello que se propone?

Efectividad: Valoramos los resultados en comparación con el coste. En qué grado es efectivo.

Utilidad: hasta qué punto los resultados e impactos palian necesidades, es decir, hasta qué punto se podría prescindir del programa.

Las autoras González y Murguialday (2004) nos ofrecen algunas claves para aplicar estos y otros criterios con perspectiva de género:

Eficacia: ¿En qué medida los resultados han cumplido los objetivos del programa? ¿esos objetivos fueron diseñados teniendo en cuenta las desigualdades de género?

Eficiencia: ¿Los recursos y medios dispuestos fueron bien aprovechados? Aquí también se debe observar quién los ha aprovechado y cómo. Introducir la diferencia entre acceso y control de los recursos. Ver cómo han participado las mujeres.

Pertinencia: La intervención es pertinente, es decir, resuelve los problemas/ necesidades planteadas? Aquí hay que observar si la intervención o programa apoya los intereses de las mujeres, si promueve espacios que les permita defender sus intereses respecto al programa en cuestión. “El criterio de pertinencia debe valorar la calidad de la participación de las mujeres en el proyecto, ya que su mera presencia en momentos puntuales de la intervención no asegura que sus necesidades y opiniones sean tenidas en cuenta”. “La intervención habrá sido pertinente respecto a la equidad de género si se ha superado la participación de las mujeres como meras receptoras de servicios y se ha estimulado su organización para la defensa de sus intereses y derechos.”

Sostenibilidad: ¿El proyecto es sostenible a medio y largo plazo?, ¿las personas receptoras del proyecto se han apropiado de él? ¿Qué grado de apropiación del proyecto y de sus resultados tienen hombres y mujeres? Es necesario observar cómo son las condiciones políticas, institucionales y sociales a nivel local, para entender cómo pueden condicionar esta apropiación.

Impacto: “La evaluación del impacto con perspectiva de género implica, además, valorar dichos efectos en la vida de hombres y mujeres en sus diferentes ámbitos (sociales, familiares, culturales, económicos, de participación política, etc) teniendo en cuenta sus relaciones jerárquicas.” Después de valorar el objetivo del programa, y con qué grado de eficacia afectó a hombres y mujeres, hay que valorar efectos no previstos, positivos y negativos, en mujeres y hombres. “El análisis de género plantea que toda acción de desarrollo, del tipo que sea, tiene siempre un impacto en las relaciones de género y, por lo tanto, deben analizarse los efectos del proyecto en los derechos y responsabilidades de hombres y mujeres.