¿Cómo vamos a evaluar?

Esta pregunta, muchas veces, se convierte en "¿Cómo podemos evaluar?". El diseño de la evaluación es el conjunto de métodos y instrumentos que vamos a desplegar y dependen de los recursos disponibles. 

Existen, además, "elementos influyentes", es decir, elementos que condicionan el diseño*: 

  • La conceptualización. Hacer una reflexión acerca de los conceptos clave que guian el programa, explorar el bagaje social, la historia, etc.
  • Las preguntas evaluativas. Determinaran los aspectos en los que la evaluación se va a centrar. 
  • La elección de la aproximación teórica o el marco conceptual que guia la evaluación. Por ejemplo, en una evaluación orientada a la teoría (una evaluación que pretenda poner a prueba la teoría del cambio del programa, aquello que el programa define como necesario para producir el cambio a través de su intervención) el diseño estará condicionado por la revisión de la teoría del programa. 
  • La identificación de la población de estudio. El sistema de actores, la definición de sus roles y su grado de implicación marcará el tipo de información que se consiga. 
  • El análisis de las fuentes de investigación. El diseño debe especificar las fuentes de información y también bajo qué procedimientos se analizarán.

La tendencia general es clasificar el diseño evaluativo de la siguiente forma:

Diseño Qué es Características
Experimental Es una observación controlada sobre un grupo experimental que se compara con otro de control. Los grupos son aleatorios. Permite controlar las variables. El contexto es irreal. Se pueden obtener datos fiables sobre resultados. Alta validez interna pero baja externa. Se ha criticado que los grupos suelen ser conscientes de su condición de control. 
Correlacional Como la experimental pero sin cumplir todos los requisitos. Se estructura la observación a partir de las variables elegidas. Muy aplicado en ciencias sociales. Técnica más utilizada: encuesta por cuestionario.
Observacional No hay manipulación ni selección de variables. La persona investigadora tiene papel pasivo. Se aplica en ambientes naturales.  Ideal en los primeros pasos de una investigación. 

 

En el diseño hay que especificar los pasos que se van a dar y los instrumentos que se van a utilizar. En este sentido, se suele distinguir entre métodos cuantitativos y cualitativos, pero desde aquí creemos que la elección de los métodos depende de las necesidades y posibilidades de la evaluación: qué necesitamos saber e interpretar y con qué recursos contamos para recoger datos significativos. Dar un sentido a los métodos que empleamos nos ayuda a limitar la burocracia y la generación excesiva de documentos.

Todos los instrumentos y métodos poseen ventajas, limitaciones e inconvenientes, por lo tanto, su combinación enriquecerá siempre nuestra investigación. En evaluación es común encontrar un exceso de métodos cuantitativos o, más bien, un exceso de fe en los resultados que proporcionan. Estos resultados no se suelen contrastar con investigaciones más cualitativas o comparaciones en contextos diferentes. Esto se debe, también, a que los objetivos de las evaluaciones suelen responder a lógicas economicistas. Si la pregunta es "¿el programa X es rentable?" investigar lo que piensan los/as usuarios/as acerca de cómo el programa ha afectado sus vidas no tendrá, efectivamente, ningún sentido. 
* Simó Solsona, Montserrat (2012) L’avaluació de programes socials en polítiques de regeneració urbana: el cas del Servei Socioeducatiu L’Albada (Lleida), en el marc de la Llei de barris. Tesis doctoral, Universitat de Barcelona.