¿Cuáles son los límites del proyecto?
Aclaremos los siguientes puntos:
- ¿Se trata de un programa, un servicio, un plan? ¿Proviene de una política pública, se relaciona con alguna institución en concreto? Si es así, ¿con cuál, y cuál es la relación, qué implica?
- ¿Vamos a evaluar todo el programa o una parte?
- Averigüemos cuándo ha empezado el proyecto y cuándo ha terminado. Definamos las fases del proyecto que existan o nos parezcan relevantes y su duración: planificación, búsqueda y composición del equipo, escritura/ presentación a concurso, formación del equipo, intervención, servicios puestos en marcha, evaluación si ha existido, elaboración de memoria o informe, etc.
- ¿Qué acciones, intervenciones o servicios se han realizado/ ofrecido? ¿Dónde y cuándo?
El objeto de la evaluación va a determinar también su diseño. Es decir, en función del elemento o elementos que queramos evaluar vamos a utilizar métodos y planificaciones diferentes. En el apartado "modalidades" puedes encontrar esa clasificación "según el objeto" (necesidades, diseño, proceso o producto).
Es importante no confundir el objeto del programa con el objeto de la evaluación. El objeto de la evaluación es lo que voy a poner en el centro y depende de los objetivos de la evaluación. Por ejemplo, si los resultados de una intervención han sido evaluados y comprobamos que no ha funcionado porque no se corresponden a los objetivos planteados, podemos querer saber qué es lo que ha fallado. Para ello, convendrá estudiar otros elementos como el diseño y los contenidos del programa, su implementación, otros elementos del contexto que hayan podido influir, etc. Si detectamos que el diseño y los contenidos del programa son los más apropiados teniendo en cuenta las necesidades detectadas y otros casos semejantes, puede que el tiempo dedicado no haya sido suficiente o que las personas encargadas de desarrollar las actividades no tuvieran la formación adecuada.
Conocer las herramientas de investigación y sus limitaciones nos puede ayudar a ajustar mejor los métodos al objeto que pretendemos conocer.
Aquí un ejemplo:
Queremos valorar la implementación o proceso de un programa de promoción de la salud entre adolescentes. El programa se desarrolla en el aula y las actividades son facilitadas por las y los docentes.
El objeto de la evaluación es la implementación del programa, ya que queremos saber cuáles son las estrategias que funcionan. Puede que ya hayamos valorado los resultados o que lo vayamos a hacer después.
Información que necesito sobre la implementación: estrategias, recursos, contenidos del programa que se han aplicado, tiempo dedicado a cada uno, número de actividades realizadas, aceptación y satisfacción, grado de participación y continuidad (cuántas personas han participado en cada actividad, al principio, durante y al final del proceso), la fidelidad de lo implementado respecto a la planificación y los contenidos diseñados.
Para obtener esa información tendré que emplear herramientas cuantitativas y cualitativas:
- Encuesta al profesorado para medir tiempo dedicado, actividades impartidas, autopercepción y satisfacción. Encuesta a las/os adolescentes que han participado para medir la participación, el seguimiento, la satisfacción.
- Observación no participante en el aula para medir el grado de fidelidad con la planificación (puedo observar el uso de conceptos, cómo se imparten los contenidos).
- Entrevistas en profundidad para recoger los discursos referentes a todos esos elementos.
