Quins són els límits del projecte?
Cal aclarir els següents punts:
- Es tracta d’un programa, d’un servei, d’un pla? Prové d’alguna política pública, es relaciona amb alguna institució en concret? Si és així, amb quina? Quina relació hi té? Què implica?
- Avaluarem tot el programa o només una part?
- Cal esbrinar quan ha començat el projecte i quan ha acabat. Cal definir les fases del projecte, les que ja existeixen o les que trobem rellevants, i quina durada tenen: planificació, recerca i composició de l’equip, escriptura i presentació a concurs, formació de l’equip, intervenció, serveis engegats, avaluació (si n’hi ha hagut), elaboració de memòria o informe.
- Quines accions i intervencions s’han dut a terme? Quins serveis s’han ofert? On i quan?
L’objecte de l’avaluació també en determinarà el disseny. És a dir, en funció de l’element o elements que vulguem avaluar emprarem mètodes i planificacions diferents. A l’apartat "modalitats" hi trobareu la classificació "segons l’objecte" (necessitats, disseny, procés o producte)
És important no confondre l’objecte del programa amb l’objecte de l’avaluació. L’objecte de l’avaluació és allò que situarem al centre i depèn dels objectius de l’avaluació. Per exemple, si s’han avaluat els resultats d’una intervenció i comprovem que no ha funcionat perquè no s’han complert els objectius plantejats, potser volem saber què ha fallat. Per tant, convindrà estudiar altres elements com ara el disseny i els continguts del programa, com s’ha implantat, altres aspectes del context que hagin pogut influir, etc. Si detectem que el disseny i els continguts del programa són els més apropiats tenint en compte les necessitats detectades i l’evidència generada per altres programes similars, pot ser que el temps dedicat no hagi estat suficient o que les persones encarregades de desenvolupar les activitats no tinguessin la formació adequada.
Conèixer les eines de recerca i les seves limitacions ens ajudarà a ajustar millor els mètodes a l’objecte que pretenem investigar.
Exemple:
Volem valorar la implantació o el procés d’un programa de promoció de la salut entre adolescents. El programa es desenvolupa a l’aula i les activitats són facilitades pel personal docent.
L’objecte de l’avaluació és la implementació del programa, perquè volem saber quines estratègies funcionen. Pot ser que ja n’hàgim valorat els resultats o que ho fem més endavant.
La informació que necessitem sobre la implementació és la següent: estratègies, recursos, continguts del programa que s’ha aplicat, temps dedicat a cadascun dels continguts, nombre d’activitats realitzades, acceptació i satisfacció, grau de participació i de continuïtat (quantes persones han participat en cada activitat, al principi, durant i al final del procés), fidelitat del que s’ha dut a terme respecte a la planificació i els continguts dissenyats.
Per obtenir aquesta informació caldrà emprar eines quantitatives i qualitatives:
- Enquesta al professorat per mesurar el temps dedicat, les activitats impartides, l’autopercepció i la satisfacció.
- Enquesta a les i els adolescents que hi han participat per mesurar la participació, el seguiment i la satisfacció.
- Observació no participant en l’aula per mesurar el grau de fidelitat respecte a la planificació (es pot examinar l’ús de conceptes, com s’imparteixen els continguts...).
- Entrevistes amb profunditat per recollir els discursos referents a tot aquest seguit d’elements.
