Les preguntes de l'avaluació
Allà on l’avaluació basada en la probabilitat demana: “El programa funciona?”, l’avaluació realista ha de preguntar: “Què funciona per a qui, en quin context i de quina manera?”.
Ketting et al. (2016) "Evaluation of holistic sexuality education: A European expert group consensus agreement", The European Journal of Contraception & Reproductive Health Care, 21:1, 68-80.
Les preguntes de l’avaluació són preguntes avaluatives, és a dir, preguntes que mirarem de respondre fent servir diferents mètodes i eines que ens permetin recollir informació de qualitat i argumentar les conclusions i recomanacions de l'avaluació.
La pregunta és l'eina principal de l'avaluació: determina cap a on volem mirar a l'hora de valorar un programa o intervenció. Una avaluació feminista ha de preguntar sobre les desigualtats presents en el context, sobre com el programa avaluat les té en compte, com les transforma o les reprodueix.
Les preguntes avaluatives han de ser rellevants, útils i poder ser respostes. Cal que reflecteixin els objectius del programa i conceptes o elements clau.
Uns quants consells més per elaborar les preguntes:
- Ens han d’ajudar a saber què cal observar: quins serveis, materials o coses produeix el programa?
- Han de descriure el que passa o el que es fa: què ha passat? Com és el servei? Com són els materials i recursos?
- Han de mesurar els canvis: han augmentat els serveis oferts? Quant? Hi ha més demandes que abans d’un determinat servei? (Cal definir els temps.) Els discursos dels joves són més elaborats que fa un any?
- Ens han d’ajudar a entendre les causalitats, comparar, justificar i argumentar, explorar: quins són els resultats en comparació amb els objectius del programa? La metodologia exclou algunes identitats sexuals?
- Hi pot haver preguntes crítiques que parteixin de valors o postures polítiques: el programa redueix la violència entre la gent jove? Les sexualitats no heterosexuals són més visibles?
- Definir conceptes i elements clau ens pot ajudar a establir jerarquies entre les preguntes de l’avaluació i a desenvolupar indicadors.
- Hem de definir la pregunta principal de l’avaluació, que determinarà també el disseny avaluatiu. Per exemple: «El programa X funciona?». S’entén que es tracta d’un programa que ja està en marxa o que no és nou i implica avaluar-ne els resultats i comparar-los amb els objectius, veure si els objectius estan ben plantejats, si encara són pertinents, etc. «Per què hi ha un biaix de gènere en l’accés al servei Y?». Aquesta pregunta orienta tota l’avaluació cap a un problema concret que s’ha detectat a través d’una anàlisi prèvia dels resultats.
En la secció de recursos hi trobareu fitxes que us ajudaran a elaborar preguntes per a cada fase de l’avaluació.
