Pas a pas

Abans de començar l’avaluació cal tenir en compte unes quantes consideracions. Aquesta fase zero pot començar arran d’un encàrrec, si es tracta d’una avaluació externa, o arran de la decisió d’avaluar algun dels nostres projectes.

Fase 0

Convé tenir en compte:

• De quins recursos econòmics disposem per avaluar.
• Quant de temps hi podrem dedicar en un sentit longitudinal.
• Qui se n’encarregaria i amb quina disponibilitat o dedicació.

En aquesta fase és important ser realistes, ja que pretendre dur a terme una avaluació a llarg termini que combini metodologies quantitatives i qualitatives sense disposar, per exemple, de prou personal per buidar dades i interpretar-les pot frustrar l’avaluació i desencoratjar futures actuacions.

Fase 1: Identificació del marc general

En aquesta fase farem els següents passos:

• Rebre l’encàrrec i negociar-lo, si és necessari.
• Predefinir-ne l’objecte: de què es tracta? Decidir què avaluarem. Més endavant es pot definir de forma més participativa quines parts del programa o servei s’avaluaran.
• Comprovar si hi ha avaluacions prèvies. Revisar les avaluacions fetes fins al moment.
• Dibuixar l’entorn socioinstitucional: context polític, actors i rols.
• Valorar l’avaluabiliat del projecte. Aquest pas és molt important: condicionarà tota l’avaluació, perquè valorarem fins on podem avaluar i quins mètodes emprarem segons l’accés que tinguem a la informació.
• Configurar l’equip avaluador.
• Elaborar el pressupost de l’avaluació, si és necessari.

A l’hora de valorar l’avaluabilitat cal tenir en compte els següents factors:

• Hi ha tradició avaluativa? És el primer cop que l’equip o el programa s’avaluarà? Si les participants no estan familiaritzades amb els conceptes i les tècniques de l’avaluació caldrà una mica més de temps per acostar-los-hi.
• El disseny del programa és rigorós i clar? Els objectius estan ben definits? La planificació és detallada?
• S’ha inclòs l’avaluació en el disseny inicial del programa?
• Hi ha un sistema d’informació?

Entre els factors que dificulten l’avaluabilitat hi trobem:

• Falta de cultura avaluativa.
• Precarietat econòmica dels serveis i programes socials.
• Context d’intervenció extremament canviant i complex.
• Resultats a llarg termini difícils de controlar.
• Manca de models educatius que s’adaptin a les característiques del servei o programa.
• Possibles resistències de les persones participants.

Fase 2: Desenvolupament del disseny avaluatiu i planificació

En aquesta fase dissenyarem l’avaluació. En la seccó dedicada al disseny hi trobareu informació més detallada. En la secció de modalitats, veureu quines modalitats d’avaluació són les més comunes.

Es tracta de definir elements com ara: el marc conceptual, els objectius de l’avaluació, l'objecte, els criteris avaluatius, la població d’estudi, la metodologia que s’emprarà, etc.

També caldrà:

• Elaborar la cronologia de la recerca, calendaritzar.
• Desenvolupar i identificar els conceptes clau.
• Escollir els criteris de qualitat.
• Formular les preguntes avaluatives i les hipòtesis.

Fase 3: Execució

n aquesta fase passem a executar el que s’havia planificat. Cal posar a prova el nostre disseny i introduir-hi els canvis necessaris.

En funció de la nostra planificació, podríem seguir els següents passos:

• Anàlisi de les fonts d’informació, documentació.
• Dibuix del mapa d'actors.
• Posada en marxa de les tècniques d’investigació escollides. Realització de l’observació, els grups de discussió i les entrevistes segons la calendarització establerta.
• Redefinició de l’objecte, els objectius, els conceptes clau, etc. segons els primers resultats.
• Buidatge, interpretació i comprovació de la hipòtesi i els criteris.
• Elaboració de propostes de millora en funció dels resultats de l’avaluació.
• Elaboració de l’informe i elecció de les formes de visualització.
• Presentació i difusió.