Com avaluarem?

Sovint, aquesta pregunta es transforma en: "Com podem avaluar?". El disseny de l’avaluació és el conjunt de mètodes i instruments que desplegarem i depenen dels recursos disponibles.

A més, hi ha "elements influents", és a dir, elements que condicionen el disseny:*

  • La conceptualizació. Reflexionar sobre els conceptes clau que guien el programa, explorar-ne el bagatge social, la història, etc.
  • Les preguntes avaluatives. Determinar els aspectes en què se centrarà l’avaluació.
  • L’elecció de l’aproximació teòrica o el marc conceptual que guia l’avaluació. Per exemple, en una avaluació orientada a la teoria (una avaluació que pretengui posar a prova la teoria del canvi social del programa, és a dir, allò que el programa defineix com a necessari per produir el canvi a través de la seva intervenció) el disseny estarà condicionat per la revisió de la teoria del programa.
  • La identificació de la població d’estudi. El sistema d’actors, la definició dels seus rols i el seu grau d’implicació marcarà el tipus d’informació que s’aconseguirà.
  • L’anàlisi de les fonts d’investigació. El disseny ha d’especificar les fonts d’informació i també sota quins procediments s’analitzaran.

La tendència general és classificar el disseny avaluatiu de la següent manera:

Disseny Què és Característiques
Experimental És una observació controlada sobre un grup experimental que es compara amb un grup de control. Els grups són aleatoris. Permet controlar les variables. El context és irreal. Es poden obtenir dades fiables sobre resultats. Té una alta validesa interna, però una baixa validesa externa. S’ha criticat que els grups solen ser conscients de la seva condició de control.
Correlacional És una observació similar a l’experimental, però que no compleix tots els requisits. S’estructura l’observació a partir de les variables escollides. Molt aplicat en ciències socials. La tècnica més utilitzada és l’enquesta per qüestionari.
Observacional No hi ha manipulació ni selecció de variables. La persona investigadora té un paper passiu. S’aplica en ambients naturals. És ideal en els primers passos d’una investigació.

 

Al disseny cal especificar-hi els passos que es faran i els instruments que s’empraran. En aquest sentit, se sol distingir entre els mètodes quantitatius i qualitatius. Ara bé, des d’aquí creiem que l’elecció de mètodes depèn de les necessitats i possibilitats de l’avaluació: què necessitem saber i interpretar i amb quins recursos comptem per recollir dades significatives. Donar un sentit als mètodes que utilitzem ens ajuda a limitar la burocràcia i la generació excessiva de documents.

Tots els instruments i mètodes tenen avantatges, limitacions i inconvenients, per tant, combinar-los sempre enriquirà la investigació. En l’avaluació és freqüent trobar un excés de mètodes quantitatius o, més aviat, un excés de fe en els resultats que proporcionen, els quals no se solen contrastar amb investigacions més qualitatives o amb comparacions amb contextos diferents. Això també és degut al fet que els objectius de les avaluacions acostumen a respondre a lògiques economicistes. Si la pregunta és: "Aquest programa és rendible?", investigar què pensen els usuaris i usuàries sobre com el programa ha incidit en les seves vides, en efecte, no tindrà cap sentit.
* Simó Solsona, Montserrat (2012) L’avaluació de programes socials en polítiques de regeneració urbana: el cas del Servei Socioeducatiu L’Albada (Lleida), en el marc de la Llei de barris. Tesis doctoralUniversitat de Barcelona.