Desenvolupar els criteris

"(...) una acció comunitària de qualitat és aquella que ha estat ben planificada i organitzada, que s’ha desenvolupat d’acord amb els principis metodològics de la participació comunitària i que, finalment, ha assolit els objectius que s’havia plantejat."

                                                                                             IGOP-UAB (2016), Guía operativa de evaluación de la acción comunitaria.

Valorar un projecte d’intervenció suposa escrutar-ne els diferents aspectes: els objectius, la planificació, el disseny, la metodologia, etc. Cal establir els criteris que guiaran aquesta anàlisi tenint en compte la temàtica del projecte, les experiències prèvies, els criteris de qualitat consensuats per una comunitat especialitzada i per les persones que l’han elaborat i hi han participat, que són, al capdavall, les màximes interessades en l’avaluació.

Els criteris de l’avaluació es poden definir (i cal que es defineixin) juntament amb les persones que han participat en el projecte, amb l’equip professional i les persones beneficiàries. Així podem dissenyar una avaluació que respongui realment a les expectatives de les persones per a qui el projecte és important.

Tanmateix, molts cops no es pot arribar a elaborar una avaluació realment participada, perquè no es disposa del temps suficient, ni de prou eines i pressupost; perquè requereix un procés llarg que inclogui reflexió, debat i en què tothom pugui participar independentment de la seva disponibilitat, habilitats, etc.

En tot cas, es pot passar per alt l’opinió tant de la gent que hi treballa com de la que se’n beneficia i aplicar només «criteris estàndard», o bé incloure unes quantes preguntes inicials que vagin més enllà de la satisfacció (m’ha agradat/no m’ha agradat) i que determinin alguns criteris amb els quals treballarem.

Exemples de preguntes:

  • Què defineix per a tu una bona intervenció?
  • Quins valors creus que han de regir un programa, acció o intervenció?

Les respostes poden ser molt àmplies. Segons el camp en què treballem les anirem definint una mica més. Per exemple, si es tracta d’un programa d’educació sexoafectiva, podem preguntar: "Quins valors defineixen o travessen una experiència sexoafectiva positiva?".

Pot ser que els objectius del programa, acció o pla estiguin tan ben definits (objectius generals, específics i operatius) que ja ens proporcionin "criteris" per avaluar. Per exemple, si un dels objectius és "promoure una visió positiva, igualitària i feminista de la sexualitat", intuïm que la "perspectiva de gènere" o la "perspectiva feminista" serà un dels criteris que farem servir per avaluar. "Una visió positiva de la sexualitat" ens portarà a elaborar indicadors que mesurin el grau de satisfacció de les persones que viuen diversos aspectes de la seva sexualitat i no aquells que mesuren situacions de risc i coneixements sobre malalties (sense descartar-los del tot, per descomptat).

L’avaluabilitat

quest criteri és important, perquè les condicions de possibilitat de l’avaluació en depenen. De fet, pot determinar si és possible o no dur a terme una avaluació, si val la pena engegar-la. És a dir, si no comptem amb un mínim acceptable d’informació sobre el programa, la intervenció o el servei que cal avaluar, no té gaire sentit destinar-hi recursos i forces.

Sempre convé determinar l’avaluabilitat per aclarir quins són els límits de l’avaluació que realitzarem. Què podem avaluar i què no.

Elements que determinen l’avaluabilitat:

- Si els objectius del programa estan ben definits: si són clars i concisos, si són consultables.

- Si s’ha planificat i es té accés a aquesta informació.

- Si hi ha una teoria del canvi* treballada per l’equip, si està recollida i es pot consultar.

- Si hi ha un sistema d’informació.

- Si podem contactar amb les persones que hi han participat per fer entrevistes, aclarir dubtes, etc.

- Si hi ha una memòria del projecte, si s’ha elaborat alguna mena d’informe.

* La teoria del canvi és una eina que s’està popularitzant en la intervenció social i, per fer-ne cinc cèntims, consisteix a desenvolupar una teoria sobre què pensem que cal fer per produir una transformació en el context social en què intervenim. Preguntar-nos quina és la teoria del canvi del projecte és útil per comprovar que el projecte realment fa allò que pensa que és necessari per generar el canvi que proposa. Per aprofundir-hi més, consulteu el document associat més avall.
Amb aquesta fitxa sobre la planificació del projecte se’n pot valorar l’avaluabilitat, perquè —com que posa a prova certs elements— permet definir si és possible avaluar-ne el conjunt. Si la major part de la fitxa queda en blanc, vol dir que serà difícil avaluar-lo i que l’avaluació serà només una aproximació orientativa.

Criteris estàndard

D’altra banda, hi ha criteris més o menys estàndard que són molt útils per avaluar qualsevol tipus de programa o acció i que cal tenir en compte:

Pertinència: adequació del programa a les necessitats que pretén cobrir. Aquest programa és pertinent per a això?

Suficiència: els mitjans i recursos de què disposa el programa són suficients? És coherent?

Progrés: el programa s’implementa i es desenvolupa tal com s’havia previst?

Eficàcia: valorar l’eficàcia és comparar els resultats reals amb els previstos. En quin grau el programa és eficaç, és a dir, compleix allò que es proposa?

Efectivitat: valoració dels resultats en comparació amb el cost. En quin grau és efectiu.

Utilitat: fins a quin punt els resultats i impactes pal·lien les necessitats, és a dir, fins a quin punt es podria prescindir del programa.

Les autores González i Murguialday (2004) ens ofereixen algunes claus per aplicar aquests i altres criteris amb perspectiva de gènere:

Eficàcia: en quina mesura els resultats han complert els objectius del programa? Els objectius s’han dissenyat tenint en compte les desigualtats de gènere?

Eficiència: els recursos i mitjans s’han aprofitat bé? Aquí també cal observar qui els ha aprofitat i com. Cal introduir la diferència entre accés als recursos i control sobre els recursos i examinar com hi han participat les dones.

Pertinència: la intervenció és pertinent? És a dir, resol els problemes i necessitats que es plantejaven? Aquí cal observar si la intervenció o programa dona suport als interessos de les dones, si promou espais que els permetin defensar els seus interessos respecte al programa en qüestió. "El criteri de pertinència ha de valorar la qualitat de la participació de les dones al projecte, atès que la seva mera presència en moments puntuals de la intervenció no assegura que les seves necessitats i opinions siguin tingudes en compte". "La intervenció haurà estat pertinent respecte a l’equitat de gènere si s’ha superat la participació de les dones com a meres receptores de serveis i s’ha estimulat que s’organitzin per defensar els seus interessos i drets."

Sostenibilitat: el projecte és sostenible a mitjà i llarg termini? Les persones receptores se n’han apropiat? Quin grau d’apropiació del projecte i dels seus resultats tenen homes i dones? Cal fixar-se en com són les condicions polítiques, institucionals i socials a escala local per entendre com poden condicionar aquesta apropiació.

Impacte: "L’avaluació de l’impacte amb perspectiva de gènere implica, a més, valorar aquests efectes en els diversos àmbits de la vida d’homes i dones (socials, familiars, culturals, econòmics, de participació política, etc.) tenint en compte les seves relacions jeràrquiques." Després de valorar l’objectiu del programa i el grau d’eficàcia amb què ha afectat homes i dones, cal valorar els efectes no previstos, positius i negatius, sobre les dones i els homes. "L’anàlisi de gènere planteja que tota acció de desenvolupament, del tipus que sigui, sempre té un impacte sobre les relacions de gènere i, per tant, cal analitzar els efectes del projecte respecte als drets i responsabilitats d’homes i dones."