Door:
Marusja Aangeenbrug

12 juli 2012

Categorieën

Tags

‘Utilization-Focused Evaluation’ noemt de internationaal gerenommeerde Michael Quinn Patton zijn aanpak. Geen nieuwe methodiek, maar een inzicht voor meer effectieve evaluaties. Vice Versa interviewde hem voor de bijlage over evalueren die met Vice Versa nummer 3 werd meegestuurd. Simpel gezegd komt zijn aanpak hierop neer: je moet goed weten waarom en voor wie je een evaluatie uitvoert voordat je eraan begint. Dat klinkt als een open deur, maar dat is het niet, weet hij dankzij jarenlange ervaring. Patton houdt zich al met evaluaties bezig sinds begin jaren zeventig, toen dit voor de non-profitsector nog een relatief nieuw terrein was. Wat bedoelt u met Utilization-Focused Evaluation? ‘Er zijn allerlei methoden en standaarden voor goede evaluaties. Maar welke methode je ook kiest, evalueren heeft geen zin als het rapport niet wordt gebruikt. Het belangrijkste is dat je goed weet voor wie en met welk doel je de evaluatie uitvoert. Dat heeft namelijk allerlei consequenties. Niet alleen qua taalgebruik, maar ook qua deadline. Als je bijvoorbeeld wilt dat het management de resultaten meeweegt bij het nemen van besluiten, moet je wel op tijd zijn. Maar de meeste evaluaties worden pas uitgevoerd aan het einde van een programma. Besturen besluiten vaak al veel eerder om wel of niet door te gaan. Dan ben je dus te laat.’ Hoe kies je de juiste evaluatiemethode? ‘Helaas hebben nog veel mensen het simplistische idee dat je een evaluatie kunt uitvoeren die voor iedereen interessant is. Evaluatoren beginnen vaak maar gewoon aan een onderzoek. Ze bepalen zelf de onderzoeksvragen en vergeten hierover in gesprek te gaan met de toekomstige lezers van hun rapport. Dan wordt je evaluatie natuurlijk niet gelezen. En als een evaluatie bestemd is voor beleidsmakers, kies je voor een heel andere aanpak dan wanneer ze bedoeld is voor het grote publiek. Beide groepen zijn in heel andere dingen geïnteresseerd. Je moet dus eerst en vooral duidelijk krijgen voor wie de evaluatie bedoeld is.’ Maar je moet toch ook naar het programma kijken om de juiste methodiek te bepalen? ‘De eerste stap is toch echt dat je moet weten tegen wie je praat en wat het doel is van de evaluatie. Is ze bijvoorbeeld bedoeld om je te verantwoorden, om ervan te leren of om een beleidsbeslissing te kunnen nemen? Voor elk van deze drie doelen moet je een ander moment en een andere aanpak kiezen. Gek genoeg worden evaluatoren niet getraind in dit soort simpele dingen.’ Wat zouden ze dan moeten leren? ‘Evaluatoren leren hoe ze onderzoek moeten doen en hoe ze interviews moeten houden. Belangrijk, heus, maar ze leren bijvoorbeeld niet hoe ze een evaluatie moeten plannen, wat ze aan sociale media kunnen hebben of hoe ze een samenvatting kunnen schrijven.’ Wat is het probleem van de meeste samenvattingen dan? ‘De meeste besturen van organisaties lezen alleen de samenvatting – als je geluk hebt. Dan moet je dus niet uitgebreid gaan uitweiden over de methodologie en maar heel kort ingaan op je bevindingen. Bovendien is het niet zinvol als je je conclusies in de vorm van aanbevelingen schrijft: doe het voortaan zus of doe het zo. Je kunt je bevindingen beter formuleren als scenario’s. Waar moet je op letten als situatie A zich voordoet en wat is belangrijk als situatie B optreedt? Aanbevelingen vormen een lineaire en beperkte benadering, waarbij je ook nog eens veel tegenstand kunt krijgen van bijvoorbeeld het bestuur van de organisatie. Het is beter om je bevindingen weer te geven en vervolgens scenario’s en de implicaties daarvan te schetsen.’ Patton schreef vijf boeken over evalueren, waaronder Utilization-Focused Evaluation (2008) en Developmental Evaluation: Applying Complexity Concepts to Enhance Innovation and Use (2010). Meer weten over evaluatiemethodes? Lees het artikel in de nieuwste bijlage Vice Versa leert over evalueren! Neem nu een abonnement en u krijgt de special nagestuurd!  

Groot geld gevraagd voor klimaatadaptatie

Door Joris Tielens | 17 september 2019

Klimaatadaptatie is nodig en dat vergt véle miljarden, maar commerciële geldschieters vinden het vaak te riskant. Een nieuw Nederlands klimaatfonds zal 160 miljoen euro overheidsgeld gebruiken om toch privaat geld aan te trekken. Hoe gaat het DFCDwerken? Een interview met FMO.

Lees artikel

Een klimaatlijst voor Kaag

Door Joris Tielens | 13 september 2019

Stoppen met subsidies en exportkredieten voor fossiele brandstoffen, het beprijzen van CO2 en het tegengaan van belastingontduiking door de fossiele industrie. Het zijn een aantal zaken waarvoor minister Kaag internationaal moet pleiten tijdens de klimaattop in New York op 23 september, volgens de Adviesraad Internationale Vraagstukken (AIV).

Lees artikel

De vergeten klimaattafel

Door Joris Tielens | 04 september 2019

Het klimaatakkoord is veelbesproken, maar de helft van de ‘Nederlandse’ CO2-uitstoot blijft onderbelicht: die in het buitenland. Valt klimaatverandering te beperken door geen subsidies meer te geven aan de fossiele industrie, door meer klimaatdiplomatie? Heleen de Coninck en Marcel Beukeboom kijken voorbij de grenzen.

Lees artikel