Door:
Marusja Aangeenbrug

12 juli 2012

Categorieën

Tags

‘Utilization-Focused Evaluation’ noemt de internationaal gerenommeerde Michael Quinn Patton zijn aanpak. Geen nieuwe methodiek, maar een inzicht voor meer effectieve evaluaties. Vice Versa interviewde hem voor de bijlage over evalueren die met Vice Versa nummer 3 werd meegestuurd. Simpel gezegd komt zijn aanpak hierop neer: je moet goed weten waarom en voor wie je een evaluatie uitvoert voordat je eraan begint. Dat klinkt als een open deur, maar dat is het niet, weet hij dankzij jarenlange ervaring. Patton houdt zich al met evaluaties bezig sinds begin jaren zeventig, toen dit voor de non-profitsector nog een relatief nieuw terrein was. Wat bedoelt u met Utilization-Focused Evaluation? ‘Er zijn allerlei methoden en standaarden voor goede evaluaties. Maar welke methode je ook kiest, evalueren heeft geen zin als het rapport niet wordt gebruikt. Het belangrijkste is dat je goed weet voor wie en met welk doel je de evaluatie uitvoert. Dat heeft namelijk allerlei consequenties. Niet alleen qua taalgebruik, maar ook qua deadline. Als je bijvoorbeeld wilt dat het management de resultaten meeweegt bij het nemen van besluiten, moet je wel op tijd zijn. Maar de meeste evaluaties worden pas uitgevoerd aan het einde van een programma. Besturen besluiten vaak al veel eerder om wel of niet door te gaan. Dan ben je dus te laat.’ Hoe kies je de juiste evaluatiemethode? ‘Helaas hebben nog veel mensen het simplistische idee dat je een evaluatie kunt uitvoeren die voor iedereen interessant is. Evaluatoren beginnen vaak maar gewoon aan een onderzoek. Ze bepalen zelf de onderzoeksvragen en vergeten hierover in gesprek te gaan met de toekomstige lezers van hun rapport. Dan wordt je evaluatie natuurlijk niet gelezen. En als een evaluatie bestemd is voor beleidsmakers, kies je voor een heel andere aanpak dan wanneer ze bedoeld is voor het grote publiek. Beide groepen zijn in heel andere dingen geïnteresseerd. Je moet dus eerst en vooral duidelijk krijgen voor wie de evaluatie bedoeld is.’ Maar je moet toch ook naar het programma kijken om de juiste methodiek te bepalen? ‘De eerste stap is toch echt dat je moet weten tegen wie je praat en wat het doel is van de evaluatie. Is ze bijvoorbeeld bedoeld om je te verantwoorden, om ervan te leren of om een beleidsbeslissing te kunnen nemen? Voor elk van deze drie doelen moet je een ander moment en een andere aanpak kiezen. Gek genoeg worden evaluatoren niet getraind in dit soort simpele dingen.’ Wat zouden ze dan moeten leren? ‘Evaluatoren leren hoe ze onderzoek moeten doen en hoe ze interviews moeten houden. Belangrijk, heus, maar ze leren bijvoorbeeld niet hoe ze een evaluatie moeten plannen, wat ze aan sociale media kunnen hebben of hoe ze een samenvatting kunnen schrijven.’ Wat is het probleem van de meeste samenvattingen dan? ‘De meeste besturen van organisaties lezen alleen de samenvatting – als je geluk hebt. Dan moet je dus niet uitgebreid gaan uitweiden over de methodologie en maar heel kort ingaan op je bevindingen. Bovendien is het niet zinvol als je je conclusies in de vorm van aanbevelingen schrijft: doe het voortaan zus of doe het zo. Je kunt je bevindingen beter formuleren als scenario’s. Waar moet je op letten als situatie A zich voordoet en wat is belangrijk als situatie B optreedt? Aanbevelingen vormen een lineaire en beperkte benadering, waarbij je ook nog eens veel tegenstand kunt krijgen van bijvoorbeeld het bestuur van de organisatie. Het is beter om je bevindingen weer te geven en vervolgens scenario’s en de implicaties daarvan te schetsen.’ Patton schreef vijf boeken over evalueren, waaronder Utilization-Focused Evaluation (2008) en Developmental Evaluation: Applying Complexity Concepts to Enhance Innovation and Use (2010). Meer weten over evaluatiemethodes? Lees het artikel in de nieuwste bijlage Vice Versa leert over evalueren! Neem nu een abonnement en u krijgt de special nagestuurd!  

5 kernwaarden voor inclusieve waardeketens

Door Maria van der Heide | 27 mei 2020

De coronacrisis biedt kansen om te praten over wat het begrip waarde echt betekent in waardeketens, schrijven Maria van der Heide en Danielle Hirsch in deze opiniebijdrage. Waarde wordt nu uitgedrukt in economische termen als winst en groei. Maar wat hebben we aan winst en groei als de grondstoffen op zijn, mensen onbeschermd op straat staan en het klimaat de aarde onleefbaar maakt? Er zijn waardeketens, die wél werken en waar waarde een veel breder begrip is. 5 kernwaarden voor inclusieve waardeketens.

Lees artikel

5 jaar strategische partnerschappen: zonder wrijving geen glans

Door Siri Lijfering | 25 mei 2020

Komende vrijdag horen ontwikkelingsorganisaties of hun aanvraag voor het nieuwe subsidieprogramma Power of Voices is gehonoreerd. Nog een paar spannende dagen dus. In dit essay maakt Siri Lijfering de balans op van de voorganger Samenspraak en Tegenspraak. Wat kunnen we leren van vijf jaar strategische partnerschappen tussen de Nederlandse overheid en de ontwikkelingssector?

Lees artikel

Inclusief besluitvormingsproces essentieel bij effectieve aanpak COVID-19

Door Vice Versa | 20 mei 2020

Een glashelder en sterk pleidooi rondom de noodzaak van internationale solidariteit. Dat is de reactie van 12 mensen uit het maatschappelijk middenveld, bedrijfsleven en wetenschap op het spoedadvies van de Adviesraad Internationale Vraagstukken over de Nederlandse bijdrage aan de mondiale strijd tegen het coronavirus. Maar, voegen ze daar aan toe: het is van groot belang dat lokale actoren een beslissende rol krijgen in de praktische uitvoering. Voorkom dat alleen gekozen wordt voor bestaande partners die grootschalige bedragen weg kunnen zetten. Hieronder de volledige reactie en de namen van de ondertekenaars.

Lees artikel