Door:
Marc Broere

8 november 2018

Tags

Het complete programma van ‘Leren van Evalueren -bewegen tussen belangen’ op 23 november is bekend. De centrale vraag van de bijeenkomst is: welke belangen spelen er bij evaluaties en hoe ga je hiermee om? Hieronder het complete programma en een overzicht van de acht deelsessies. Hieronder het programma 

‘Kunnen jullie laten zien dat onze interventie tóch impact gehad heeft?’ Of: ‘Hoe kunnen we de resultaten van deze evaluatie framen zodat er een mooie krantenkop van te maken is?’ Iedere evaluator kent deze vragen wel uit zijn of haar werkpraktijk. De subtiele druk om je eindbevindingen soms nét even iets anders op te schrijven of te formuleren, zonder overigens de waarheid of de juistheid van je onderzoek geweld aan te doen, kan soms groot zijn. Druk van je baas, druk van de opdrachtgever die vaak veel geld neertelt voor een evaluatie, of misschien wel druk die je jezelf oplegt omdat je toch ook wilt dat het onderzoek en de conclusies iets losmaken.

Binnen iedere evaluatie spelen diverse belangen. Zowel bij de opdrachtgever als bij de opdrachtnemer. De resultaten van onderzoek kunnen mede bepalend zijn voor de toekomst van het betreffende beleidsterrein of de reputatie van organisaties. Voor de opdrachtnemer geldt dat een tevreden klant belangrijk is in het vergaren van vervolgopdrachten. Dit kan op gespannen voet staan met het principe van evalueren.

Op vrijdag 23 november gaan we hier verder met elkaar over in gesprek tijdens ‘Leren van Evalueren 2018 – Bewegen tussen belangen.’ We vragen iedereen zijn of haar eigen dilemma’s mee te nemen naar de bijeenkomst om hier in een vertrouwelijke setting met elkaar over verder te praten.Daarnaast hebben we acht en praktische deelsessies en een uitgebreide lunch en borrel om met elkaar te netwerken.

 

Programma

10.00               Binnenkomst: registratie en koffie

10.30               Opening door dagvoorzitter Ruerd Ruben

10.35-10.55     Inleiding door Robert Lensink, hoogleraar Finance & Financial Markets aan de Rijksuniversiteit Groningen. In deze keynote geeft Lensink zijn visie op de hoofdvragen van de dag en doet hij een voorzet voor de paneldiscussie. Met welke dilemma’s in (wetenschappelijke) evaluaties heeft hij zelf te maken gehad en hoe ging hij hiermee om?

10.55- 11.25     Discussie met Brigitte Campfens (manager Supply Chain Sustainability van KPMG), Jan-Joost Kessler (senior-consultant Aidenvironment), Fedes van Rijn (senior-onderzoeker impactevaluaties WUR) en Arjan Schuthof (Clustercoördinator en senior-onderzoeker IOB) over de hoofdvragen van de dag. Met welke belangen heb je te maken binnen evaluaties en hoe ga je daarmee om?

11.20-11.50       Verbreding van de discussie naar de zaal.

11.50                   Koffie en thee

12.00                  Deelsessies (4)

13.15                   Lunch

14.15                   Deelsessies (4)

15.30                  Inspirerende afronding

16.o0                  Netwerkborrel

 

Overzicht Deelsesssies

Nul effect gevonden – en dan?

IOB heeft flink geïnvesteerd in impactstudies van vijf projecten, tbv de beleidsdoorlichting voedselzekerheid. Vier van de vijf evaluaties vonden niet de effecten die we – project staf in overleg met IOB evaluatoren  – redelijkerwijs hadden verwacht. Wat doe je dan? Welke conclusies kun je wel en niet trekken? Een sessie onder voorzitterschap van Bart de Steenhuijsen Piters (KIT).

Evalueren van wetenschappelijk onderzoek

Hoe pak je dat aan? Wat moet je al meenemen bij de opzet? Wat moet er in een Terms of Reference staan? Wat vooral niet? Wanneer zet je een opdracht uit bij een bureau en wanneer volstaat een zelfevaluatie of een (externe) commissie? En welke betrokkenheid – en afstand – is nodig gedurende de evaluatie? Aan de hand van een aantal recente evaluaties worden de do’s and dont’s boven tafel gebracht.

Een framework om mee te evalueren

Impact is hot. Maar hoe definieer je impact? Hoe realiseer je impact en hoe toon je het aan? Welke rol spelen evaluaties daarbij en hoe kun je ervan leren? ZonMw heeft recent, op basis van haar visie op impact, een Impact Assessment Framework ontwikkeld. Maar hoe kan zo een framework (organisatiebreed) effectief worden ingezet? Hoe is het eigenlijk tot stand gekomen? En hoe kunnen we ons aanleren om er werkelijk van te leren? In deze workshop worden visies en aanpakken gedeeld: zowel van ZonMw als workshopdeelnemers.

Impact van Certificering

Een deelsessie geleid door Verina Ingram (WUR) en Henk Gilhuis (Rainforest Alliance) over de impact van certificering. Een actueel onderwerp waarover de afgelopen weken veel in de media stond.  Interessant zowel vanuit het oogpunt van de hoofdvragen van de dag, maar ook vanuit hoe de boodschap uiteindelijk in de media komt. WUR en Rainforest Alliance blikken samen terug hoe de diverse belangen in het onderzoek naar impact van certificering in de cacaosector een rol hebben gespeeld bij de opzet, uitvoer, en uiteindelijk in de communicatie van de onderzoeksresultaten naar buiten toe. Een belangrijke vraag daarbij is: er zijn veel nieuwe ontwikkelingen in duurzaamheidscertificering. Evaluaties lopen achter in die zin, want nieuwe ontwikkelingen worden in terugblikkende evaluaties niet meegenomen. Hoe kunnen evaluatoren ervoor zorgen dat evaluaties niet achterlopen met ontwikkelingen in de realiteit? In andere woorden: Hoe kunnen evaluaties de belangen van Rainforest Alliance het beste dienen?

Hulp voor handel volgens de regels

IOB onderzocht of de technische assistentie voor handelspolitiek en handelsregels de verwachte resultaten opleverde. De studie was positief over steun aan handelspolitiek, handelsfacilitatie en publieke standaarden, maar negatief over samenwerking (van donoren onderling en met overheden) en steun voor private standaarden. De Tweede Kamer stelde vragen over milieu- en armoede-effecten die de evaluatie niet had onderzocht en de beleidsreactie benadrukte vooral de positieve uitkomsten. De studie wordt in deze deelsessie gepresenteerd door Jan Bade en Martine de Groot (beiden IOB) en vervolgens wordt de vraag gesteld of IOB meer aandacht voor negatieve conclusies van evaluaties moet genereren. En zo ja, hoe?

Hoe presenteer je evaluatieresultaten? Mogelijkheden en trade-offs

Hoe presenteer je resultaten van evaluaties? En hoe vaak? Hoe maak je data toegankelijk voor belanghebbenden? Wat zijn de trade-offs hierin? Het kan interessant zijn evaluatieresultaten heel snel online te presenteren voor een breed publiek, maar dan zijn resultaten nog niet definitief. Wachten met presenteren van evaluatieresultaten tot het einde van een langlopende studie kan ertoe leiden dat de realiteit inmiddels veranderd is, en de resultaten bij publicatie ervan al achterhaald zijn. Flitsende publicaties, online dashboards en het gebruik van sprekende visuals zijn aantrekkelijker dan droge rapportages, maar hebben ook het risico dat nuance in interpretatie verloren kunnen gaan. Binnen deze workshop bespreken Gonne Beekman en Fedes van Rijn (impact evaluation experts bij Wageningen Economic Research) met de deelnemers welke modaliteiten er zijn binnen het presenteren van evaluatieresultaten, en de interacties met de opdrachtgever, en wat de trade-offs hierbinnen zijn.

Een Theory of Change voor WOTRO

Een Theory of Change opvragen in een onderzoeksvoorstel is al pionieren, maar kan dit ook op programma- of organisatieniveau? WOTRO heeft een Theory of Change laten ontwikkelen om de kans op impact van het gefinancierde onderzoek te vergroten. In deze workshop wordt de Theory of Change toegelicht en uitgediept hoe deze kan bijdragen aan het behalen van meer impact.

Embrace bumpy landings: Learn from skydivers (English)

Before aspiring skydivers are allowed to hit the skies, they spend numerous training sessions learning how to hit the ground safely by simply jumping off ladders. What are the main frictions between clients and evaluators in evaluative research, and how are they solved? We focus on the critical moments of submitting a draft evaluation report for comments and addressing comments to explore how clients react to draft analysis, conclusion, and recommendations under real-life conditions, how this impact the final evaluation report, and how it influences the quality of relationship between clients and evaluators. We believe that a discussion on best practices for providing and responding to comments is important for making the most of the feedback without creating tensions between evaluators and clients. We mine a database of hundred of real comments to 6 draft reports submitted by MDF over 4 different evaluations. We classify the comments by thematic red lines as they emerge from the data, costs of addressing the comments, and responses by the consultant. We present our results to open up a discussion on what these numbers tell us about the relationship between clients and evaluators.

 

Meld je aan voor de bijeenkomst via deze link

Leren van Evalueren is een initiatief van IOB (Directie Internationaal Onderzoek en  Beleidsevaluatie), NWO-WOTRO Science for Development, Wageningen University & Research en Vice Versa.

 

 

 

Een nieuwe generatie zoekt verandering in Guatemala

Door Edwin Koopman | 12 november 2018

Jong, hoog opgeleid, en vol idealen; een nieuwe generatie in Guatemala zet in op een radicale politieke vernieuwing. Álvaro Montenegro is een van de leiders van een brede beweging tegen corruptie en straffeloosheid. ‘Dit is geen sprint maar een marathon.’

Lees artikel

‘Als je doelgroep de minstbedeelden zijn, is de nota van Kaag niet het juiste instrument.’

Door Lennaert Rooijakkers | 09 november 2018

Als lid van de adviesraad van de Fair, Global and Green Alliance was Ruchi Tripathi deze zomer in Den Haag om op het ministerie te discussiëren over de nota van Kaag. Ze is kritisch op de Nederlandse hulp- en handelagenda. ‘Ik zou het gek vinden als ik onder de noemer “hulp” belasting zou betalen voor bedrijfsinitiatieven.’

Lees artikel

Leren van Evalueren 2018: het complete programma

Door Marc Broere | 08 november 2018

Het complete programma van ‘Leren van Evalueren -bewegen tussen belangen’ op 23 november is bekend. De centrale vraag van de bijeenkomst is: welke belangen spelen er bij evaluaties en hoe ga je hiermee om? Hieronder het complete programma en een overzicht van de acht deelsessies. Aanmelden kan via deze link.

Lees artikel