Leren van Evalueren 2019: Bewegen tussen belangen

Datum/Tijd
Date(s) - 01/02/2019
10:00 - 17:00

Locatie
NWO-WOTRO

Kaart niet beschikbaar

Categorieën


DEZE BIJEENKOMST IS VANWEGE PRAKTISCHE ZAKEN UITGESTELD NAAR 1 FEB 2019. VOOR MEER INFORMATIE OF VRAGEN STUUR EEN MAIL NAAR info@viceversaonline.nl

 

Leren van Evalueren 2018: Bewegen tussen belangen

Welke belangen spelen er bij evaluaties en hoe laveer je daar als opdrachtgever en uitvoerder tussen? Deze vraag staat centraal tijdens de derde editie van ‘Leren van Evalueren’, op vrijdag 23 november in Den Haag. De bijeenkomst is een initiatief van IOB (Directie Internationaal Onderzoek en  Beleidsevaluatie), NWO-WOTRO Science for Development, Wageningen University & Research en Vice Versa.

‘Kunnen jullie laten zien dat onze interventie tóch impact gehad heeft?’ Of: ‘Hoe kunnen we de resultaten van deze evaluatie framen zodat er een mooie krantenkop van te maken is?’ Iedere evaluator kent deze vragen wel uit zijn of haar werkpraktijk. De subtiele druk om je eindbevindingen soms nét even iets anders op te schrijven of te formuleren, zonder overigens de waarheid of de juistheid van je onderzoek geweld aan te doen, kan soms groot zijn. Druk van je baas, druk van de opdrachtgever die vaak veel geld neertelt voor een evaluatie, of misschien wel druk die je jezelf oplegt omdat je toch ook wilt dat het onderzoek en de conclusies iets losmaken.

Binnen iedere evaluatie spelen diverse belangen. Zowel bij de opdrachtgever als bij de opdrachtnemer. De resultaten van onderzoek kunnen mede bepalend zijn voor de toekomst van het betreffende beleidsterrein of de reputatie van organisaties. Voor de opdrachtnemer geldt dat een tevreden klant belangrijk is in het vergaren van vervolgopdrachten. Dit kan op gespannen voet staan met het principe van evalueren.

Op vrijdag 23 november gaan we hier verder met elkaar over in gesprek tijdens ‘Leren van Evalueren 2018 – Bewegen tussen belangen.’ We vragen iedereen zijn of haar eigen dilemma’s mee te nemen naar de bijeenkomst om hier in een vertrouwde setting met elkaar over verder te praten.

Met welke belangen heb jij als opdrachtgever of opdrachtnemer binnen evaluaties te maken? Hoe ga je hier mee om? In hoeverre ga je als onderzoeker mee in belangen van de opdrachtgever? Deel je tussentijdse bevindingen? Hoe ga je als leidinggevende met deze dilemma’s om? Wat rapporteer je wel en niet? En hoe ga je als opdrachtgever van evaluaties met deze dilemma’s om? Hoe rapporteer je als opdrachtgever bevindingen van evaluaties, en welke afwegingen maak je in deze keuzes?

 

Programma

 

10.00               Binnenkomst: registratie en koffie

10.30               Opening door dagvoorzitter Ruerd Ruben

10.35-10.55     Inleiding door Robert Lensink, hoogleraar Finance & Financial Markets aan de Rijksuniversiteit Groningen. In deze keynote geeft Lensink zijn visie op de hoofdvragen van de dag en doet hij een voorzet voor de paneldiscussie. Met welke dilemma’s in (wetenschappelijke) evaluaties heeft hij zelf te maken gehad en hoe ging hij hiermee om?

10.55- 11.25     Discussie met Brigitte Campfens (manager Supply Chain Sustainability van KPMG), Jan-Joost Kessler (senior-consultant Aidenvironment), Fedes van Rijn (senior-onderzoeker impactevaluaties WUR) en Arjan Schuthof (Clustercoördinator en senior-onderzoeker IOB) over de hoofdvragen van de dag. Met welke belangen heb je te maken binnen evaluaties en hoe ga je daarmee om?

11.20-11.50       Verbreding van de discussie naar de zaal.

11.50                Koffie en thee

12.00               Deelsessies (4)

13.15                Lunch

14.15                Deelsessies (4)

15.30               Inspirerende afronding

16.o0               Netwerkborrel

 

Overzicht Deelsesssies

 

Nul effect gevonden – en dan?

IOB heeft flink geïnvesteerd in impactstudies van vijf projecten, tbv de beleidsdoorlichting voedselzekerheid. Vier van de vijf evaluaties vonden niet de effecten die we – project staf in overleg met IOB evaluatoren  – redelijkerwijs hadden verwacht. Wat doe je dan? Welke conclusies kun je wel en niet trekken? Een sessie onder voorzitterschap van Bart de Steenhuijsen Piters (KIT).

Wat is de basis voor een goede evaluatie?

Vaak wordt aan het einde van een onderzoeksproject of -programma een evaluator gezocht, maar vanaf het begin moet al worden gestuurd op het goed in kaart kunnen brengen van de (mogelijke) impact van wetenschappelijk onderzoek. In deze workshop doorlopen we het onderzoeksproces: hoe richten we een MEL-proces in, wat moet er in de call staan, welke aanpak en activiteiten vragen we van onderzoekers, hoe verwoorden we dat in een goede ToR, hoeveel ruimte voor gezamenlijk leren is er op basis van inzichten van evaluatoren? En wat zijn onze aannames over wat werkt en niet? In deze workshop woorden voorbeelden gebruikt uit onderzoek dat door NWO-WOTRO is gefinancierd.

Deze workshop wordt mede gefaciliteerd door Jan-Joost Kessler (AidEnvironment) en richt zich op deelnemers die (ook) te maken hebben met het evalueren van wetenschappelijk onderzoek.

Een framework om mee te evalueren

Impact is hot. Maar hoe definieer je impact? Hoe realiseer je impact en hoe toon je het aan? Welke rol spelen evaluaties daarbij en hoe kun je ervan leren? ZonMw heeft recent, op basis van haar visie op impact, een Impact Assessment Framework ontwikkeld. Maar hoe kan zo een framework (organisatiebreed) effectief worden ingezet? Hoe is het eigenlijk tot stand gekomen? En hoe kunnen we ons aanleren om er werkelijk van te leren? In deze workshop worden visies en aanpakken gedeeld: zowel van ZonMw als workshopdeelnemers.

Impact van Certificering

Een deelsessie geleid door Verina Ingram (WUR) en Henk Gilhuis (Rainforest Alliance) over de impact van certificering. Een actueel onderwerp waarover de afgelopen weken veel in de media stond.  Interessant zowel vanuit het oogpunt van de hoofdvragen van de dag, maar ook vanuit hoe de boodschap uiteindelijk in de media komt. WUR en Rainforest Alliance blikken samen terug hoe de diverse belangen in het onderzoek naar impact van certificering in de cacaosector een rol hebben gespeeld bij de opzet, uitvoer, en uiteindelijk in de communicatie van de onderzoeksresultaten naar buiten toe. Een belangrijke vraag daarbij is: er zijn veel nieuwe ontwikkelingen in duurzaamheidscertificering. Evaluaties lopen achter in die zin, want nieuwe ontwikkelingen worden in terugblikkende evaluaties niet meegenomen. Hoe kunnen evaluatoren ervoor zorgen dat evaluaties niet achterlopen met ontwikkelingen in de realiteit? In andere woorden: Hoe kunnen evaluaties de belangen van Rainforest Alliance het beste dienen?

Hulp voor handel volgens de regels

IOB onderzocht of de technische assistentie voor handelspolitiek en handelsregels de verwachte resultaten opleverde. De studie was positief over steun aan handelspolitiek, handelsfacilitatie en publieke standaarden, maar negatief over samenwerking (van donoren onderling en met overheden) en steun voor private standaarden. De Tweede Kamer stelde vragen over milieu- en armoede-effecten die de evaluatie niet had onderzocht en de beleidsreactie benadrukte vooral de positieve uitkomsten. De studie wordt in deze deelsessie gepresenteerd door Jan Bade en Martine de Groot (beiden IOB) en vervolgens wordt de vraag gesteld of IOB meer aandacht voor negatieve conclusies van evaluaties moet genereren. En zo ja, hoe?

Hoe presenteer je evaluatieresultaten? Mogelijkheden en trade-offs

Hoe presenteer je resultaten van evaluaties? En hoe vaak? Hoe maak je data toegankelijk voor belanghebbenden? Wat zijn de trade-offs hierin? Het kan interessant zijn evaluatieresultaten heel snel online te presenteren voor een breed publiek, maar dan zijn resultaten nog niet definitief. Wachten met presenteren van evaluatieresultaten tot het einde van een langlopende studie kan ertoe leiden dat de realiteit inmiddels veranderd is, en de resultaten bij publicatie ervan al achterhaald zijn. Flitsende publicaties, online dashboards en het gebruik van sprekende visuals zijn aantrekkelijker dan droge rapportages, maar hebben ook het risico dat nuance in interpretatie verloren kunnen gaan. Binnen deze workshop bespreken Gonne Beekman en Fedes van Rijn (impact evaluation experts bij Wageningen Economic Research) met de deelnemers welke modaliteiten er zijn binnen het presenteren van evaluatieresultaten, en de interacties met de opdrachtgever, en wat de trade-offs hierbinnen zijn.

Een Theory of Change inzetten voor je evaluatie

Een Theory of Change opvragen in een onderzoeksvoorstel is al pionieren, maar kan deze ook worden ontwikkeld op programma- of organisatieniveau? In deze workshop worden voorbeelden gegeven van de wijze waarop Theories of Change zijn ontwikkeld en ingezet op verschillende niveaus. Naast een voorbeeld uit een project en een programma wordt ingegaan op organisatieniveau. Zo heeft NWO-WOTRO Science for Global Development een Theory of Change laten ontwikkelen om daarmee het instrumentarium te bezien en de mogelijke impact van het gefinancierde onderzoek te vergroten. Gezamenlijk beschouwen we hoe deze Theories of Change kunnen worden ingezet om bij te dragen aan het leerproces vanuit de evaluatie zo bij te dragen aan de effectiviteit van onderzoek.

Deze workshop richt zich op deelnemers die (ook) te maken hebben met het evalueren van wetenschappelijk onderzoek.

Embrace bumpy landings: Learn from skydivers (English)

Before aspiring skydivers are allowed to hit the skies, they spend numerous training sessions learning how to hit the ground safely by simply jumping off ladders. What are the main frictions between clients and evaluators in evaluative research, and how are they solved? We focus on the critical moments of submitting a draft evaluation report for comments and addressing comments to explore how clients react to draft analysis, conclusion, and recommendations under real-life conditions, how this impact the final evaluation report, and how it influences the quality of relationship between clients and evaluators. We believe that a discussion on best practices for providing and responding to comments is important for making the most of the feedback without creating tensions between evaluators and clients. We mine a database of hundred of real comments to 6 draft reports submitted by MDF over 4 different evaluations. We classify the comments by thematic red lines as they emerge from the data, costs of addressing the comments, and responses by the consultant. We present our results to open up a discussion on what these numbers tell us about the relationship between clients and evaluators.

 

Datum: 23 november 2018

Tijdstip: 10.00-17.00 (inclusief lunch en borrel)

Locatie:  NWO-WOTRO, Gebouw Java, Laan van Nieuw Oost-Indië 300, Den Haag

Kosten: 40 euro (ex 6% btw). Totaal 42.40 euro.

Dagvoorzitter:  Prof.  Ruerd Ruben

Meld je aan via het onderstaande formulier of bestel direct via deze LINK 

Bookings

Er kunnen geen reserveringen meer worden geplaatst voor dit evenement.