Door:
Jeroen Aerts

20 februari 2012

Categorieën

Tags

De gezamenlijke evaluatie van het Medefinancieringsstelsel (MFS-2) is nu al omstreden, terwijl de eerste meting nog moet beginnen. Met name bij de projectevaluatie worden vraagtekens gezet. Mijn zware tas komt met een doffe plof neer op de blauwe vloer van het kantoor van Huib Huyse in Leuven. Huyse is hoofd van de onderzoeksgroep ontwikkelingssamenwerking aan de Katholieke Universiteit Leuven. De Belgische onderzoeker volgt de evaluatie van het MFS-2 al een tijdje en plaatst kanttekeningen bij de aanpak. In maart 2011 verdedigde hij een proefschrift aan de Universiteit van Sussex over de uitdagingen die ontwikkelingsorganisaties hebben op het vlak van monitoring en evaluatie. Als evaluator is hij actief in zowel Nederland als België. In de tas die ik uit Nederland heb meegenomen zit een map met zeshonderd pagina’s informatie over de evaluatie. De info is geplukt van de website van de Nederlands Organisatie voor Wetenschappelijk Onderzoek (NWO), die de kwaliteit van de evaluatie moet waarborgen. Via de website van NWO konden onderzoeksteams uit de hele wereld informatie krijgen over de evaluatie en een onderzoeksvoorstel indienen. Controlegroepen ‘Ik volg nu al een tijdje het Nederlandse debat rondom de evaluatie van MFS-2’, stelt Huyse. Dit debat gaat terug tot 1 november 2010, toen het ministerie van Buitenlandse Zaken (BuZa) de eisen voor monitoring en evaluatie van MFS-2 bekend maakte aan de organisaties die geld krijgen uit dit stelsel. Het gaat om in totaal 20 allianties van 60 organisaties. Van hen wordt verwacht dat zij de situatie vóór (een zogenaamde 0-meting) en na (een 1-meting) een programma onderzoeken en deze met elkaar vergelijken. Ook moeten organisaties gebruikmaken van controlegroepen, waarbij een groep die geen hulp ontvangt wordt vergeleken met een groep die wel hulp ontvangt. Negentien van de twintig allianties hebben besloten om deze evaluatie gezamenlijk uit te voeren. In het artikel ‘Actal-rapport geeft ngo’s gelijk: Regeldruk MFS-2 is overdreven’ in Vice Versa  van september vorig jaar kwamen de eisen die het ministerie stelde al aan bod. Volgens Bram van Ojik, directeur van de Directie Sociale Ontwikkeling (DSO) van het ministerie, was de invulling van de eisen ‘na intensief overleg tot stand gekomen’. Alexander Kohnstamm van bracheorganisatie Partos had echter een ander verhaal: ‘Toen de evaluatie-eisen al een feit waren, was er inderdaad ruimte voor overleg over de uitvoering, maar van onze protesten voor die tijd trok het ministerie zich niets aan.’ Paar stappen verder Inmiddels zijn we een paar stappen verder. De evaluaties worden verdeeld onder acht onderzoeksteams, één per land. De landen waarin geëvalueerd zal worden zijn Congo, Bangladesh, Ethiopië, India, Indonesië, Liberia, Pakistan en Oeganda. De teams evalueren in totaal zestig ontwikkelingsprojecten in deze landen. Deze zestig projecten vormen samen het eerste van de in totaal vier ‘resultaatgebieden’ die zullen worden geëvalueerd. Naast de projecten worden ook de resultaatgebieden capaciteitsopbouw van partners, versterking van het maatschappelijk middenveld, en internationale lobby en advocacy gemeten. De kritiek van Huyse richt zich op de gehanteerde methode van evalueren van de ontwikkelingsprojecten – niet op die van de overige drie resultaatgebieden. Huyse: ‘De organisaties benadrukken in essentie dat de methode een at random representatieve steekproef doet, en dat je daarmee gegarandeerd uitspraken kunt doen over alle MFS-2 projecten.’ Voor de steekproef zijn alle projecten in de gekozen acht landen onderverdeeld in acht thema’s, zoals goed bestuur, fragiele staten en de verschillende Millenniumdoelen. Om tot een representatief totaalbeeld te komen, zijn de projecten vervolgens willekeurig geselecteerd, waarbij van elke alliantie en elk thema minstens één project in de steekproef werd opgenomen. Masochistisch Kan men op basis van deze aanpak echter wel uitspraken doen over het enorme pakket van MFS-2-projecten? Onderzoeker Huyse stelt daar een aantal vraagtekens bij: ‘De projecten in de steekproef zijn vooraf al bekendgemaakt aan de onderzoeksteams. Organisaties weten dat de toekomstige financiering in een nieuw subsidiestelsel mogelijk afhangt van de uitkomst van de evaluatie. Het zou masochistisch zijn van de betrokken ngo’s en hun partners in het Zuiden om de geselecteerde projecten niet meer aandacht te geven dan niet-geëvalueerde projecten. Dit kunnen ze bijvoorbeeld doen door hun beste mensen op deze projecten te zetten. Hierdoor worden de projecten onderling minder vergelijkbaar.’ Huyse gaat verder: ‘De onderzoekers gaan tijdens de 0-meting in gesprek met wie bij de projecten betrokken is. Als onderzoeker wil je namelijk precies weten wat je meet en praat je hierover met de projectmedewerkers. Uit eigen ervaring weet ik dat deze interactie leereffecten met zich meebrengt, want onderzoekers hebben vaak veel expertise op zak. De medewerkers gaan op een andere manier over het project nadenken en stilstaan bij waar ze mee bezig zijn. Als project zou het onethisch zijn om hier niets mee te doen. Deze projecten worden hierdoor minder vergelijkbaar met de niet-geëvalueerde projecten.’ Dat zou je denken In Nederland ga ik te rade bij Cordaid in Den Haag, waar Rens Rutten als evaluatiemanager werkt. De afgelopen jaren is zij bekend geraakt met deze methodiek door een pilot van Cordaid met zes ontwikkelingsinterventies. Ik leg een van de kanttekeningen van Huib Huyse aan haar voor. Gaat Cordaid extra aandacht besteden aan de projecten die in het kader van MFS-2 geëvalueerd zullen worden? ‘Grappig, dat zou je inderdaad denken’, antwoordt Rutten. ‘Maar in de praktijk doen we dat niet. We kunnen niet eens meer geld aan deze projecten besteden, want dat staat allemaal al vast in contracten met projecten. Daarnaast worden een aantal van de geselecteerde projecten voor de evaluatie misschien volgend jaar afgebouwd, bijvoorbeeld omdat de contracten aflopen met de partner. We zetten dus niet extra in op de geëvalueerde interventies.’ Het hele artikel lezen, met nog meer kritiek van Huyse op de evaluatiemethode en de ervaringen van Rens Rutten met de methodiek?  Kijk in de nieuwe Vice Versa die deze week verschijnt. Neem een abonnement.

Unaniem aanvaard door de internationale gemeenschap: de zeventien Duurzame Ontwikkelingsdoelen (SGD’s). Hét kader voor het werken aan economische, ecologische en sociale vooruitgang wereldwijd voor de komende vijftien jaar. Ook Nederland heeft zich uitgesproken voor de Duurzame Ontwikkelingsdoelen. Reden om in het online debat ‘Ready for Change’ het huidige kabinetsbeleid eens kritisch tegen het licht te houden. Hoe draagt Nederland met haar beleid bij aan het behalen van de doelen? En belangrijker nog: welke veranderingen zijn nodig om het beleid ‘SDG-proof’ te maken? In de maand september stond de website van Vice Versa, hét platform over mondiale samenwerking, volop stil bij het belang van een coherente implementatieagenda van de ontwikkelingsdoelen.

Blog: Gezondheidszorg voor iedereen of alleen de happy few?

Door Remco van der Veen | 12 december 2018

Vandaag is het Universal Health Coverage Day. Ministers van Financiën zien gezondheidszorg helaas vaak slechts als een uitgavenpost en geven prioriteit aan productieve investeringen in landbouw en infrastructuur. Dat moet anders, schrijft Remco van der Veen, director International Offices bij Cordaid.

Lees artikel

‘De oudere generatie heeft kennis, de jongere generatie heeft de energie en de toekomst.’

Door Lys-Anne Sirks | 11 december 2018

In haar beleidsnota ‘Investeren in perspectief’ zet minister Kaag sterk in op jongeren, maar wat vinden die zelf eigenlijk van de nota en de rol die hen daarin wordt opgelegd? Volgens Francis Arinaitwe, een jonge ondernemer uit Kenia,  is het vooral cruciaal om ‘jongeren zeggenschap te geven over hun eigen toekomst’.  

Lees artikel

Bossen: onze krachtigste high-tech klimaatoplossing

Door Han de Groot | 03 december 2018

Als we over klimaat oplossingen praten, gaat het gesprek bijna altijd over de vermindering van fossiele brandstoffen. Maar volgens Han de Groot, CEO van de Rainforest Alliance, is dat maar een deel van de oplossing en zou het veel meer over bossen moeten gaan: de meest krachtige en efficiënte CO2 opnemende technologie die het wereld ooit heeft gezien.

Lees artikel