Door:
Marusja Aangeenbrug

1 december 2014

Tags


admin-ajax


Uitgebreid onderzoek doen naar de impact van je organisatie? Voor de meeste particuliere initiatieven komt het daar niet van. Te duur, te tijdrovend. Harambee Holland deed het wel. Resultaat: verrassende inzichten en concrete verbeterpunten. En voor impactevaluaties hoeven PI’s heus niet altijd hun spaarpot om te keren.

Natuurlijk hebben ze de impactevaluatie laten uitvoeren om er zelf wijzer van te worden. Maar Roel en Marianne Meijers van het particuliere initiatief Harambee Holland hopen oprecht dat ook andere PI’s iets hebben aan het onderzoek The Impact of Harambee Foundation Holland Partnerships in Western Kenya. Al is het maar dat het rapport aantoont dat je als PI meer verschil kunt maken dan je soms denkt.

De kleinschalige ontwikkelingsorganisatie Stichting Harambee Holland richt zich op het verbeteren van de kwaliteit van onderwijs in West-Kenia. Dat kan betekenen het renoveren of bouwen van klaslokalen, toiletten en schoolbanken, maar ook het mogelijk maken van workshops en trainingen voor leerkrachten, schoolhoofden en oudercomités. Ook betrekt de stichting de gemeenschap heel doelbewust bij de projecten: ouders betalen bijvoorbeeld een eigen bijdrage en helpen mee met de bouw van nieuwe scholen.

Over scholen bouwen wordt soms schamper gedaan, weet Roel Meijers. Maar, en dat mag best eens gezegd worden, vindt hij. ‘Uit het rapport blijkt dat de impact veel groter is. Het doet nog meer met mensen dan ik had verwacht.’

In 2001 is de stichting van start gegaan. Inmiddels heeft ze op 35 scholen projecten uitgevoerd. Harambee Holland stond in 2011 op nummer 21 in de top-50 van goede doelen van dagblad Trouw in 2012 op nummer 10. Afgelopen jaar ontving de stichting het CBF-certificaat.

Keniaanse onderzoeker

Roel en Marianne Meijers steken enorm veel tijd in Harambee. Ze komen al jaren in Kenia – Roel werkte er zelfs korte tijd na zijn studie in de jaren zeventig – en wonen er een aantal maanden per jaar. ‘De stichting is best groot geworden in de loop van de jaren’, zegt Roel. ‘Dan is het goed om te weten wat je werk uithaalt. Dat wilden wij ook laten zien aan donoren, juist omdat er steeds meer geld mee gemoeid is.’

Het stel vroeg Auma Okwany, assistent-professor aan het International Institute of Social Studies in Den Haag, om het onderzoek uit te voeren. ‘We hadden haar al een keer ontmoet tijdens een Keniadag, en later nog een keer in Kenia. Ze is zelf Keniaans, komt uit de regio waar wij werken en begrijpt de context dus goed’, verklaart Marianne hun keuze. ‘Wij wilden het echt door iemand met kennis van zaken laten doen.’ De kosten voor het onderzoek hebben ze deels uit eigen zak betaald. Een ander deel konden ze dekken dankzij een subsidie van de gemeente Breda en van Impulsis, het loket voor particuliere initiatieven van ICCO, Kerk in Actie en Edukans.

‘Met Impulsis werken wij al jaren samen’, zegt Marianne hierover. ‘We hebben daar in professioneel opzicht veel van geleerd, onder andere door de workshops en cursussen die we gevolgd hebben. Maar ook op financieel gebied steunen ze ons. Zij zagen net als wij het belang van een impactevaluatie in, daarom waren ze bereid om daar geld voor uit te trekken.’

Ideaalplaatje

Uit diverse publicaties van de onderzoekers Lau Schulpen en Sara Kinsbergen van de Radboud Universiteit komt naar voren dat PI’s en hun lokale partners vaak nauwelijks evaluaties laten uitvoeren. Vaak heeft dit te maken met geld, het kost nu eenmaal wel wat om een evaluatie uit te laten voeren. Maar er zijn meer redenen. Vaak komt het er simpelweg ook niet van: PI’s zijn vooral gericht op het uitvoerende werk.

‘Ook de relatie met de lokale partner speelt vaak een rol’, weet Heleen Reedijk, coördinator van de afdeling Projecten bij Wilde Ganzen. Deze organisatie werkt eveneens af en toe samen met Harambee Holland en heeft inmiddels vier projecten van de stichting ondersteund. ‘Een project ontstaat vaak op basis van vriendschap. Dan kondig je niet zo makkelijk aan dat je een kritische evaluatie gaat uitvoeren.’

Een PI dat zo’n uitgebreide evaluatie laat uitvoeren is ‘een ideaalplaatje’, verzucht Reedijk. ‘Het is heel uitzonderlijk, vaak volgt er pas grondig onderzoek als er iets ernstigs aan de hand is, bijvoorbeeld wanneer een partner fraude gepleegd blijkt te hebben. Monitoring en evaluatie vormen echt een ondergeschoven kindje bij PI’s. Daardoor zie je dat mensen vaak in dezelfde valkuilen stappen.’

Uiteraard moeten PI’s zich wel verantwoorden naar donoren toe, dus er komt hoe dan ook een moment waarop ze reflecteren over hoe het nu gaat. PI’s die financiering aanvragen bij Wilde Ganzen, worden in de eerste plaats van tevoren doorgelicht. Op basis daarvan bepaalt Wilde Ganzen of ze subsidie toekennen. Ernst Eisma, medewerker Projecten bij Wilde Ganzen: ‘We kijken altijd hoe de projecten van die organisatie in het verleden zijn verlopen en hoe het nu gaat. Wij vragen van ze om de context te schetsen en stellen dan ook kritische vragen, zoals: heb jij dit probleem als blanke geconstateerd of kwam de vraag uit de gemeenschap zelf? Hoe zie je de duurzaamheid van het project? Is je lokale partner wel geschikt? Op die manier dwing je ze om naar de toekomst te kijken: waar wil je naartoe en wat is er nodig om dat te bereiken?’ Ook na afloop van een subsidieperiode leggen PI’s rekenschap af. Elke donor heeft hiervoor zijn eigen richtlijnen; bij Wilde Ganzen dienen PI’s een eindrapportage in.

Maar dat is allemaal wat anders dan een impactevaluatie. Sara Kinsbergen, die begin dit jaar aan de Radboud Universiteit promoveerde op particuliere initiatieven, constateert in haar proefschrift Behind the Pictures dat rapportages meestal beperkt blijven tot de output van projecten. De PI’s ‘beschrijven de concrete beoogde resultaten, wat er bereikt is en wie daarvan heeft geprofiteerd. Als gevolg daarvan ontvangt de donor alleen beperkte feedback. Die bestaat uit een beschrijving hoe het project is uitgevoerd, geïllustreerd met een aantal foto’s.’ Het gebrek aan uitgebreide evaluaties hindert volgens Kinsbergen de leerprocessen van PI’s.

Het risico is vervolgens dat PI’s ‘er zelf van overtuigd zijn dat alles goed gaat en dat er geen reden is om veranderingen aan te brengen in hun eigen procedures en die van hun partner of in hun manier van samenwerking. Het gevaar is dat ze van het ene project naar het andere gaan zonder dat er structurele veranderingen in de aanpak plaatsvinden.’ Op termijn brengt dit de duurzaamheid van projecten in gevaar, stelt Kinsbergen.

Dat PI’s onvoldoende de impact van hun werk evalueren, komt vooral ‘doordat veel projecten worden medegefinancierd door fondsen’, zegt Maarten Kuijpers van PI Wijzer, dat onder andere PI’s ondersteunt met advies, evaluaties en trainingen. ‘Die fondsen zien graag dat het project binnen een jaar is afgerond. Het budget beperkt zich daarom ook tot een jaar.’ Daarna is het budget op en kan er dus geen geld meer gestoken worden in het meten van impact.

Voor de rapportage worden vervolgens ‘alleen de output en de outcomes gemeten’, aldus Kuijpers. ‘Hoeveel kinderen hebben bijvoorbeeld geprofiteerd van het geld dat je erin gestoken hebt?’ Hoe dan ook steken PI’s niet zo snel geld in het meten van impact omdat ze weten dat hun donateurs graag concrete resultaten zien: ‘Donateurs geven liever geld voor activiteiten dan voor overheadkosten zoals een evaluatieonderzoek.’ En dus blijft het onderzoek achterwege.

Dat is zonde, want het voegt echt iets toe. ‘Het is een reflectie op wat je aan het doen bent’, zegt hij. Er is alleen wel een probleem: ‘Het is veel diffuser. Je vindt namelijk niet altijd iets, omdat je simpelweg niet altijd de precieze oorzaken van een verandering kunt aantonen. Niet alleen jouw project heeft mogelijk voor verandering gezorgd, er spelen vaak nog allerlei andere factoren mee. Het is dus mogelijk dat je veel geld in een evaluatie steekt en vervolgens ontdekt dat je niet kunt aantonen dat je verschil gemaakt hebt. Wat niet wil niet zeggen dát je geen verschil gemaakt hebt, maar je kunt het dan gewoon niet aantonen.’

Onverwachte spin-off

Die pech heeft Harambee Holland in elk geval niet gehad. Het rapport laat zien dat de projecten wel degelijk impact hebben. De belangrijkste conclusie vinden Roel en Marianne Meijers dat de impact van hun projecten veel verder blijkt te gaan dan ze hadden verwacht. ‘Door de discussie over het nut van ontwikkelingssamenwerking kregen we soms het gevoel dat de waarde van dingen die we deden, vergeten werd’, zegt Roel. ‘Maar nieuwe schoolgebouwen blijken meer te betekenen dan cement en bakstenen. Soms zit die impact in heel simpele dingen: doordat kinderen bijvoorbeeld op stoelen zitten, worden hun kleren minder stoffig en hoeven hun moeders die minder vaak te wassen. Zo houden deze vrouwen meer tijd over voor andere dingen. Maar ook op andere vlakken is de vooruitgang zichtbaar: de kwaliteit van de trainingen is vooruitgegaan, de betrokkenheid van de ouders en de samenwerking met de overheid zijn gegroeid. Bovendien worden meisjes en kinderen met een handicap beter betrokken. Bouwprojecten blijken een enorme spin-off te hebben: ouders werken mee en voelen zich trots. Kinderen en ouders groeien in hun gevoel van eigenwaarde, leraren gaan met meer plezier naar hun werk.’

Die trots en eigenwaarde vormen niet zomaar een bijkomstigheid: het gevolg is namelijk dat de mensen die betrokken zijn bij het onderwijs – docenten, ouders, kinderen – steeds mondiger worden. ‘Ook richting de overheid’, volgens Marianne. ‘En niet alleen als het gaat over onderwijs, maar ook over andere thema’s. Dat soort dingen zijn niet te meten in cijfers en grafieken.’

Roel en Marianne Meijers voelen zich hier vooral trots over: ze blijken steeds minder nodig te zijn. Een sprekend voorbeeld vindt Marianne het tienjarig jubileum van de stichting. ‘De scholen hebben toen zelf een feest georganiseerd voor een paar honderd mensen. Het mooiste daarvan was dat er allerlei scholen voor het eerst met elkaar in contact kwamen: technische scholen, kleuterscholen, basisscholen. En die gingen vanaf dat moment ineens samenwerken. Ze gaan nu af en toe bij elkaar op bezoek, bespreken elkaars problemen en bedenken met elkaar oplossingen. Dat is helemaal buiten ons om gegaan en daar zijn we heel trots op.’

Een belangrijke vraag voor Harambee is momenteel dan ook: hoe maken we onszelf nog meer overbodig? Onlangs hield het bestuur een heidag over de toekomst van de stichting. Roel: ‘We zijn tot de conclusie gekomen dat we de betrokkenheid van de gemeenschap nog meer willen vergroten. Want hoe meer mensen zich betrokken voelen, hoe meer ze zelf zullen oppakken.’

Zakelijker relaties

In het rapport staan een aantal aanbevelingen voor verbetering die direct met het onderwijs te maken hebben. Er zou bijvoorbeeld gerichte aandacht voor het kleuteronderwijs moeten komen. Bovendien is het van belang dat er meer oog komt voor specifieke problemen waar meisjes tegenaan lopen, zoals tienerzwangerschappen.

Een heel ander advies is om een nieuwe organisatie op te zetten die als lokale partner functioneert. Op dit moment fungeren drie personen als lokale partners voor Harambee Holland. Een te kwetsbare constructie, luidt de conclusie in het rapport: er hoeft maar iemand weg te vallen en projecten lopen vast. Een lokale organisatie is beter voor de duurzaamheid van projecten.

Precies dit advies had Wilde Ganzen ook al gegeven voordat de evaluatie werd uitgevoerd. Heleen Reedijk: ‘Wij trekken vaak al vroeg aan de bel over de relatie met de lokale partner. Die relatie ontstaat vaak op vriendschappelijke basis. Maar op een gegeven moment kan er irritatie ontstaan. Vaak komen PI’s er vrij laat achter dat ze het al veel eerder veel zakelijker hadden moeten aanpakken.’ Ook bij Harambee was er de laatste tijd wrijving met een van de partners. De Meijers hadden dit bewust niet verteld tegen Auma Okwany, de auteur van het rapport, om haar niet te beïnvloeden bij het onderzoek. Maar de conclusie onderstreept voor hen wel dat een meer zakelijke aanpak noodzakelijk is.

Een andere belangrijke aanbeveling – en die heeft hen de meeste hoofdbrekens gekost – is om de data beter bij te houden. De stichting is weliswaar open en transparant in nieuwsbrieven en jaarverslagen, maar dat is niet voldoende, want op die manier blijft de kennis vooral in de hoofden van mensen zitten, concludeert het rapport. Voor het verbeteren van processen en het beleid op de lange termijn is het van belang dat Harambee de projecten systematisch evalueert en monitort.

Auma Okwany, heeft aangeboden om studenten van de universiteit in Nairobi te vragen een datasysteem op te zetten. ‘Dat is een heel fijne handreiking’, vindt Marianne. ‘Anders hadden we niet geweten hoe we dit hadden moeten oplossen.’

Voorbeeld

Eisma van Wilde Ganzen was onder de indruk van het rapport. ‘Het was voor mij in de eerste plaats leerzaam: ik heb veel opgestoken over Harambee en hun manier van werken. Ik vond het wel heel positief opgeschreven allemaal, de kritische noot komt pas aan het einde. Maar in principe omvat het rapport alles: de kwaliteit van het onderwijs, de duurzaamheid van projecten, het ownership, de relatie met de lokale overheid.’ Wilde Ganzen zal dit rapport dan ook gebruiken als voorbeeld voor andere PI’s, zegt hij: ‘Het toont aan hoe belangrijk het is om de impact te meten.’

Niet elk PI zal zo’n professionele evaluatie kunnen laten uitvoeren. ‘Maar de hoge kosten en de  hoeveelheid tijd die je erin steekt, hoeven geen reden te zijn om niets te doen’, zegt Kuijpers van PI Wijzer. ‘Je hoeft niet meteen een dure consultant in te schakelen. Heel veel kun je zelf doen. Gebruik in elk geval de contacten die je al hebt en bevraag die uitgebreid. Zoek, als je dat nog niet doet, een manier om de data van je organisatie vast te leggen. Op die manier krijg je een idee of je goed op weg bent.’

Het gevaar is wel dat je zelf blind bent voor mankementen doordat je zo nauw bij het werk betrokken bent, erkent hij. Maar dat kun je ondervangen: ‘Je zou bijvoorbeeld een onderzoekscoach kunnen inhuren die je begeleidt.’

Voor PI’s die niet alles zelf willen doen, maar die ook geen consultant kunnen inhuren, kunnen zowel Wilde Ganzen als PI Wijzer uitkomst bieden. Reedijk: ‘Medewerkers van Wilde Ganzen gaan regelmatig op projectreis. Zij kunnen best tijdens zo’n reis op bezoek gaan bij projecten die steun van ons ontvangen om daar te kijken hoe het gaat.’

PI Wijzer gaat binnenkort voor een aantal PI’s tegelijk op reis naar Ghana om daar evaluaties uit te voeren. Kuijpers: ‘Als je evaluaties combineert, kun je de reis- en de onderzoekskosten lager houden. Wij onderzoeken momenteel of we dit vaker op deze manier kunnen doen, bijvoorbeeld met een pool van onderzoekers. Wellicht zijn er ook fondsen die dan willen bijdragen aan zo’n onderzoek. Met schaalvergroting en samenwerking kom je veel verder dan in je eentje.’

[naschrift] Kijk voor meer informatie over Stichting Harambee Holland op www.harambeeholland.nl

Dit artikel verscheen in september in Vice Versa 4. Direct toegang tot alle artikelen? Neem dan snel een abonnement!

 

Groot geld gevraagd voor klimaatadaptatie

Door Joris Tielens | 17 september 2019

Klimaatadaptatie is nodig en dat vergt véle miljarden, maar commerciële geldschieters vinden het vaak te riskant. Een nieuw Nederlands klimaatfonds zal 160 miljoen euro overheidsgeld gebruiken om toch privaat geld aan te trekken. Hoe gaat het DFCDwerken? Een interview met FMO.

Lees artikel

Een klimaatlijst voor Kaag

Door Joris Tielens | 13 september 2019

Stoppen met subsidies en exportkredieten voor fossiele brandstoffen, het beprijzen van CO2 en het tegengaan van belastingontduiking door de fossiele industrie. Het zijn een aantal zaken waarvoor minister Kaag internationaal moet pleiten tijdens de klimaattop in New York op 23 september, volgens de Adviesraad Internationale Vraagstukken (AIV).

Lees artikel

De vergeten klimaattafel

Door Joris Tielens | 04 september 2019

Het klimaatakkoord is veelbesproken, maar de helft van de ‘Nederlandse’ CO2-uitstoot blijft onderbelicht: die in het buitenland. Valt klimaatverandering te beperken door geen subsidies meer te geven aan de fossiele industrie, door meer klimaatdiplomatie? Heleen de Coninck en Marcel Beukeboom kijken voorbij de grenzen.

Lees artikel