Schermafbeelding 2014-04-30 om 10.40.24

Maandag belichtte Vice Versa enkele interessante bevindingen uit het rapport van de IOB over de Nederlandse inspanningen om de private sector in ontwikkelingslanden te stimuleren. Vandaag zoomt Vice Versa in op een paar belangrijke kritiekpunten van de IOB en de reactie die minister Ploumen daarop gaf in een brief die ze naar de Tweede Kamer stuurde.

Wat is er nu precies onderzocht in het rapport?De IOB heeft niet zelf evaluatiestudies uitgevoerd, maar heeft een zogeheten ‘syntheseonderzoek’ uitgevoerd naar de resultaten en het effect van het private sector beleid. De beleidsdoorlichting vat samen wat bekend is over de maatschappelijke effecten van het beleid op basis van de uitkomsten van bestaand effectenonderzoek. Er was echter één probleem: het ministerie (c.q. de uitvoerders) heeft weliswaar veel programma’s laten evalueren of reviewen, maar deze onderzoeken bieden vaak weinig informatie over de uiteindelijke effecten. De meeste studies blijven steken bij beoordeling van de uitvoeringsprocessen en de output van de programma’s, zonder valide effectmeting op outcome– en impactniveau. Het IOB moest daarom het bestaande onderzoek uitbreiden met literatuuronderzoek.

Schermafbeelding 2014-04-30 om 10.46.42

Goede ideeën, maar onduidelijke resultaten

Het is precies dat gebrek aan effectmetingen waar de voornaamste kritiek van IOB zich op richt. Want het IOB is best tevreden over de richting van het beleid: private sector ontwikkeling ís nodig, zo blijkt uit de internationale literatuur. En de instanties die het Nederlandse beleid hebben uitgevoerd hebben ook goed hun best gedaan om nauwgezet hun resultaten te rapporteren: zaken als hoeveel bedrijven gebruik hebben gemaakt van middelen om investeringen te doen in ontwikkelingslanden, infrastructurele projecten die zijn gerealiseerd en cursussen die zijn gegeven aan lokale ondernemers. Maar de mate waarin de geboekte resultaten bij hebben gedragen aan ontwikkelingsdoelstellingen, zoals het verminderen van armoede en het realiseren van duurzame economische groei, daarover krijgt het IOB domweg weinig duidelijkheid.

Zo stelt het rapport:‘Evaluaties rapporteren veelal over het bereik of de uitvoering door de directe begunstigden, maar slechts zelden over de effecten voor de uiteindelijke doelgroepen, [nadruk door redactie] waaronder ook specifieke gevolgen voor vrouwen of voor het milieu. Slechts weinig evaluaties richten zich op de uiteindelijke doelstellingen in termen van inkomensverbetering,armoedevermindering en economische groei. […] Wanneer een dergelijk onderzoek wel plaatsvindt, blijken effecten vaak beperkter dan vooraf ingeschat.’

Deze conclusie geld voor alle doorgelichte programma’s. Zowel op het gebied van infrastructuur (onder andere ORET, dat later ORIO is geworden, en FMO-Infrastructure Development Fund), financiële dienstverlening (FMO-MASSIF, FMO-CapacityDevelopment), het overdragen van kennis en kunde (PSI/PSOM) en ook het Initiatief Duurzame Handel (IDH) en Solidaridad komen er in hun programma’s voor geïntegreerde markten niet zonder kleerscheuren vanaf. De evaluaties zijn in de regel sterk proces- en outputgericht; zij zeggen weinig of niets over de uiteindelijk bereikte effecten als inkomensverbetering en armoedevermindering. Waar zij dat toch doen is dat niet gebaseerd op systematisch onderzoek. Verschillende evaluaties gebruiken vooral percepties van deelnemers om effecten vast te stellen. Dit geldt bijvoorbeeld voor Agriterra en CBI (Centrum tot Bevordering van de Import uit ontwikkelingslanden).

1-0

Eén-nul voor ngo’s, zou je kunnen zeggen, als het op evaluatie aankomt. In het algemeen loopt de kwaliteit van PSO(Private Sectorontwikkeling)-evaluaties achter bij die in de sociale sectoren zoals bijvoorbeeld voor onderwijs, gezondheid en water en sanitatie, concludeert het IOB. De ontwikkelingsimpact van PSO-programma’s zou weliswaar lastig te meten zijn en de programma’s en fondsen financieren misschien een beperkt deel van de projecten, maar dit geldt ook voor de sociale sectoren. Dat is geen excuus, lijkt het IOB te willen zeggen. ‘De belangrijkste reden voor het beperkte aantal impact evaluaties op het terrein van PSO lijkt vooral te zijn dat uitvoeringsorganisaties (en het ministerie) zich traditioneel op de financiering en directe outputs hebben gericht en veel minder op de ontwikkelingsimpact’, luidt het oordeel.

Toch is dit geen exclusief Nederlands probleem. Internationaal zijn er de laatste tien jaar veel van dergelijke programma’s opgestart, die in veel gevallen niet afdoende geëvalueerd worden. De oorzaken voor de gebrekkige evaluaties zijn divers en onderling samenhangend. Zo noemt de IOB de beperkte focus op armoedebestrijding van de uitvoerende instanties en te optimistische inschatting van trickle down effecten (het ‘naar beneden sijpelen’ van de welvaart die bedrijven creëren). Ook financieren de verschillende programma’s projecten die onderling sterk verschillen, en daarom moeilijk met elkaar te vergelijken zijn. Projecten hebben vaak meerdere (al dan niet internationale) financiers, waardoor het niet gemakkelijk is om de impact van één Nederlandse financier op het betreffende project vast te stellen.

Ontwikkelingsdoelstellingen te weinig centraal

‘Waar de Nederlandse PSO-portefeuille op papier relevant was, zijn in de praktijk de mogelijkheden niet altijd optimaal benut,’ zo stelt de IOB. Het is een korte zin die veel van de kritiek van de inspectie dekt. De regels waaraan de instanties die het PSO-beleid uitvoerden moesten voldoen hadden meer aandacht voor de ‘harde’ financiële randvoorwaarden, dan voor de meer ‘zachte’ ontwikkelingsdoelstellingen. Dit gebrek aan aandacht voor ontwikkeling komt volgens de IOB ook tot uitdrukking in de relatief grote stroom van middelen naar landen met midden- en hoge inkomens. 60 procent van het totale aantal PSO middelen werd in de middeninkomenslanden besteed.

Een flink deel van de uitgaven (subsidies) voor grote programma’s als ORET (8 procent) en PSOM/PSI (17 procent) ging naar hogere middeninkomenslanden zoals Suriname, de Maldiven, Colombia, Jamaica en Bosnië- Herzegovina. Meer dan 35 procent van de FMO-CD middelen is naar hogere middeninkomenslanden gegaan zoals Argentinië, Uruguay, Mexico en Rusland. Bedrijven en instituties in deze landen zijn veelal beter in staat om zelf de kosten van advies te dragen dan vergelijkbare organisaties in de armste landen.

 

 

Helemaal opvallend vindt het IOB dat programma’s die leningen verstrekken met name in de armste landen actief waren. Men kan zich dan ook afvragen of andere instrumenten, zoals concessionele leningen, niet geschikter zouden zijn om deze (hogere))middeninkomenslanden te ondersteunen. Omgekeerd geldt dat het programma met de grootste focus op de armste landen – bijvoorbeeld het Infrastructure Development Fund van FMO (FMO-IFD) – juist werkt met leningen en aandelen. De inspectie stelt de vraag of dat niet beter andersom kan zijn: leningen naar de rijkere landen die daar de draagkracht voor hebben, en giften naar de armere landen.

Schermafbeelding 2014-04-30 om 10.49.48‘Uit verschillende evaluaties blijkt dat programma’s (onder meer FMO-MASSIF, FMO-IDF, PSOM/PSI en PIDG) een gebrekkige armoedefocus hadden dan wel te weinig aandacht besteedden aan de ontwikkelingsrelevantie’, aldus IOB. Financieringsinstellingen zoals FMO ‘stappen vooral in projecten die op hun weg komen en maken veel minder een afweging op basis van een vergelijking van de ontwikkelingsimpact van alternatieven’, aldus IOB.

Daarnaast onderstreept de IOB dat het aantal bedrijven dat daadwerkelijk profiteert van de ingezette instrumenten klein is. Zo ging de helft van de middelen van ORET (Ontwikkelingsrelevante Exporttransacties), een grootschalig programma ter bevordering van export, tussen  2007 en 2012 naar acht bedrijven. Waar hetzelfde ORET-programma weliswaar bij 16 van de 22 projecten minimaal 90 procent van de verwachte verbetering van de infrastructuur en versterking van de capaciteit realiseerden, leverden slechts 9 het beoogde aantal banen op in de ontvangende landen. Niet meer dan 22 van de 75 onderzochte ORET-projecten in China droegen bij aan een verbetering van de levensstandaard van de arme bevolking.

Weinig toegevoegde waarde

Uit verschillende evaluaties blijkt dat uitvoerende organisaties te weinig onderzoeken in hoeverre de ingezette middelen ook daadwerkelijk een belemmering wegnemen. Evaluaties van onder meer ORET, het MOL Fonds, FMO- MASSIF, CBI, PSOM/PSI en PUM geven voorbeelden van projecten die niet additioneel waren. Vrijwel nergens werd het attributievraagstuk grondig geëvalueerd.

Zo concludeert de IOB evaluatie van het MOL fonds (FMO-IDF) dat een krappe meerderheid van de geïnvesteerde middelen additioneel was met een hoge impact (51 procent); voor het overige waren de uitgaven niet additioneel(37 procent) of was de ontwikkelingsimpact beperkt (12 procent). Als een programma niet additioneel is, dan is het ook niet effectief, vindt IOB: het gaat dan immers om een activiteit die zonder de programmabijdrage toch wel ondernomen zou worden. Bovendien ontstaat het gevaar van marktverstoring, vooral bij grote bedrijven die steun krijgen onder ORET en PSI/PSOM. Dit punt krijgt geen aandacht in de bestaande evaluaties.

Additionaliteit was ook ver te zoeken bij FMO-MASSIF. De evaluatie concludeert dat FMO met dit fonds moeilijk rechtstreeks kleinere, gespecialiseerde en minder ontwikkelde instellingen voor microfinanciering kan bereiken. Een groot deel van de middelen (43 procent) gaat naar grotere en bekende financieringsinstellingen. ‘FMO zou zich met MASSIF meer moeten richten op de onderkant van de financiële markt en veel minder op het topsegment, dat uitstekend in staat is om commerciële partijen aan te trekken’, zegt IOB.

Het IOB richt nog meer pijlen op FMO. Bij het FMO-CapacityDevelopment (FMO-CD) programma gaven slechts 23 van de 75 respondenten aan dat ze het project niet zouden hebben gestart zonder de financiële ondersteuning van FMO; 40 respondenten zouden de activiteiten ten dele hebben uitgevoerd. ‘Dit betekent dat in een groot aantal gevallen de CD-subsidie overbodig was, en dus niet effectief’, is de harde conclusie van IOB.

Ook bij het subsidieprogramma PSI zijn er vraagtekens te zetten bij de additionaliteit. Het IOB is in de basis positief over de met subsidie van PSOM/PSI ondersteunde ondernemingen. Bedrijven groeien, creëren werkgelegenheid en leveren vervolginvesteringen op. Uit de evaluatie blijkt ook dat zij voor veel toeleveranciers (veelal boeren) werk opleveren, al is dat in de praktijk minder dan uit de ondernemingsplannen blijkt. Hetzelfde geldt voor de overdracht van technologie.

Als het echter gaat om additionaliteit als voorwaarde voor effectiviteit, dan is een op de drie projecten effectief en een op de acht niet. Bijna de helft van de projecten zit daar tussenin. Probleem bij PSOM/PSI projecten is dat de ontwikkelingsrelevantie niet altijd helder is. Volgens de evaluatie voeren bedrijfseconomische overwegingen de boventoon. Ook blijkt dat minder dan 30 procent van de middelen naar de minst ontwikkelde landen is gegaan.

Een ander probleem dat verschillende evaluaties noemen is het ontbreken van duidelijke resultaatindicatoren bij de formulering van het programma. Ontwikkelingsdoelstellingen worden ex ante niet helder geformuleerd, met als gevolg dat daarop niet wordt gestuurd (monitoring) en er achteraf onvoldoende informatie voor evaluatie is (dit is het geval bij FMO-A, FMO-MASSIF en FMO-CD). Daarbij zijn programma’s alleen effectief als ze voldoende vraaggestuurd zijn. Volgens de evaluatie van MASSIF heeft FMO het instrument te veel gericht op grotere en bekende financieringsinstellingen en niet op kleinere, gespecialiseerde en minder ontwikkelde instellingen voor microfinanciering.

Gebonden hulp

De dubbele doelstelling die enkele programma’s (waaronder ORET en PSOM/PSI) nastreven, is de IOB een doorn in het oog. Zij hebben mede tot doel om het Nederlandse bedrijfsleven meer bij ontwikkelingssamenwerking te betrekken, deels door binding van de hulp.

Een ORET programma in China liet zien dat de prijs van de helft van de Nederlandse goederen boven het internationale niveau lag – een risico dus van gebonden hulp. Het IOB wijst erop dat binding van hulp in het algemeen op negatieve effecten voor het ontvangende land resulteert, waaronder (15-30 procent) hogere prijzen. Daar komt bij dat binding de inschakeling van lokale aanbieders beperkt. ‘Het is verre van evident dat de mogelijkheden voor Nederlandse bedrijven het grootst zijn in de armste landen. De Nederlandse export naar en investeringen in deze landen zijn beperkt en omgekeerd is Nederland veelal ook geen belangrijke handelspartner (met uitzondering van de import van grondstoffen vanuit enkele landen), aldus het IOB.

Zoals maandag werd besproken, is de fragmentatie en gebrekkige onderlinge afstemming eveneens een struikelblok bij private sector ontwikkeling.

Rol ministerie

Het ministerie kan méér doen aan de aangewezen problemen. De beperkte ontwikkelingsrelevantie is volgens IOB mede te wijten aan het feit dat de afspraken tussen het ministerie en de uitvoerende organisaties niet voldoende zijn ingericht op ontwikkelingsrelevantie. Hoewel de verschillende regelingen deze doelstellingen beogen, vinden zij nauwelijks een uitwerking in de voorwaarden voor financiering. De voorwaarden gaan vooral in op de landenlijsten, de sectoren die voor financiering in aanmerking komen, additionaliteitseisen en (andere) financiële voorwaarden. Uitvoeringsorganisaties gaan voor de te verwachten effecten ook veelal af op gegevens die de aanvrager heeft verstrekt.

Daarnaast is de coördinerende rol van het ministerie en ambassades  beperkt, terwijl de uitvoerende organisaties zelf ook nauwelijks actief de samenwerking opzoeken voor problemen die ze niet zelf kunnen adresseren. De gefragmenteerde inzet van instrumenten bevordert een benadering die niet uitgaat van het probleem, maar van de oplossing die het instrument te bieden heeft.Het draagt bij aan aanbodsturing, waarbij de centrale organisaties een zo groot mogelijk aantal (landen/partners) willen bedienen, wat weer leidt tot een verdere fragmentatie. Prikkels voor samenwerking ontbreken, wat ten koste kan gaan van de effectiviteit.

Deze beleidsdoorlichting noemt het voorbeeld van een elektriciteitsnetwerk dat nauwelijks wordt gebruik doordat er onvoldoende stroom werd gegenereerd. Een van de case studies voor deze beleidsdoorlichting laat omgekeerd voor Ethiopië zien hoe een (decentrale) gecoördineerde aanpak vruchten af kan werpen. Daar trok een actieve ambassade tal van middelen aan om vooral de landbouwsector (tuinbouw, zaden) te versterken. De ambassade droeg daarmee bij aan de versterking van de tuinbouwsector.

IOB wijst verder op de geringe, gespecialiseerde
stafcapaciteit op het ministerie. Het beperkte aantal medewerkers, de wisselende
deskundigheid en reguliere overplaatsingen werken een weinig intensieve
begeleiding in de hand, aldus IOB.

Het ministerie, als opdrachtgever, zou als het aan IOB ligt een beter uitgewerkt toetsingskader moeten opstellen, met scherpe criteria en randvoorwaarden. Uitvoeringsinstanties zouden moeten afgerekend worden op resultaten in plaats van op activiteiten.

Reactie minister Ploumen

Minister Ploumen van Buitenlandse Handel en Ontwikkelingssamenwerking reageerde in een brief die ze naar de Tweede Kamer stuurde van een ‘gedegen uitgevoerde studie’ en geeft aan dat ze de bevindingen van de IOB waar nodig mee zal nemen in haar beleid. Zoals ook in het rapport wordt vermeld zijn er sinds 2012 verbeteringen in het programma doorgevoerd. Zo is er een nieuw evaluatieprotocol gekomen en zijn de uitvoerders verplicht aan te geven hoe hun interventies bijdragen aan de diverse ontwikkelingsdoelstellingen. Verder is er inmiddels een monitorings- en evaluatiekader opgesteld, waarin afspraken met de uitvoerders over results-based management zijn vastgelegd.Het is voor zowel minister Ploumen als de IOB nog moeilijk te zeggen of de nieuwe, aangescherpte regels effect hebben, aangezien ze nog maar relatief kort geleden zijn ingevoerd.

De minister erkent dat de regels waar nodig moeten worden bijgescherpt om de additionaliteit van de interventies te waarborgen. Hierbij verwijst ze ook naar het Dutch GoodGrowth Fund (DGGF), het door de Nederlandse overheid geïnitieerde fonds om export en investeringen in ontwikkelingslanden te financieren. Dit fonds treedt vanaf dit jaar in werking en de minister onderstreept dat ondernemers pas bij het DGGF kunnen aankloppen als andere financiers hen niet van dienst kunnen of willen zijn.

De minister komt in haar brief met het voorstel om aan meer samenhang te werken. Begin 2014 heeft zij bij de Rijksdienst voor Ondernemend Nederland (RVO.nl) één loket geopend. Dit loket ondersteunt Nederlandse ondernemers om kansen in het buitenland te identificeren en de weg naar ondersteunende programma’s en partijen te vinden.

Op landenniveau wil ze werken aan gemeenschappelijke programmering. Met een plan van aanpak op nationaal niveau, waarin ambassades, donoren, ngo’s, bedrijven en andere betrokkenen samenwerken om knelpunten in het ondernemersklimaat te analyseren en aan te pakken, hoopt de minister dit gebrek aan coherentie aan te pakken. Dit zou volgens haar bij uitstek de armste landen die tot dusver nog het minst profiteren van het POS-beleid ten goede komen.

Ook zegt de minister toe te investeren in expertise opbouw en waar nodig expertise van buitenaf aan te trekken.

De dubbele doelstelling van programma’s die armoedevermindering koppelen aan kansen voor het Nederlandse bedrijfsleven ziet Ploumen echter niet als een probleem, maar zij gaat verder niet in op de bezwaren tegen gebonden hulp.

Opinie: ‘Brief minister Kaag over maatschappelijk middenveld: analytisch zwak en weinig ambitieus’

Door Fons van der Velden | 09 juli 2019

Het is een groot goed dat de Nederlandse overheid zoveel fondsen ter beschikking stelt voor de versterking van maatschappelijke organisaties en maatschappelijk middenveld, schrijft Fons van der Velden in deze opiniebijdrage naar aanleiding van de kamerbrief van minister Kaag. Maar hij vindt de brief analytisch zwak en van weinig ambitie getuigen. Wat had beter gekund?

Lees artikel

Tip 3 aan Kaag: ‘Lever in op je privilege en geef zuidelijke organisaties meer inspraak bij het bepalen van prioriteiten’

Door Lizan Nijkrake | 08 juli 2019

Minister Kaag werkt hard aan een nieuw subsidiekader voor het maatschappelijk middenveld. Ze wil meer eigenaarschap geven aan zuidelijke ngo’s om hen meer legitimiteit te geven, en ziet daarbij een andere rol voor Nederlandse organisaties. Vice Versa vroeg vier zuidelijke organisaties hoe zij dit zien. Wat is hun gouden tip voor onze minister? Met vandaag Carla López Cabrera, directeur van Fondo Centroamericano de Mujeres (FCAM) in Nicaragua, een feministisch fonds dat lokale vrouwenrechtenbewegingen in Centraal Amerika steunt.

Lees artikel

Shifting fundamental power issues in funding relationships

Door Evelijne Bruning Ruerd Ruben en Lau Schulpen | 02 juli 2019

This article claims that the current aid architecture favours clientilism, dependency and short-term projects. The authors Evelijne Bruning (The Hunger Project) Ruerd Ruben (Wageningen University & Research) and Lau Schulpen (Radboud University Nijmegen) are suggesting four possible ways to overcome this in order to shift power closer to the ground.

Lees artikel