Op donderdag 20 juni vond in Den Haag het Kennis & Beleid congres plaats over ‘vormgeving van bewezen effectieve beleidsinterventies’. Onderzoeksinstituut IVO was één van de partners van het congres. Al tijdens de eerste korte openingspresentaties prikten verschillende sprekers de illusie door dat je met gerandomiseerd en gecontroleerd onderzoek met zekerheid vast kan stellen of beleid wel of niet werkt. Beleid is geen medicijn dat je geïsoleerd kan onderzoeken, maar speelt zich af in de maatschappij, waar van alles gebeurt. Het doel van beleidsonderzoek moet zijn om te begrijpen hoe beleid werkt, zodat het verbeterd kan worden.

Context is belangrijk bij de evaluatie van beleid, maar dat wil niet zeggen dat alles uniek is en dat je geen gebruik kan maken van bewijs dat elders is opgedaan. “Ga eerst naar de bibliotheek en schud niet zomaar een interventie uit je mouw,” was het advies van Prof. Godfried Engbersen van de Erasmus Universiteit Rotterdam en voorzitter van de Erkenningscommissie maatschappelijke ondersteuning, participatie en veiligheid. Ook Prof. Hans Brug van het RIVM geeft aan dat je niet “alleen maar een hip bureau moet inhuren” voor het maken van een interventie, maar dat je databanken voor erkende interventies moet raadplegen. Het best denkbare bewijs is niet altijd beschikbaar, maar ga wel op zoek naar het best beschikbare bewijs. “Je moet roeien met de riemen die je hebt,” zei Dr. Lydia Sterrenberg van Platform31.

Aan de slag

Hoe ga je nu concreet aan de slag met beleidsevaluatie? Als je alleen geïnteresseerd bent in effecten, dan is het zinvol om een voor- en nameting te doen en ook een controlegroep mee te nemen (quasi-experimenteel onderzoek). Dr. Gera Nagelhout van het IVO vertelde over drie andere onderzoeksmogelijkheden om te weten “wat werkt, voor wie, waarom en hoe”. Dit zijn: (1) Realist evaluation, (2) Participatief actieonderzoek, en (3) de Plan-Do-Check-Act cyclus. Ze betoogde dat het bij beleidsevaluatie belangrijk is om randvoorwaarden en mechanismen die effecten veroorzaken in kaart te brengen, te kijken naar subgroepverschillen, rekening te houden met de context en al doende te leren en te verbeteren. Kwalitatief onderzoek in aanvulling op kwantitatief onderzoek is daarbij cruciaal.

Onafhankelijkheid en toegankelijkheid

Tot slot werd ook de kant van de beleidsmaker belicht. Als je als beleidsmaker serieus onderzoek wil naar de effectiviteit van beleidsinterventies, moet je ook accepteren dat onderzoek niet altijd positieve effecten laat zien. Deze acceptatie is niet altijd vanzelfsprekend, omdat er vaak ook politieke motieven zijn. Verder zijn onafhankelijkheid en toegankelijkheid van onderzoek een uitdaging voor beleidsmakers. Mark Roscam Abbing van het ministerie van Sociale Zaken en Werkgelegenheid nam het integratiebeleid als voorbeeld en betoogde dat dit zo’n politiek en emotioneel beladen onderwerp is dat je het juist op bewijs uit onderzoek moet baseren. Hij concludeerde: “Er is geen beleidsgebied zo politiek dat je geen bewezen effectief beleid kan maken.”