Economisme in de wetenschap: Waarom het debat over het CPB-rapport zo belangrijk is

Nette en beschaafde academici die als kemphanen over elkaar heen rollebollen, elkaar publiekelijk afkatten en de maat nemen? Het even aardige als ontaarde straatgevecht dat onderwijssociologen en economen de afgelopen dagen op Twitter, dit blog, en in de kranten voerden over het opzienbarende CPB-rapport Kansrijk Onderwijsbeleid doet voor de meeste buitenstaanders wellicht aan als een vreemde en marginale rituele dans van academici. Toch wordt er een uitzonderlijk belangrijk debat gevoerd, waarvan de uitkomst ons allemaal aan gaat. De discussie is een manifestatie van een regelrechte methodologische richtingenstrijd van methodologisch economisme versus pluralisme. Op het spel staat niets minder dan de wijze waarop beleid wordt gemaakt. Beleidsmakers, journalisten en burgers doen er daarom goed aan te begrijpen wat hier speelt.

De controverse begon eergisteren met met een genuanceerd kritisch commentaar op het CPB-rapport, door sociologen Van de Werfhorst en Bol. Daarin onderkenden ze terecht de grote waarde van het rapport en de econometrische methoden voor de studie van het onderwijs, en prezen ze uitvoerig de kwaliteit van de opgevoerde studies.

Maar ze gaven ook wat kritiek. Belangrijkste punten: er staan vooral economische studies in het rapport, en soms wordt wel erg gemakkelijk omgesprongen met de contextafhankelijkheid van experimentele studies.

Prikkelbare economen

Economen lieten zich niet verleiden tot een inhoudelijk antwoord en reageerden merkbaar geprikkeld op de kritiek. Reacties varieerden van epistemologische jij-bakken tot ostentatief schouderophalen. Men vond de kritiek “lekker makkelijk” en bleek “niet onder de indruk”. De studies zouden geselecteerd zijn op “kwaliteit”, en daarmee basta. Daarna volgde een openlijke woordenwisseling op Twitter, die bij menig toevallige passant de wenkbrauwen deed fronsen.

Waarom maakt men zich eigenlijk zo druk? Wie dat wil begrijpen, moet de context kennen. Of meer specifiek: weet hebben van drie recente ontwikkelingen die de sociale wetenschappen aardig hebben opgeschud. Ten eerste moet beleid steeds meer gebaseerd zijn op harde onderzoeksbevindingen. Ten tweede heeft de micro-economie een belangrijke methodologische ontwikkeling meegemaakt: economen zijn steeds meer gaan vertrouwen op quasi-experimentele onderzoeksdesigns uit de econometrie. Ten derde: de economische wetenschappen hebben zich de afgelopen decennia steeds meer buiten hun klassieke onderzoeksdomein begeven, en zijn nu ook actief in onderzoeksgebieden die vroeger werden voorbehouden aan andere disciplines. Er zijn nu gezondheidseconomen, ouderdomseconomen, vruchtbaarheidseconomen, en misdaadeconomen. En onderwijseconomen.

Sociologen, onderwijskundigen, en onderwijseconomen bestuderen tegenwoordig dus allemaal ongeveer dezelfde dingen. Maar op een iets andere wijze. Sociale wetenschappers proberen met statistiek chocola te maken van de sociale werkelijkheid. Ze bestuderen geobserveerde regelmatigheden en proberen die te verklaren, door te onderzoeken hoe bepaalde kenmerken (bijvoorbeeld sociale status en onderwijsprestaties) met elkaar samenhangen.

Geen gouden standaard

Economen durven een stapje verder. In hun onvolprezen handleiding Mostly Harmless Econometrics beargumenteren Angrist en Pischke dat het onder bepaalde omstandigheden toegestaan is om geobserveerde samenhangen ‘causaal’ te interpreteren. De gegevens moeten dan geschikt zijn om zo nauwkeurig mogelijk een klassiek experiment te benaderen. Een mooi voorbeeld van zo’n techniek is de zogenaamde regression discontinuity: een beleidswijziging treft sommige mensen nét wel, maar anderen nét niet. Onderzoekers kunnen die willekeurigheid slim gebruiken om vast te stellen wat het effect van beleidsmaatregelen is (zie ook: hier).

Onder economen zijn deze methoden helemaal en vogue. Sterker: zonder een ‘causaal’ design is het bijna onmogelijk geworden om in gezaghebbende economische journals te publiceren. Economen zijn zelfs zo erg overtuigd van het nut van de quasi-experimentele aanpak, dat ze zonder pardon stellen dat andere, niet-experimentele methoden “niet overtuigend” zijn. Die zelfverzekerdheid maakt hen erg aantrekkelijk voor evidence based beleidsmakers, die immers behoefte hebben aan dergelijke schijnbaar zekere uitspraken.

Maar de vraag is of die zelfverzekerdheid terecht is. Beoefenaars van andere sociale wetenschappen vinden doorgaans van niet. Enerzijds is de econometrische kritiek op statistische methoden niet onterecht, en vormen quasi-experimenten een mooie uitbreiding van het sociaalwetenschappelijke gereedschapskistje. Anderzijds: door quasi-experimentele methoden tot gouden standaard te verabsoluteren, overdrijven economen hun voordelen.

Fundamentele kritiek op de hang naar causale modellen

Quasi-experimenten hebben zo hun eigen problemen, beperkingen en uitdagingen. De kritiek van Van de Werfhorst en Bol op het CPB-rapport is terecht, en eigenlijk nog mals. Er is een aantal verdere kanttekeningen te plaatsen bij de hang naar ‘causale’ modellen. Ik noem de belangrijkste:

1. Een veld dat alleen maar ‘causale’ onderzoeksmethoden toestaat, laat belangrijke vragen onbeantwoord. Quasi-experimentele methoden stellen heel specifieke eisen aan onderzoeksgegevens: er moet ergens iets van willekeurigheid te vinden zijn. Die gegevens zijn er niet altijd. Voor economen houdt het dan op: Angrist en Pischke stellen dat onderzoekers vragen die niet met quasi-experimenten te beantwoorden zijn, dan maar niet moet stellen. Maar soms moet een onderzoeker er toch iets van weten; hij of zij doet dan iets minder veeleisende analyses. Die analyses zijn dan minder “causaal”, maar – onder bepaalde redelijke aannames – nog steeds erg informatief. Zolang die beperkingen bekend zijn, is daar eigenlijk niets mis mee.
2. De vragen die wél door (onderwijs-)economen beantwoord worden, zijn steeds minder interessant. Een pervers effect van voorkeur voor ‘causale’ designs is dat hele stammen onderzoekers nu vooral op zoek zijn naar gegevens die hen toestaan ‘causale’ uitspraken te doen. Economen zoeken vaak eerst naar slimme data over een natuurlijk experiment, en zoeken daar vervolgens een passende onderzoeksvraag bij. Een beetje zoals de man uit de parabel die zijn sleutels in een donkere steeg is verloren, maar naarstig naar die sleutels zoekt onder een straatlantaarn omdat daar zo’n handig licht brandt. De vragen die we met quasi-experimenten kunnen beantwoorden, zijn niet per se de meest relevante, theoretisch interessante of maatschappelijk urgente vragen. Bovendien…
3. De ‘causale’ methoden hebben zelf ook een prijs. Externe validiteit is geen marginaal probleem. Prikkelend gesteld: hoe ‘harder’ het design, des te kleiner de groep mensen over wie het gaat. Econometristen noemen dat met een orwelliaanse inspanning “lokale effecten”: een effect is ‘causaal’, maar alleen vast te stellen voor een bepaalde groep mensen. Dit cruciale voorbehoud wordt meestal in conclusieparagrafen van studies wel gemaakt, maar hoogst zelden in de abstracts of persberichten die door journalisten en beleidsmakers gelezen worden. Zo ontstaat gemakkelijk de indruk dat de ‘harde’ designs ons iets leren over alle mensen, of the world at large. Dat is niet zo.
4. Het vaststellen van causale effecten tot hoogste of enige doel van de wetenschappen verheffen is ook een beetje armoedig. Vaststellen dat iets werkt is immers pas het begin. Uitpluizen hoe dat komt is het tweede. Sociale wetenschappers komen meestal uit een wetenschapsfilosofische traditie die het onderzoeken van theoretische verklaringen van geobserveerde regelmatigheden belangrijker vindt dan het sec vaststellen van causale relaties. Het beantwoorden van verklaringsvragen kent zo zijn eigen uitdagingen. Maar ze zijn meestal ook prima te beantwoorden zonder strikt causale designs.

Toontje lager

Dat zijn vrij forse kanttekeningen. Wat erger is, is dat de quasi-experimentele methoden hun kentheoretische pretentie niet waarmaken. David Hume bewees meer dan twee eeuwen geleden (!) al dat we causale relaties helemaal niet kunnen bewijzen. Niet op basis van statistiek, niet op basis van quasi-experimenten, en zelfs niet op basis van gerandomiseerde experimenten. We kunnen er met slim opgezet onderzoek dichtbij komen, maar een causale relatie is en blijft een theoretische interpretatie van een geobserveerde regelmatigheid. De ene methode komt iets dichter bij dan de andere, maar suggereren dat er een methodiek is die causale relaties kan bewijzen, is de boel belazeren.

Het criterium dat economen gebruiken voor het afbakenen van goed onderzoek is dus gebrekkig, het is overdreven beperkend, en het holt de bruikbaarheid van bevindingen op een nodeloze wijze uit. Dit lijkt academische haarkloverij van de voornamelijk onschuldige soort, maar het tegendeel is waar. De onderdirecteur van een van ’s lands belangrijkste adviesorganen beweerde gisterochtend in een van ’s lands grootste kranten dat de onderzoeken uit andere vakgebieden een te lage kwaliteit hebben om door de economen van het CPB serieus genomen te worden. Daarmee is het dure en onvolkomen methodologische demarcatiecriterium van de economische wetenschappen verheven tot landelijke standaard van het soort bewijs dat zijn weg vindt naar beleidsmakers, politici en journalisten. Dat is even onterecht als erg. Het leidt tot een onverstandige verschraling van beleidsadvisering en van een verarming van de kwaliteit van het maatschappelijk debat.

Dit soort tunnelvisie toestaan bij een gezaghebbend adviesorgaan als het CPB is gevaarlijk, en het is zeer terecht dat de Amsterdamse collegae hier publiekelijk tegen waarschuwen. De beperkingen van de gekozen methodiek zou ook de economen onder ons moeten nopen tot een zekere epistemologische bescheidenheid. Het is óók terecht dat de Volkskrant gisteren zelf kanttekeningen plaatste bij de kritiekloze wijze waarop ze de gevolgtrekkingen uit het CPB-rapport overnam. Het zou verstandig zijn als economen met eenzelfde openheid de hand in eigen boezem zouden steken, en een toontje lager zouden zingen.

Afbeelding: Mountain goats door Becks (license).