Economisme in de wetenschap: Waarom het debat over het CPB-rapport zo belangrijk is

3 Comments

Nette en beschaafde academici die als kemphanen over elkaar heen rollebollen, elkaar publiekelijk afkatten en de maat nemen? Het even aardige als ontaarde straatgevecht dat onderwijssociologen en economen de afgelopen dagen op Twitter, dit blog, en in de kranten voerden over het opzienbarende CPB-rapport Kansrijk Onderwijsbeleid doet voor de meeste buitenstaanders wellicht aan als een vreemde en marginale rituele dans van academici. Toch wordt er een uitzonderlijk belangrijk debat gevoerd, waarvan de uitkomst ons allemaal aan gaat. De discussie is een manifestatie van een regelrechte methodologische richtingenstrijd van methodologisch economisme versus pluralisme. Op het spel staat niets minder dan de wijze waarop beleid wordt gemaakt. Beleidsmakers, journalisten en burgers doen er daarom goed aan te begrijpen wat hier speelt.

De controverse begon eergisteren met met een genuanceerd kritisch commentaar op het CPB-rapport, door sociologen Van de Werfhorst en Bol. Daarin onderkenden ze terecht de grote waarde van het rapport en de econometrische methoden voor de studie van het onderwijs, en prezen ze uitvoerig de kwaliteit van de opgevoerde studies.

Maar ze gaven ook wat kritiek. Belangrijkste punten: er staan vooral economische studies in het rapport, en soms wordt wel erg gemakkelijk omgesprongen met de contextafhankelijkheid van experimentele studies.

 

Prikkelbare economen

Economen lieten zich niet verleiden tot een inhoudelijk antwoord en reageerden merkbaar geprikkeld op de kritiek. Reacties varieerden van epistemologische jij-bakken tot ostentatief schouderophalen. Men vond de kritiek “lekker makkelijk” en bleek “niet onder de indruk”. De studies zouden geselecteerd zijn op “kwaliteit”, en daarmee basta. Daarna volgde een openlijke woordenwisseling op Twitter, die bij menig toevallige passant de wenkbrauwen deed fronsen.

Waarom maakt men zich eigenlijk zo druk? Wie dat wil begrijpen, moet de context kennen. Of meer specifiek: weet hebben van drie recente ontwikkelingen die de sociale wetenschappen aardig hebben opgeschud. Ten eerste moet beleid steeds meer gebaseerd zijn op harde onderzoeksbevindingen. Ten tweede heeft de micro-economie een belangrijke methodologische ontwikkeling meegemaakt: economen zijn steeds meer gaan vertrouwen op quasi-experimentele onderzoeksdesigns uit de econometrie. Ten derde: de economische wetenschappen hebben zich de afgelopen decennia steeds meer buiten hun klassieke onderzoeksdomein begeven, en zijn nu ook actief in onderzoeksgebieden die vroeger werden voorbehouden aan andere disciplines. Er zijn nu gezondheidseconomen, ouderdomseconomen, vruchtbaarheidseconomen, en misdaadeconomen. En onderwijseconomen.

Sociologen, onderwijskundigen, en onderwijseconomen bestuderen tegenwoordig dus allemaal ongeveer dezelfde dingen. Maar op een iets andere wijze. Sociale wetenschappers proberen met statistiek chocola te maken van de sociale werkelijkheid. Ze bestuderen geobserveerde regelmatigheden en proberen die te verklaren, door te onderzoeken hoe bepaalde kenmerken (bijvoorbeeld sociale status en onderwijsprestaties) met elkaar samenhangen.

 

Geen gouden standaard

Economen durven een stapje verder. In hun onvolprezen handleiding Mostly Harmless Econometrics beargumenteren Angrist en Pischke dat het onder bepaalde omstandigheden toegestaan is om geobserveerde samenhangen ‘causaal’ te interpreteren. De gegevens moeten dan geschikt zijn om zo nauwkeurig mogelijk een klassiek experiment te benaderen. Een mooi voorbeeld van zo’n techniek is de zogenaamde regression discontinuity: een beleidswijziging treft sommige mensen nét wel, maar anderen nét niet. Onderzoekers kunnen die willekeurigheid slim gebruiken om vast te stellen wat het effect van beleidsmaatregelen is (zie ook: hier).

Onder economen zijn deze methoden helemaal en vogue. Sterker: zonder een ‘causaal’ design is het bijna onmogelijk geworden om in gezaghebbende economische journals te publiceren. Economen zijn zelfs zo erg overtuigd van het nut van de quasi-experimentele aanpak, dat ze zonder pardon stellen dat andere, niet-experimentele methoden “niet overtuigend” zijn. Die zelfverzekerdheid maakt hen erg aantrekkelijk voor evidence based beleidsmakers, die immers behoefte hebben aan dergelijke schijnbaar zekere uitspraken.

Maar de vraag is of die zelfverzekerdheid terecht is. Beoefenaars van andere sociale wetenschappen vinden doorgaans van niet. Enerzijds is de econometrische kritiek op statistische methoden niet onterecht, en vormen quasi-experimenten een mooie uitbreiding van het sociaalwetenschappelijke gereedschapskistje. Anderzijds: door quasi-experimentele methoden tot gouden standaard te verabsoluteren, overdrijven economen hun voordelen.

 

Fundamentele kritiek op de hang naar causale modellen

Quasi-experimenten hebben zo hun eigen problemen, beperkingen en uitdagingen. De kritiek van Van de Werfhorst en Bol op het CPB-rapport is terecht, en eigenlijk nog mals. Er is een aantal verdere kanttekeningen te plaatsen bij de hang naar ‘causale’ modellen. Ik noem de belangrijkste:

  1. Een veld dat alleen maar ‘causale’ onderzoeksmethoden toestaat, laat belangrijke vragen onbeantwoord. Quasi-experimentele methoden stellen heel specifieke eisen aan onderzoeksgegevens: er moet ergens iets van willekeurigheid te vinden zijn. Die gegevens zijn er niet altijd. Voor economen houdt het dan op: Angrist en Pischke stellen dat onderzoekers vragen die niet met quasi-experimenten te beantwoorden zijn, dan maar niet moet stellen. Maar soms moet een onderzoeker er toch iets van weten; hij of zij doet dan iets minder veeleisende analyses. Die analyses zijn dan minder “causaal”, maar – onder bepaalde redelijke aannames – nog steeds erg informatief. Zolang die beperkingen bekend zijn, is daar eigenlijk niets mis mee.
  2. De vragen die wél door (onderwijs-)economen beantwoord worden, zijn steeds minder interessant. Een pervers effect van voorkeur voor ‘causale’ designs is dat hele stammen onderzoekers nu vooral op zoek zijn naar gegevens die hen toestaan ‘causale’ uitspraken te doen. Economen zoeken vaak eerst naar slimme data over een natuurlijk experiment, en zoeken daar vervolgens een passende onderzoeksvraag bij. Een beetje zoals de man uit de parabel die zijn sleutels in een donkere steeg is verloren, maar naarstig naar die sleutels zoekt onder een straatlantaarn omdat daar zo’n handig licht brandt. De vragen die we met quasi-experimenten kunnen beantwoorden, zijn niet per se de meest relevante, theoretisch interessante of maatschappelijk urgente vragen. Bovendien…
  3. De ‘causale’ methoden hebben zelf ook een prijs. Externe validiteit is geen marginaal probleem. Prikkelend gesteld: hoe ‘harder’ het design, des te kleiner de groep mensen over wie het gaat. Econometristen noemen dat met een orwelliaanse inspanning “lokale effecten”: een effect is ‘causaal’, maar alleen vast te stellen voor een bepaalde groep mensen. Dit cruciale voorbehoud wordt meestal in conclusieparagrafen van studies wel gemaakt, maar hoogst zelden in de abstracts of persberichten die door journalisten en beleidsmakers gelezen worden. Zo ontstaat gemakkelijk de indruk dat de ‘harde’ designs ons iets leren over alle mensen, of the world at large. Dat is niet zo.
  4. Het vaststellen van causale effecten tot hoogste of enige doel van de wetenschappen verheffen is ook een beetje armoedig. Vaststellen dat iets werkt is immers pas het begin. Uitpluizen hoe dat komt is het tweede. Sociale wetenschappers komen meestal uit een wetenschapsfilosofische traditie die het onderzoeken van theoretische verklaringen van geobserveerde regelmatigheden belangrijker vindt dan het sec vaststellen van causale relaties. Het beantwoorden van verklaringsvragen kent zo zijn eigen uitdagingen. Maar ze zijn meestal ook prima te beantwoorden zonder strikt causale designs.

 

Toontje lager

Dat zijn vrij forse kanttekeningen. Wat erger is, is dat de quasi-experimentele methoden hun kentheoretische pretentie niet waarmaken. David Hume bewees meer dan twee eeuwen geleden (!) al dat we causale relaties helemaal niet kunnen bewijzen. Niet op basis van statistiek, niet op basis van quasi-experimenten, en zelfs niet op basis van gerandomiseerde experimenten. We kunnen er met slim opgezet onderzoek dichtbij komen, maar een causale relatie is en blijft een theoretische interpretatie van een geobserveerde regelmatigheid. De ene methode komt iets dichter bij dan de andere, maar suggereren dat er een methodiek is die causale relaties kan bewijzen, is de boel belazeren.

Het criterium dat economen gebruiken voor het afbakenen van goed onderzoek is dus gebrekkig, het is overdreven beperkend, en het holt de bruikbaarheid van bevindingen op een nodeloze wijze uit. Dit lijkt academische haarkloverij van de voornamelijk onschuldige soort, maar het tegendeel is waar. De onderdirecteur van een van ’s lands belangrijkste adviesorganen beweerde gisterochtend in een van ’s lands grootste kranten dat de onderzoeken uit andere vakgebieden een te lage kwaliteit hebben om door de economen van het CPB serieus genomen te worden. Daarmee is het dure en onvolkomen methodologische demarcatiecriterium van de economische wetenschappen verheven tot landelijke standaard van het soort bewijs dat zijn weg vindt naar beleidsmakers, politici en journalisten. Dat is even onterecht als erg. Het leidt tot een onverstandige verschraling van beleidsadvisering en van een verarming van de kwaliteit van het maatschappelijk debat.

Dit soort tunnelvisie toestaan bij een gezaghebbend adviesorgaan als het CPB is gevaarlijk, en het is zeer terecht dat de Amsterdamse collegae hier publiekelijk tegen waarschuwen. De beperkingen van de gekozen methodiek zou ook de economen onder ons moeten nopen tot een zekere epistemologische bescheidenheid. Het is óók terecht dat de Volkskrant gisteren zelf kanttekeningen plaatste bij de kritiekloze wijze waarop ze de gevolgtrekkingen uit het CPB-rapport overnam. Het zou verstandig zijn als economen met eenzelfde openheid de hand in eigen boezem zouden steken, en een toontje lager zouden zingen.

 

Afbeelding: Mountain goats door Becks (license)

About the author

Mark Levels
Mark Levels is als postdoc verbonden aan het Research Centre for Education and the Labour Market (ROA) van de Universiteit van Maastricht.

Related Articles

3 Comments

  1. Lennart Quispel

    Ik zit dit met stijgende verbazing te lezen. Het lijkt wel, alsof economen een soort eigen echo-kamer hebben gecreeerd, waardoor ze lekker gevrijwaard blijven van falsificerende feiten …

    Is dit een reactie op het totale falen van de macro-economen om de kredietcrisis te voorspellen ?

  2. Louis

    Dag Lennart,

    Ik vrees dat je in jouw reactie de nagel meermaals misslaat.

    Ik herken wel iets van de causale effecten fetish (credibility revolution), maar dat heeft echter weinig van doen met macro-economie. Dit is een kort en leesbaar stukje door een nobelprijswinnaar economie (of als dat niet bestaat: een vooraanstaande macro-econoom):
    die brandhout maakt van bovenstaande technieken in de contekst van macro-economie: https://www.aeaweb.org/articles?id=10.1257/jep.24.2.59

    Als je denkt dat economen niet kritisch zijn op hun eigen methodologie -inclusief causale designs- bekijk dan deze korte presentatie van John Rust (geen marginaal figuur binnen de economie): http://www.gsb.stanford.edu/sites/default/files/documents/Rust%20Presentation.pdf

    En tenslotte: de kredietcrisis voorspellen… Really?

    Ik weet best wel dat er nogal wat mensen voor econoom doorgaan en meningen spuien niet gehinderd door enige kennis.
    Ik vrees dat dat ook geldt voor vele criticasters… in die hoek is er pas sprake van echo-kamers.

    Vriendelijke groet, Louis

    • Lennart Quispel

      Dag Louis,

      Als ik het abstract van dat paper lees, dan ondersteunt dat volgens mij alleen maar mijn punt. De auteur stelt, dat er een overdreven focus ligt op quasi-experimenten en regressie-discontinuiteiten. Dat is wat er ook in het artikel hierboven staat, en dat is waar ik mijn kritiek op baseer.

      Nu ben ik geen macro-econoom, maar ik ben niet heel erg onder de indruk van de huidige modellen. Als je bijvoorbeeld naar de CPB prognoses kijkt, dan wijken die zo sterk af dat je je kan afvragen wat je nu eigenlijk nog modelleert. En ja, dat die kredietcrisis niet is voorspelt beschouw ik wel als een heel zwak punt. Die crisis is er wel degelijk geweest in de echte wereld, en zou dus ook gewoon in een model moeten kunnen gebeuren. Overigens, zoals je waarschijnlijk wel weet zijn er economen die de crisis wel degelijk voorspeld hebben; Dirk Bezemer heeft daar een paper over. Wat is er precies mis met de modellen uit dat paper, volgens jou ?

      In ieder geval, ik kan me heel goed voorstellen dat economen op zoek zijn naar manieren om modellen beter te maken. Vanuit dat oogpunt snap ik op zich wel dat je kiest voor een soort causale zuiverheid, zeg maar, en je alleen nog maar gaat bezighouden met dingen waarvan je de causaliteit kunt bewijzen. Dat voorkomt in ieder geval bepaalde fouten, natuurlijk. Maar het kan wel zijn dat ik er helemaal naast zit met dit vermoeden. Als dat zo is, mea culpa.

      Ik denk wel, dat zo’n nauwe focus in sociale wetenschappen niet verstandig is. Ookal leveren studies geen directe causale verbanden, ze kunnen wel degelijk inzicht geven in wat er in de werkelijkheid aan de hand is. Als je die studies negeert, dan mis je een heleboel belangrijke informatie. Echter, het lijkt alsof de economie daar nu juist voor aan het kiezen is.

      Verder, zoals die studies in het CPB rapport laten zien, zelfs een zuiver experimentele opzet is niet zaligmakend. Bij die Kenia studie kan er ook een effect van meer leraartijd gemeten zijn, en bij die Koreaanse studie was zowel de onderwijscultuur als de leeftijdsgroep anders. Er is geen magic bullet in sociaal-wetenschappelijk onderzoek. Wat het CPB doet in dat onderzoek is een soort methodologisch autisme, dat niets meer dan schijnzekerheid biedt.

Leave a Reply

Your email address will not be published. Required fields are marked (required)