De bijdragen op dit blog (hier en hier) waarin we de discussie over het CPB-rapport Kansrijk Onderwijs hebben geduid als onderdeel van een bredere discussie over methoden in de maatschappijwetenschappen werden niet door iedereen even goed begrepen. Hoogleraar onderwijseconomie Lex Borghans vermoedt dat de sociologische kanttekeningen bij de handelswijze van het CPB worden gemotiveerd door ressentiment over de vooraanstaande rol die economen volgens hem tegenwoordig zouden spelen in het publieke debat.
Het omgekeerde is het geval.
De reden dat sociologen de laatste decennia minder zichtbaar zijn geworden in het publieke debat, is omdat zij over het algemeen veel voorzichtiger zijn geworden met het doen van “harde” uitspraken over hoe de wereld in elkaar zit. Sociologen zien dat als kracht, en niet als zwakte: het is bescheidenheid die voortkomt uit een diep begrip van de beperkingen van de gebruikte methoden.
Meest uitgesproken proponent van die terughoudendheid is ongetwijfeld scholenbouwer van de Nederlandse empirisch-theoretische sociologie Wout Ultee. Hij legde bij het in ontvangst nemen van de Hendrik Mullerprijs in 1997 uit waarom sociologen volgens hem terughoudend moeten zijn in hun streven naar maatschappelijke relevantie: “Er moet eerst kennis vergaard worden voordat zelfs een relatief simpel beleid (…) zou kunnen lukken.” Ultee mijdt het publieke debat doorgaans nog steeds, en velen volgen zijn voorbeeld. Sociologen die wel actief zijn in het publieke debat (zoals de door Borghans met instemming aangehaalde Jaap Dronkers) deden en doen dat doorgaans met gepaste terughoudendheid en op basis van het beste wetenschappelijke bewijs voorhanden. De spannende vraag is daarbij altijd hoe onderzoekers gegeven de beperkingen van hun gegevens en gekozen methoden toch de best mogelijke uitspraken kunt doen over belangrijke zaken.
Beleidsadviezen: Meer zekerheid dan gerechtvaardigd is
Een onderzoeker die zijn beperkingen onderkent en begrijpt dat in het publieke debat met scherp wordt geschoten, is vanzelfsprekend terughoudend. Economen zouden iets van die bescheidenheid mogen overnemen, zeker als ze bestuurders en politici adviseren over wat kansrijk of wenselijk is. Onze bijdragen lieten zien waarom terughoudendheid op een aantal belangrijke punten ook voor onderwijseconomen gerechtvaardigd is. Borghans geeft in zijn onnodig geprikkelde bijdrage aan deze discussie gelukkig volmondig toe dat onze kritiekpunten terecht zijn. Dat is winst.
Hij merkt verder terecht op dat (onderwijs-)economen zich bewust zijn van de beperkingen van de quasi-experimentele methode, en hard doende zijn die tekortkomingen weg te nemen. De Rotterdamse hoogleraar economie Robert Dur zei het in een reactie op de zich ontvouwende discussie erg mooi: het is niet te ontkennen dat zoeken naar exogene variatie perverse effecten heeft, maar onderzoekers die zich daarvan bewust zijn kunnen ook kiezen waar ze lantaarns neerzetten. Zo kunnen ze in principe iets doen aan de gebrekkige externe validiteit van experimenten. Ook dat is winst.
Wij zijn ons van deze ontwikkelingen bewust en moedigen ze aan. Maar het punt van debat was nu juist dat de onderkenning van de minder sterke punten van de causale methodiek zich doorgaans nog maar weinig vertaalt in de aard van de beleidsadvisering. Gebruikte terminologie als ‘bewezen’ hervormingen stralen meer zekerheid uit over de werkelijkheid dan gerechtvaardigd is. Er is een verschil tussen zichzelf op de borst kloppen over een mooi design en over het leveren van ‘bewijs’. Dat laatste klinkt toch alsof we het nu eindelijk zeker weten, en juist die uitgestraalde zekerheid geeft blijk van te veel pretentie voor de maatschappijwetenschappen.
Bescheidenheid is een deugd. Liever zouden we, voor beleidsadvies, een paar jaartjes wachten op een meta-studie die de bevindingen van een groot aantal experimenten analyseert, dan adviseren over beleid op basis van een enkel experiment, hoe mooi dat experiment ook gedaan is. We zouden het ook goed vinden als er een einde komt aan de onterechte diskwalificering van studies die wellicht geen “causaal” design hebben, maar wel op basis van het beste bewijs antwoord geven op belangrijke vragen. Dat is hier misgegaan.
Laakbaar
Het beeld dat Borghans schetst van bloeddorstige, spitsvondige sociologen die eindelijk hun kans zien om economen de les te lezen is misplaatst. In onze visie zouden beoefenaren van verschillende maatschappijwetenschappen belangrijke bondgenoten kunnen zijn in het bieden van een multidisciplinair wetenschappelijk perspectief op beleidsrelevante kwesties. Maar dat vereist wel dat de luiken open gaan, zo al niet op de universiteit dan zeker bij beleidsadviseurs van het CPB. Bij veel economen zijn die luiken nog hermetisch gesloten – een mooi artikel van sociologen en economen toont dat de meerderheid van Amerikaanse economieprofessoren multidisciplinariteit onzinnig vindt, tegenover een kleine minderheid in de sociologie, politicologie en psychologie. Voor het CPB is een dergelijke houding ronduit laakbaar. Het CPB is immers geen universitaire afdeling die alleen maar met de eigen discipline praat – het is een beleidsadviserend orgaan dat zo dicht mogelijk bij de Nederlandse werkelijkheid moet komen.
Wanneer (onderwijs-)economen de vooruitgang in andere wetenschapsgebieden zouden onderkennen en op juiste waarde zouden schatten, zou het zomaar kunnen dat we in de toekomst ook goede sociologische en onderwijskundige studies in CPB-rapporten tegemoet kunnen zien. Dat zou de advisering rijker maken en winst zijn voor het publieke debat.
Zelfvertrouwen en bescheidenheid
Ten slotte nog dit. Een publiek debat is niet gebaat bij gekijf en gekissebis. We moeten het er kennelijk telkens bij zeggen: niemand betwist dat de economische wetenschappen op een belangrijke wijze bijdragen aan de kennis over het onderwijs. Het is ongetwijfeld waar dat sommige sociaalwetenschappers de recente bemoeienis van economen met het onderwijsonderzoek hekelen als onwenselijk gevolg van wat zij dan economisch imperialisme plegen te noemen. Wij vinden dat onterecht. De methoden die sociale wetenschappers gebruiken hebben beperkingen, en voor een aantal van die beperkingen hebben econometristen slimme oplossingen bedacht. Beoefenaren van alle sociaalwetenschappelijke disciplines doen er inderdaad goed aan goed naar deze ontwikkelingen te kijken en daarvan te leren. Eerdere pleidooien van sociologen hierover (zie bijvoorbeeld de eerste twee hoofdstukken in dit overzichtswerk) vinden breed navolging, en daar wordt het onderzoek beter van. Onderwijs-economisch onderzoek is dus onbetwist van grote waarde.
Wij stellen alleen: niet overdrijven. Enige openheid zou ook economen moeten dwingen te onderkennen dat niet al het “niet-causale” onderzoek waardeloos is, zoals door het CPB werd gesuggereerd en door Borghans hardop wordt geponeerd. Anders dan Borghans voorgeeft te veronderstellen, hebben de niet-economische sociale wetenschappen sinds de jaren tachtig immers allerminst stilgestaan. Dit is dan ook de kern van de kwestie, en eigenlijk het enige echte punt van debat: de oplossingen die bedacht zijn door economen voor de problemen waarmee de sociale wetenschappen in de jaren tachtig kampten, zijn niet de enige oplossingen, en ook niet noodzakelijkerwijs de beste.
Alle door sociaalwetenschappers in stelling gebrachte onderzoeksmethoden hebben sterke punten, en alle methoden hebben een zekere prijs. Dat geldt onverkort ook voor (quasi-)experimentele methoden. Beleidsmakers, journalisten en geïnteresseerde burgers dienen dat te weten en te begrijpen. Daarom geldt: alleen wanneer wetenschappers volkomen open en eerlijk zijn over de beperkingen van hun methoden, kunnen zij hun waardevolle rol in de publieke discussie spelen. Met zelfvertrouwen, maar ook met de broodnodige bescheidenheid.
Dat is – gezien de hoeveelheid onzin die er tegenwoordig over burgers en beleidsmakers wordt uitgestort – vermoedelijk nooit belangrijker geweest dan nu.
Afbeelding: Newton’s Cradle door Sheila Sund (license).
Het debat dat zich ontvouwt naar aanleiding van het CPB-rapport, heeft een bredere betekenis dan het onderwijsveld. Mijn persoonlijke visie is de volgende.
Bescheidenheid is een deugd, zeker. En het is ook deugdzaam oog te hebben voor allerlei wetenschappelijke beperkingen. Ik zie soms hoogleraren voor wie de wetenschap een voorzetting is van de politieke strijd met andere middelen, en dat doet afbreuk aan de integriteit van de wetenschap. De empirie behoort voorop te staan.
Laten we daarbij niet uit het oog verliezen dat wetenschap een belangrijke publieke waarde heeft. Een debat dat een beetje onderbouwd is, is al beter dan een debat dat helemaal niet onderbouwd is.
Bovendien: bij de uitoefening van deugden moeten sociaal wetenschappers ook oog hebben voor de gevolgen daarvan (vgl. Weber, Politik als Beruf). De brutalen (politici, economen, journalisten, wie dan ook) zullen immers proberen de wereld voor zich te winnen met slecht of niet onderbouwde uitspraken. Als dat gebeurt, dan hebben sociaal wetenschappers mijns inziens de plicht om mantel van bescheiden deugdzaamheid af te leggen om een beter onderbouwd tegengeluid te laten horen – ook al voelt dat misschien ongemakkelijk. De consequenties van bescheiden zwijgen zijn erger.
Bescheidenheid is een deugd, zeker. En ik zie soms wetenschappers voor wie wetenschap een voortzetting is van de politieke strijd met andere middelen, waarbij de wetenschappelijke methode het onderspit delft. Dat doet afbreuk aan de integriteit van de wetenschap. De empirie moet leidend zijn.
Maar tegenover al die deugdzaamheid wil ik een ander geluid laten horen.
Hoewel bescheidenheid een deugd is, moet je ook kijken naar de gevolgen van de uitoefening van die deugd (vgl. Weber, Politik als Beruf). De brutalen (economen, politici, journalisten, anderen) zullen tenminste halve wereld voor zich proberen te winnen met slecht of niet onderbouwde uitspraken. Dan bescheiden zwijgen is ongepast. Een enigszins onderbouwd publiek debat is al beter dan een niet-onderbouwd debat – zelfs als de onderbouwing maar één Keniase studie is. Daar ligt een rol voor de wetenschap.
Natuurlijk is bescheidenheid een deugd, maar laten sociaal wetenschappers hun licht niet onder de korenmaat zetten. Integendeel, dat licht mag wat mij betreft feller stralen. Immers: dat licht vertegenwoordigt een belangrijke publieke waarde.
Hartstikke interessant hoor, maatschappijwetenschappen (ben er zelf ook een hele tijd werkzaam in geweest). Maar, maatschappijwetenschappers overschatten naar mijn idee nog wel eens hun maatschappelijk belang. Ik bedoel, wat zou er precies gaan mislopen wanneer sociologen massaal zouden gaan staken…? Ik vermoed heel weinig. De bezigheden van maatschappijwetenschappers worden over het algemeen toch enkel door andere maatschappijwetenschappers opgemerkt. Wat (als je het heel overdreven stelt) betekent dat belastingbetalers maatschappijwetenschappers betalen om met elkaar hun hobby uit te voeren. Oke, nu even wat nuance: ik denk zeker dat maatschappijwetenschappers toegevoegde waarde hebben. Máár… dat betekent níet dat elke extra maatschappijwetenschapper ook toegevoegde waarde oplevert. Waarom niet? Omdat je ten eerste toch nooit alles kunt lezen (zoals ik al zei, ik ben werkzaam geweest in het vak, dus spreek uit ervaring) en ten tweede weten we allemaal dat er ook veel broddelwerk wordt afgeleverd (er moet immers geproduceerd worden). Naar mijn idee is minder (maar meer gedegen) sociaal-wetenschappelijk onderzoek dus wenselijk. Niet alleen omdat het uit publiek geld betaald moet worden, maar dus ook omdat je gewoon veel meer hebt aan een paar goede onderzoeken, dan aan een enorme berg aan onderzoek waar je je doorheen moet werken (kost veel tijd!) om op die paar waardevolle/gedegen stukken uit te komen. Ik heb eens een socioloog horen zeggen ‘social science research is either wrong or stating the obvious, I hope my research is doing the last thing’. En ik heb Rutger Bregman eens horen zeggen dat in een situatie met een basisinkomen schoonmakers misschien wel meer zouden verdienen dan hoogleraren. Stel dat dat zo zou zijn…. dan zou dat toch wel héél erg te denken geven of niet…?