Misplaatste angst voor bètaficering sociale wetenschappen

Een paar dagen geleden schreef ChristenUnie Kamerlid Eppo Bruins een betoog in VakWerk, het ledenblad van de vereniging Beter Onderwijs Nederland. In deze column pleit Bruins voor een stop op wat hij de bètaficering van de sociale wetenschappen noemt. Een harde definitie van ‘bètaficering’ geeft hij niet, maar we moeten denken aan “modelleren, categoriseren, kwantificeren en reduceren”. Volgens Bruins maakt deze “doorgeslagen kwantificering” “ons leven niet mooier en niet beter”.

Bruins’ column getuigt van een bizar academisch wij-zij-denken. Hij schrijft over kwantitatief-toetsend onderzoek als “onwetenschappelijke claims”, “een wetenschap die niet of nauwelijks relevant is” en “het voor de gek houden van wetenschappelijke collega’s, journalisten en de geïnteresseerde leek”. Zijn schijntegenstellingen tussen kwantitatief en kwalitatief onderzoek, en tussen toetsend en relevant onderzoek is iets waar sociaal wetenschappers zelf al decennia geleden van zijn afgestapt. Bruins gaat bovendien stellig uit van onbewezen en onterechte aannames en komt met voorbeelden die met zijn betoog weinig te maken hebben.

Bruins’ betoog is een stap terug. Alleen al uit de titel ‘stop de bètaficering’ klinkt de suggestie dat het hier om een recente trend gaat. Niets is minder waar. Ongeveer een eeuw geleden al zette de Groninger hoogleraar Geard Heymans in Nederland de beginselen van de functieleer uiteen. Hiermee zette hij een nieuwe trend in binnen de psychologie: niet langer werden theorieën over menselijk gedrag slechts beredeneerd, ze werden nu ook middels kwantitatief onderzoek gevalideerd. Deze experimentele, kwantitatieve aanpak van Heymans zorgde er niet voor dat hij zich niet meer bezig hield met theorievorming. Integendeel, uit de kwantitatieve studies verkreeg Heymans nieuwe inzichten waarmee hij bestaande theorieën beter kon duiden, kon aanscherpen en kon weerleggen. Heymans realiseerde zich dat wetenschap bedrijven een cyclus is waarbij je steeds van het vormen/aanpassen van de theorie overgaat in het valideren van de (aangepaste) theorie, en terug.

Het belang van die cyclus ontbreekt in het artikel van Bruins.

Schijntegenstelling 1. Kwantitatief toetsend vs gebrek aan inzicht in diversiteit

Bruins’ voornaamste punt van kritiek is dat de kwantitatief toetsende aanpak leidt tot aan een gebrek aan inzicht in diversiteit en condities: “De doorgeslagen kwantificering leidt tot resultaten die alleen geldig zijn in een afgesloten modelwereld voor gemiddelde mensen. En gemiddelde mensen bestaan niet.” Bruins negeert dat statistische methoden juist de diversiteit bekijken. Variatie in uitkomsten en effecten zijn zo’n beetje de kern van statistiek. Het is niet voor niks dat (een van de) meest gebruikte methoden analysis of variance (ANOVA) heet: door de diversiteit (kwantitatief) te bestuderen, krijg je inzicht in de processen die menselijk gedrag veroorzaken.

Niemand weerhoudt de onderzoeker ervan om zich in zijn onderzoek te richten op specifieke condities en onderzoeksgroepen. Sterker nog, er is juist grote aandacht voor conditionele effecten. Er zijn allerlei tools die onderzoekers in staat stellen om deelpopulaties te onderzoeken, of conditionele effecten in kaart te brengen. Sociale wetenschappen waarin frequent kwantitatieve modellen gebruikt worden – denk onder andere aan sociologie, politicologie, psychologie, communicatiewetenschappen – kenmerken zich juist door aandacht voor en toetsing van vermeend conditionele effecten.

Schijntegenstelling 2. Kwantitatief toetsen vs gebrek aan relevantie

Bruins stelt bovendien dat kwantitatief toetsende modellen hebben geleid tot een gebrek aan relevantie. Daartoe haalt hij een reeks voorbeelden aan van onderwijskunde tot economie. Helaas hebben de problemen in die voorbeelden weinig te maken met kwantitatief-toetsende modellen. Gebruik van slechte definities is een probleem, ongeacht of dat in kwalitatief of kwantitatief onderzoek gebeurt. Schoolvorming in de wetenschap is een gebruikelijk fenomeen dat bepaald niet voorbehouden is tot de kwantitatieve wetenschappen maar voorkomt in alfa-, bèta- en gamma-wetenschappen ongeacht de onderzoeksmethode.

Een zekere mate van schoolvorming is overigens niet eens problematisch. Wetenschap is immers een proces; uitkomsten van wetenschappelijk onderzoek zijn uiteindelijk nooit een vaststaande waarheid. Een theoretische school is als een statistisch model: het is een collectie theoretische en methodologische vooraannames en keuzes. Gegeven die aannames en keuzes, kan je uitspraken doen. Die zijn natuurlijk alleen geldig als de keuzes en aannames geldig zijn. Dit is zo ongeacht of het kwantitatieve keuzes of kwalitatieve keuzes zijn. Doordat wetenschappers een bepaald vraagstuk vanuit meerdere invalshoeken bekijken en elkaar toetsen, ontstaan diepere inzichten. Problemen ontstaan pas als wetenschappers weigeren voorbij de eigen aannames te kijken, theoretisch en methodologisch.

Bruins betoog brengt ons terug naar een methodenstrijd die we al decennia achter ons hadden gelaten. Het vraagt erom de relevantie van de Nederlandse kwantitatieve sociale wetenschappen te verdedigen. Nu zijn er legio voorbeelden te geven hoe kwantitatief-toetsend onderzoek inzicht genereerde heeft dat ons leven verbeterd heeft. Alleen al dit weblog bevat veel recente voorbeelden. Denk aan onderzoek naar criminaliteit onder migranten/vluchtelingen, naar de invloed van de etnische compositie van de buurt op sociale cohesie, of naar de effecten van het kiesstelsel op burgervertrouwen en stemgedrag. Maar ook de kwalitatieve onderzoeken op dit blog getuigen van een grote relevantie. Denk aan de verschillende onderzoeken naar gender in de politiek, of naar het cruciale onderscheid tussen extreem- en radicaal-rechts.

Bruins’ speelt kwantitatief en kwalitatief onderzoek ten onrechte tegenover elkaar uit. Het verleidt tot een loopgravenoorlogje. En daar willen we niet in mee. Beide benaderingen hebben – op een verschillende wijze – evident hun relevantie, afhankelijk van de staat van de theorie en het onderzoeksprobleem. Toetsend onderzoek vindt zijn relevantie juist omdat het stevige theorieën of sterke maatschappelijke (en vaak ook: politieke) aannames toetst. Denk aan de dit jaar gehoorde aannames dat vluchtelingen door hun achtergrond crimineler zouden zijn, etnisch gemengde wijken de sociale cohesie zouden schaden, een kiesdrempel de problemen in de politiek zouden oplossen. Die aannames (‘een afgesloten modelwereld voor gemiddelde mensen’) waren niet afkomstig van de academici die ze afgetoetsten, maar van opiniemakers en politici.

Waarom sociaal-wetenschappers zo inzetten op onderzoeksmethoden

Het is niet zonder reden dat de methodologie en statistiek zo sterk vertegenwoordigd zijn in de sociale wetenschappen. Als voorbeeld: bij de bacheloropleiding psychologie in Groningen krijgt de student 35 ECTS aan statistiek- en methodologievakken aangeboden; bij de bèta-opleidingen is dit meestal niet meer dan 10 ECTS. Data van sociaalwetenschappelijk onderzoek is dikwijls veel ingewikkelder om te analyseren dan data van bèta-onderzoek. Voor bèta-onderzoek heb je enorm ingewikkelde machines – laserapparaten, deeltjesversnellers, telescopen, etc. – nodig om te meten wat je wilt meten, maar uiteindelijk is het vaak (vanzelfsprekend niet altijd) een kwestie van “meting = echte waarde ± meetfout”: als je maar vaak genoeg meet, wordt de gemiddelde meetfout arbitrair klein.

Bij onderzoek waarbij je niet natuurverschijnselen maar de mens meet, ligt het ingewikkelder. Waar elke appel met 9,81 m/s² uit de boom valt, is de ene mens is de andere niet. Individuen reageren verschillend in verschillende situaties –gemiddelde mensen bestaan niet.

Daarbovenop komen nog vertekeningen in de uitkomsten doordat mensen om tientallen mogelijke redenen niet mee willen doen aan het onderzoek (waardoor steekproeven vaak niet meer zomaar representatief zijn). Deze complicerende factoren zorgen ervoor dat een eenvoudige “echte waarde ± meetfout” noch in kwalitatief noch in kwantitatief niet informatief genoeg is. En daar draait het uiteindelijk om in de wetenschap: informatie vergaren uit onderzoek. Alleen deugdelijk opgezette en uitgevoerde onderzoeken leiden tot daadwerkelijke informatie.

Achterhaald

We maken zo’n bezwaar tegen het stuk van Eppo Bruin doordat zijn schijntegenstellingen schadelijk zijn: schijntegenstellingen tussen kwantitatief en kwalitatief onderzoek, tussen toetsend en relevant onderzoek, tussen alfa en bèta, en bèta en gamma,. De huidige en toekomstige staat van de sociale wetenschappen is methodenpluriformiteit. De keuze voor een perspectief is meer of minder gepast gegeven de staat van de literatuur. Bij sterke aannames of een sterke theorie is kwantitatief-toetsend onderzoek daarvan vaak zeer geschikt. Bij een zwakke theorie is beschrijvend en verkennend onderzoek om vanuit heterogeniteit theorie te vormen van groot belang. Bruins’ schijntegenstellingen leiden ons daarom alleen maar weg van methodenpluriformiteit.

Bovendien poneert Bruins zijn schijntegenstellingen zonder reflectie. De problemen in zijn voorbeelden hebben weinig  met het principe van kwantitatief-toetsend onderzoek van doen. De onjuiste en onbewezen generalisaties in zijn stuk – over het vermeende gebrek aan methodologische pluriformiteit in Nederland en over de vermeende achterstelling van kwalitatief onderzoekers in het vergaren van beurzen bij NWO en ERC- getuigen van een achterhaald Calimero-perspectief.

Op Twitter reageerde Bruins op onze bezwaren, niet door op de argumenten in te gaan maar door te stellen dat zijn betoog vooral bedoeld was om de discussie op gang te brengen. We moeten echter concluderen dat zijn schijntegenstellingen daar niet bij helpen. Bruins’ wij-zij-denken is een echo van de methodenstrijd van 30 jaar geleden die elke discussie doodslaat.

Poëzie

Tot slot, de beste weerlegging van Bruins’ stelling dat kwantitatief-toetsend onderzoek “ons leven niet mooier en niet beter” maakt, is de poëtische beschrijving door Richard Feynman.

Afbeelding: Scientists door Bart Everson (license).