Experimentele politicologie: gemengde gevoelens over een nieuw wetenschappelijk tijdschrift

De experimentele methode is in opmars binnen de sociale wetenschappen. Zeker, voor veel psychologen, communicatiewetenschappers en gedragseconomen vormen experimenten sinds jaar en dag de default onderzoeksmethode, maar ook binnen de politicologie neemt het aantal experimentele studies toe. Als klap op de vuurpijl kondigde Cambridge University Press onlangs de lancering van een nieuw internationaal vakblad aan dat zich louter gaat richten op experimentele politicologie. Ik heb hier gemengde gevoelens over, maar gun het initiatief toch het voordeel van de twijfel.

Wat is de experimentele methode?

Het overtuigend aantonen van oorzaak en gevolg is één van de grootste uitdagingen in de sociale wetenschappen. Lees een willekeurige blogpost of nieuwsbericht over een bepaald verband tussen twee variabelen en één van de eerste kritiekpunten zal zijn: ‘correlation does not equal causation’. Ik heb eerlijk gezegd inmiddels een nog grotere hekel aan dit cliché dan aan dat andere methodologische cliché (‘lies, damned lies, and statistics’). Uiteraard is er meer nodig dan een correlatie om te spreken van een causaal verband, maar we slaan door naar het andere uiterste dat een correlatie waardeloos zou zijn. En dan nog, geef tenminste aan waarom die correlatie ontoereikend is. Is er een wederkerig verband tussen oorzaak en gevolg of is er misschien sprake van een schijnverband? Als er al een Godwin van de wetenschap zou bestaan, dan is ‘correlation does not equal causation’ toch wel één van de voornaamste kandidaten (uiteraard naast de omnipresente ‘Stapel’-verwijzingen).

De experimentele methode is niet vatbaar voor deze kritiek. De redacteuren van het bovengenoemde vakblad schrijven: “We define experimental methods broadly: research featuring random (or quasi-random) assignment of subjects to different treatments in an effort to isolate causal relationships between variables of interest.” Oftewel, in een experimentele studie verdelen we de onderzoekseenheden in tenminste twee groepen. De toekenning van eenheden aan één van deze groepen is op basis van kans waardoor de groepen equivalent zijn voor aanvang van het experiment. Vervolgens ondergaat één van de groepen een interventie (de experimentele groep). Aangezien de groepen in de voormeting statistisch identiek zijn, kan het verschil tussen de groepen in de nameting worden herleid tot de interventie van de onderzoeker. Causale effecten kunnen niet overtuigender worden aangetoond dan met de experimentele methode.

Verschillende soorten experimenten

Experimentele studies genieten vooral bekendheid in de vorm van laboratorium experimenten. Een lab is in dit geval simpelweg een ruimte waar je de proefpersonen uit de natuurlijke omgeving haalt en bestudeert in een door de onderzoeker bepaalde setting. Dit klassieke onderzoek van Stephen Ansolabehere e.a. naar het effect van ‘negative campaign ads’ op politieke participatie is hier een mooi voorbeeld van. Proefpersonen bekijken in een lab verschillende versies van een nieuwszending waarna de onderzoekers eventuele media-effecten op stemgedrag kunnen vaststellen.

Je kunt als onderzoeker natuurlijk ook interveniëren in de daadwerkelijke leefomgeving van mensen. In de onwikkelingseconomie worden dergelijke veldexperimenten al jarenlang met groot succes uitgevoerd (zie ook dit prachtige TED-praatje van Esther Duflo). Ook in de policologie gelden veldexperimenten als een waardevolle strategie om bijvoorbeeld opkomst bij de verkiezingen te analyseren.

Bij veldexperimenten selecteren onderzoekers meestal geografische gebieden (gemeentes, buurten, stembureau’s, enz.) waarna ze die gebieden willekeurig toekennen aan een experimentele groep of een controle groep. Vervolgens interveniëren de onderzoekers in die gebieden in de experimentele groep door bijvoorbeeld bepaalde verkiezingensfolders uit te delen, microfinanciering te starten, of wat dan ook. Aangezien de gebieden door de gerandomiseerde toekenning equivalent zijn in de voormeting, kan het verschil in een nameting alleen door de verschillende interventies worden verklaard. Veldexperimenten zijn dus fantastische (maar helaas zeer kostbare) onderzoeksmethoden om bijvoorbeeld de effectiviteit van beleidsmaatregelen te toetsen.

Naast lab- en veldexperimenten bestaan er nog tal van andere soorten experimenten, maar de kern van de onderzoeksstrategie blijft de willekeurige toekenning van de onderzoekseenheden aan de experimentele en controle groep.

Twee kanttekeningen

Nu verwacht u vast een lofzang op het bovengenoemde initiatief van Cambridge University Press om een vakblad geheel en alleen te wijden aan experimentele politicologie. Toch wilde ik eerst twee kanttekeningen maken.

Ten eerste ben ik huiverig voor het plaatsen van methodologie voor inhoud. Politicologen zijn allereerst geïnteresseerd in politieke vraagstukken, zoals kiesgedrag, sociale bewegingen, ongelijkheid, Europese integratie, immigratie en integratie van minderheden, burgeroorlog, handel, de financiële crisis en ga zo maar door. Hoe zij het onderzoek uitvoeren is uiteraard van het grootste belang (het bepaalt uiteindelijk het wetenschappelijk gehalte van het onderzoek), maar niet het startpunt. Methodologie blijft wat mij betreft altijd een middel. De bovengenoemde experimenten van Ansolabehere, Green, Duflo en anderen zijn relevant en invloedrijk omdat ze antwoorden aandragen voor inhoudelijk belangrijke onderwerpen. Een vakblad dat het eigen bestaan rechtvaardigt vanuit een zeer specifieke methodologische identiteit spant dus eigenlijk het paard voor de wagen. Maar goed, ik ben dan ook geen methodoloog…

Ten tweede zijn vakbladen nou niet direct de meest toegankelijke outlets voor het verspreiden van wetenschappelijke kennis. Het gaat me niet zozeer om het gebruik van jargon en de hoge mate van complexiteit van veel wetenschappelijke artikelen, maar om toegang in de letterlijke zin van het woord. De meeste vakbladen worden beheerd en uitgegeven door grote commerciële spelers die woekerprijzen in rekening brengen voor abonnementen en losse artikelen. Als zelfs Harvard de hand op de knip moet houden, is er toch echt wat mis.

Diezelfde uitgevers bieden inmiddels de mogelijkheid om artikelen ‘open access’ te maken. De prijs voor een dergelijk, voor iedereen te downloaden, pdf’je voor de auteur? Bij Taylor & Francis kost dat €2150, bij Elsevier tussen $500-5000 afhankelijk van het tijdschrift. Voor losse artikelen van een paar duizend woorden betaal je als gebruiker al gauw een slordige 20 euro (en denkt u maar niet dat auteurs daar ook maar iets van terugzien). Met andere woorden, toegang tot wetenschappelijk onderzoek blijft beperkt via universiteitsnetwerken en dat zal bij het Journal of Experimental Political Science niet anders zijn.

Het belang van replicatie

En toch neig ik ernaar dit initiatief het voordeel van de twijfel te geven, vooral omdat de redacteuren een lans breken voor de publicatie van ‘nulbevindingen’ en de replicatie van bestaand onderzoek: “we strongly encourage authors to submit null or inconsistent results from well-designed, executed, and analyzed experiments as well as replication studies of earlier experiments.” Dit is een grote trendbreuk in de huidige traditie.

In die huidige situatie hebben studies die wél een effect blootleggen een grotere kans om te worden gepubliceerd dan studies die geen effect laten zien. Dit is één van de voornaamste bronnen van ‘publication bias‘ wat uiteindelijk onze kennis over bepaalde onderwerpen aanzienlijk kan vertekenen. Simpel gezegd, wanneer studies die wel media-effecten op stemgedrag aantonen eerder gepubliceerd worden dan studies die geen effecten aantonen, ontstaat het beeld dat de media invloed hebben op stemgedrag terwijl dit misschien geen representatief beeld is van alle onderzoeken die over dit onderwerp zijn uitgevoerd (voor een voorbeeld uit de politicologische literatuur, zie hier).

Ook replicatie van bestaand onderzoek vormt een absolute kernwaarde in de wetenschap waar in de huidige praktijk bar weinig van terecht komt. Daniël Lakens, psycholoog aan de TU Eindhoven, heeft veel geschreven over het belang van replicatie voor de totstandkoming van robuuste wetenschappelijke kennis. Ook economen hameren op het delen van data zodat anderen je analyses in principe kunnen herhalen.

Het huidige wetenschappelijke discours zit helaas nog steeds zo in elkaar dat replicatie een ondankbare en vaak onmogelijke taak blijft. Ieder initiatief dat deze verlammende status quo probeert te doorbreken verdient lof en steun, zo ook dit nieuwe vakblad voor experimentele politicologie.