Wat mij betreft valt de leer der internationale betrekkingen (kortgezegd: IB) gewoon onder de politieke wetenschap. Ik zie het niet als een apart vakgebied, maar eerder als een ‘onderdeel van’, net zoals ik politieke filosofie, politieke psychologie, vergelijkende politiek, etc. onderdelen van de discipline politieke wetenschap vind. Toch wordt de IB vaak als een vak apart gezien, met eigen theorieën (paywall) die wortelen in nogal specifieke (en vaak normatieve) aannames over de menselijke natuur.
Die theorieën staan, op basis van de gebruikte assumpties, vaak diametraal tegenover elkaar, met als gevolg verhitte theoretische debatten die de groei van kennis niet bevorderen maar eerder tegenwerken. Studies bouwen niet voort op elkaar, maar richten zich op het vinden van bevestiging van hun eigen argument in een poging de welles-nietesdiscussie te kunnen beslechten. En dat is precies waar het misgaat: in plaats van de eigen argumenten aan de meest moeilijke empirische toets te onderwerpen in een poging een argument te falsificeren, zoeken onderzoekers naar een snelle en bevredigende bevestiging. Popper draait zich om in zijn graf.
Een voorbeeld
Het academisch debat over de zogenaamde ‘democratische vrede’ is een goed voorbeeld. Ik schreef hier al eerder dat het onderzoek naar de democratische vrede gekenmerkt wordt door het zoeken naar bevestiging van normatieve postulaten over de liberale democratie, zonder de variatie van de onafhankelijke variabele regime-type mee te nemen. Niet de meest moeilijke toetsing dus. Een evenzeer belangrijk probleem is dat er doorgaans te weinig moeite wordt gedaan om het veronderstelde causale mechanisme (hoe staan oorzaak en gevolg met elkaar in verbinding?) te toetsen.
In één van de meest invloedrijke studies over de democratische vrede nemen Maoz en Russett nemen bijvoorbeeld aan dat er onder de burgers van een liberale democratie liberale normen heersen die een effect hebben op de steun voor het al dan niet inzetten van geweld tegen andere staten. De auteurs nemen simpelweg aan dat die liberale normen bestaan en dat daarom het regime stabiel is. Dit leidt tot een slordige en dubieuze meting van belangrijke variabelen. Zo nemen Maoz en Russett het aantal jaren dat een regime bestaat als een maat voor de aanwezigheid van liberale normen. Dat combineren ze vervolgens met het aantal politieke doden (whatever that may be exactly, want dit begrip wordt nauwelijks uitgewerkt). Als deze merkwaardige variabele dan correleert met een gebrek aan oorlog tussen democratieën, wordt dat gezien als bewijs van het causale mechanisme achter de democratische vrede. Dat kan dus beter!
Let’s experiment!
Armen Hakhverdian heeft hier al eens betoogd dat bij gebrek aan andere methoden een correlationele studie (die gepaard gaat met een sterke theoretische onderbouwing) beter is dan niets, maar tegelijkertijd stelde hij ook dat indien er andere methoden voorhanden zijn, zoals bijvoorbeeld de experimentele methode we die zouden moeten gebruiken. Ik ben het daar hartstochtelijk mee eens en wil hier daarom graag een lans breken voor meer gebruik van de experimentele methode in de politieke wetenschap, en zeker ook in de studie van internationale betrekkingen.
Het experiment is dé methode om tot causale gevolgtrekkingen te komen. Je hebt als onderzoeker complete controle over je variabelen en je participanten, en kunt mogelijk storende omgevingsfactoren behoorlijk goed uitsluiten. Dit is van groot belang als je een theorie empirisch wilt toetsen. Anders gezegd, je kunt een argument waarom X leidt tot Y gecontroleerd nabootsen om te zien of daaruit voortvloeiende hypotheses hout snijden.
Dat een experiment de werkelijkheid nabootst levert doorgaans veel kritiek op. Want de werkelijke wereld zou niet goed na te bootsen zijn, en wie zegt dat een in het laboratorium gevonden en geïsoleerd causaal mechanisme ook in de realiteit (met dus heel veel andere factoren erbij) ook zo werkt? Deze kritiek wordt vaak gebaseerd op twee argumenten: kunstmatigheid (een laboratorium is geen werkelijkheid) en externe validiteit (zijn de resultaten generaliseerbaar naar andere groepen?).
Verdediging
Allereerst, elke theorie is een versimpeling van de werkelijkheid. Als sociaal wetenschapper probeer je de werkelijkheid uit te leggen door hem eerst simpeler te maken. Daarna wil je weten of het klopt wat je beweert. Daarvoor moet je met goed bewijs komen. Een experiment is een eerste stap daartoe: je isoleert het cruciale deel van je theorie en die toets je. Door alle andere factoren te controleren (door ze bijvoorbeeld uit te sluiten) geef je jouw theorie in feite echt de kans zich te bewijzen.
Als je dan empirische ondersteuning voor een bepaald causaal mechanisme hebt gevonden, is het natuurlijk wel zaak om eventueel andere methoden in te zetten om te zien of deze resultaten verdere ondersteuning vinden. Dat kan door met kwalitatieve methoden een casus te bestuderen die een voorbeeld geeft van het causale mechanisme. Of door te kijken of in een ‘grote-N-studie’ soortgelijke verbanden bestaan die je eerdere experimentele resultaten ondersteunen. Zo bouw je een theorie van de bodem op, met het experiment als noodzakelijke eerste stap.
Datzelfde argument gaat op voor de externe validiteit. Pas als een onderzoek intern valide is, kun je wat mij betreft aan externe validiteit gaan denken. Als je een grote-N correlationele studie doet met een representatieve steekproef van de doelpopulatie maar de interne validiteit van je onderzoek hapert heb je helemaal niets aan die generaliseerbaarheid.
Daarnaast, als je wilt uitzoeken of een bepaald effect opgaat voor een populatie kun je soms best volstaan met een experiment onder een niet-representatieve groep uit die populatie (bijvoorbeeld eerstejaars studenten). Tenminste, als je veronderstelt dat het effect voor alle individuen in een populatie op dezelfde manier zou moeten werken (bijvoorbeeld: alle burgers in een democratie zijn gesocialiseerd met democratische normen en besluiten op basis van die normen over het gebruik van geweld). In zo’n situatie kun je, zeker voor een eerste empirische toets, besluiten om een niet-representatief deel van de gehele doelpopulatie te onderzoeken zo lang zij maar representatief zijn voor het gehypothetiseerde effect! Als bijvoorbeeld de leeftijd, de opleiding, de sociale klasse, het inkomen, etc. irrelevant zijn, maar de theorie wel stelt dat de gehele populatie bepaalde democratische normen bezit, dan kun je in principe iedere subgroep uit de populatie gebruiken om je experiment op uit te voeren.
Een lans breken
Er valt nog veel meer over te zeggen, maar het doel van dit blog was om een lans te breken voor meer experimenteel onderzoek in de internationale betrekkingen. Als je aan internationale betrekkingen denkt, denk je al gauw aan het gedrag van staten of NGO’s, internationale organisaties en internationaal recht. Niet aan participanten die je even in een laboratorium kunt onderzoeken. En toch kan dat.
Veel van de IB-theorieën baseren zich op specifieke aannames over de menselijke natuur, en verwachten op grond daarvan dat staten (die nu eenmaal door mensen bestuurd worden) een bepaald soort gedrag zullen vertonen. Ook wordt de staat als een unitary actor gezien; alsof het als een mens denkt en handelt. Veel verklaringen voor interstatelijke fenomenen baseren zich op impliciete assumpties op het individuele niveau, de zogenaamde micro-fundamenten van een theorie. Deze assumpties zijn behoorlijk geschikt om te toetsen aan de hand van een experiment.
Vanzelfsprekend gaat mijn betoog niet op voor alle onderzoeksvragen, maar het is vaker mogelijk dan je zou denken. Politicoloog en experimenteel onderzoeker Rose McDermott heeft een heel mooi overzicht gemaakt van experimenteel werk in de IB en vervolgens een overzicht gemaakt van wat er nog allemaal meer mogelijk zou zijn. Om daad bij het woord te voegen ben ik van plan hier zo af en toe een experimentele studie uit de IB-hoek te bespreken, waarbij ik in het bijzonder inga op de vraag of het experiment inderdaad de resultaten opleverde die andere methoden niet konden opleveren. En wie weet gaan we het gebruik van experimenten in de studie van de internationale betrekkingen dan wat meer waarderen…
Als ik je stuk lees, breek je eigenlijk een lans voor multi-/mixed-method research aangezien ook experimenten in de praktijk, net als alle andere methoden, van bepaalde (soms onrealistische) assumpties moeten uitgaan?
Ik ben door de jaren heen experimenten trouwens ook meer gaan waarderen. Belangrijkste punt is voor mij de unit of analysis: micro (bv. kiezers) versus macro (bv. landen). Voor micro ben ik grote fan van experimenten, voor macro eerder van process tracing: je hoeft dan immers niet op voorhand als onderzoeker te beslissen wat het cruciale deel van een causaal mechanisme is; je kan het ‘hele’ causale mechanisme toetsen.
Aangezien we (nog) niet in de hoofden van mensen kunnen kijken lukt dat uiteraard niet bij bv. kiezers, en dat is meteen de reden waarom ik in dat geval experimenten beter vind. Maar goed, dat is mijn mening.
Ik denk dat experimenten heel erg geschikt zijn om op het individuele niveau assumpties empirisch te testen. Aangezien veel IB theorieën aannames gebruiken over de menselijke natuur en de ‘mens in de groep’ welke niet empirisch ondersteund worden, vind ik het van belang dat soort assumpties empirisch te testen, zeker als deze zo ‘sweeping’ zijn als in de democratische vrede literatuur. Daar lenen experimenten zich erg goed voor. Maar als je daarna een stap verder wilt zetten, geloof ik dat er inderdaad andere methoden gebruikt zouden kunnen/moeten worden om de resultaten robuustheid te kunnen geven.
Mee eens. Al is het wellicht niet altijd even makkelijk om groepsprocessen van niet-repretentatieve besluitvormers te modelleren in experimenten. Maar je hebt gelijk, in de literatuur zitten ook veel claims over ‘de burger’.
Mooi stuk! Al blijf ik daarnaast ook erg voorstander van het lanzen breken voor inductief actie-onderzoek!