Tussen ‘wonks’ en ‘pundits’

Bepaalt de lengte van de grondwet in een land het welvaartsniveau? Het lijkt een tamelijk bizarre gedachte, maar volgens George Tsebelis, professor in de politicologie aan de University of Michigan, zouden Griekse beleidsmakers hier rekening mee moeten houden bij eventuele constitutionele hervormingen. Tsebelis onderbouwt zijn argument door aan te tonen dat het aantal woorden in een grondwet omgekeerd evenredig samenhangt met het welvaartsniveau in een land. Oftewel, landen met lange grondwetten zijn over het algemeen armer dan landen met korte grondwetten, aldus Tsebelis.

De digitale versie van Tsebelis’ artikel bevat die empirische analyse niet, maar Vassilis Tzevelekos, jurist aan de University of Hull, heeft de analyse weten te repliceren. De resultaten staan hieronder weergegeven met op de y-as de lengte van de grondwet in aantal woorden en op de x-as BBP per hoofd van de bevolking in dollars (kleinigheidje: om Tsebelis causale argument weer te geven dat de grondwet een effect heeft op welvaart is het gebruikelijk de oorzaak op de x-as te zetten en het gevolg op de y-as, maar dat maakt voor de sterkte van het verband niet uit).

Naar mijn weten heeft Tsebelis deze resultaten nergens uitgewerkt, laat staan gepubliceerd. Daarom is het ietwat flauw om hem hier aan te vallen, aangezien het een opiniestuk betreft met een summiere empirische onderbouwing. Maar het is een heerlijke casus om een algemeen punt te maken over de rol van theorie en empirisch bewijs in onderzoek.

Lengte van de grondwet heeft effect op welvaart…waarom?

Laten we gemakshalve even aannemen dat de bovenstaande correlatie robuust is. De relatie ziet er tamelijk kwetsbaar uit (niet in de laatste plaats omdat er maar 13 landen zijn meegenomen en ik geen idee heb hoe het plaatje er uit zou hebben gezien met meer landen) maar zelfs als we Tsebelis het empirische voordeel van de twijfel geven is er nog een hoop op af dingen. Wat is bijvoorbeeld concreet de theorie die achter Tsebelis’ claim schuilgaat? Waarom zouden we in hemelsnaam verwachten dat de lengte van de grondwet een causaal effect op welvaart zou hebben?

Tsebelis lijkt in zijn opiniestuk uit te gaan van een negatief effect van overregulering op welvaart. Hij haalt allemaal, volgens hem overbodige, artikelen uit de grondwet aan die groei belemmeren, zoals bijvoorbeeld Artikel 16 waarin staat dat universitair onderwijs alleen binnen de publieke sector mag worden vormgegeven. Volgens Tsebelis zou dit noodzakelijke hervormingen ophouden en zo dus economische groei remmen. Hij noemt in zijn stuk nog wat andere voorbeelden zoals de milieuwetgeving in Artikel 24 van de grondwet.

Het probleem met Tsebelis’ theorie is dat er een veel overtuigender alternatief voor handen is. Eén van mijn Griekse collega’s, Kostas Gemenis, reageerde als volgt: de lengte van de grondwet zou eerder een indicator zijn van institutionele wanorde en het ontbreken van een sterke ‘rule of law’. Beleidsmakers proberen dit vervolgens te ondervangen door de grondwet uit te breiden. Hoe meer de naleving van gewone wetten in het dagelijks leven te wensen over laat, hoe groter de verleiding om deze wetten dan maar via de constitutionele route te verankeren. Tegelijkertijd zorgt datzelfde gebrek aan ‘rule of law’ for een lager welvaartsniveau omdat het corruptie, belastingontduiking enz. stimuleert.

Ik wil niet zeggen dat Gemenis hiermee een sluitend theoretisch verhaal heeft. Mijn punt is dat het empirische bewijs van Tsebelis (een simpele scatterplot met 13 landen) zo summier is, dat hij de lezer alleen kan overtuigen door een sterke theorie achter zijn verband te specificeren. En die ontbreekt simpelweg.

‘Wonks’ en ‘pundits’

De combinatie van een sterke theorie en de empirische onderbouwing daarvan vormt wat mij betreft de kern van de wetenschap. Naar aanleiding van het Reinhart-Rogoff schandaal van de afgelopen week schreef Matt Yglesias het volgende: ‘In the absence of a plausible account of why a high debt:GDP ratio would cause slow real growth even in the absence of high interest rates, you would want to see overwhelming empirical evidence for the existence of such an effect before you believed it. And they just didn’t have the goods.’ Met andere woorden, de theoretische grondslag voor het austerity argument was zwak, maar dat hadden Reinhart en Rogoff kunnen ondervangen door grondig te zijn in de empirische uitwerking. Uiteindelijk werd een rammelend theoretisch verhaal getoetst met dubieus (en regelrecht foutief) empirisch materiaal met alle gevolgen van dien.

Ezra Klein van de Washington Post vertaalt deze discussie naar de strijd in de Amerikaanse media tussen ‘wonks’ en ‘pundits’. Pundits zijn deskundigen die op basis van hun ervaringen in het veld, contacten met andere sleutelfiguren en een algemeen inzicht over een onderwerp actualiteiten analyseren en duiden. Denk hierbij aan mensen als Felix Rottenberg, Prem Radhakishun, Jack de Vries…eigenlijk alle politieke contacten in de Rolodex van Matthijs van Nieuwkerk. Pundits maken de ene na de andere claim zonder dat daar overtuigend empirisch bewijs tegenover staat.

‘Wonks’ zijn nerds die lak hebben aan de enorme hoeveelheid kennis en ervaring van pundits. Zij leggen juist nadruk op empirische, vaak cijfermatige, onderbouwing van claims. De afgelopen Amerikaanse presidentsverkiezingen waren niet alleen een overwinning voor de Democraten, maar ook voor wonks als Nate Silver en de bovengenoemde Ezra Klein: ‘In a world where no one is forced to present real data, good writers and debaters can make all manner of theories sound persuasive. Wonkblog tries to push against this tendency by testing a lot of rhetorical arguments against available data.’ Aldus Klein. Maar ook wonks kunnen doorschieten: ‘The problem can also run in the reverse: The trappings of data and charts can be used to make bad arguments sound persuasive.’

Tussen ‘wonks’ en ‘pundits’

Ergens tussen de ‘wonk’ en de ‘pundit’ bevinden zich de meeste wetenschappers. We proberen een overtuigend en dichtgetimmerd theoretisch raamwerk op te stellen over een bepaald onderwerp en deze vervolgens zo goed mogelijk te toetsen en verder te ontwikkelen aan de hand van zowel kwalitatief als kwantitatief bewijs. Wat dat betreft sloegen zowel Tsebelis’ analyse over grondwetten en welvaart als het Rogoff-Reinhart paper de plank mis. Met als cruciaal verschil natuurlijk de maatschappelijke impact van de twee onderzoeken. Beleidsmakers hadden het (terecht) niet in hun hoofd gehaald om economische groei na te jagen door 5000 woorden uit een grondwet te schrappen, terwijl zij het Rogoff-Reinhart paper wél aangrepen als intellectuele grondslag voor verregaande bezuinigingspolitiek…