De macht van de publieke opinie: waarom Amerika zoveel gedetineerden heeft

In de Verenigde Staten zitten per 100.000 inwoners 716 mensen in de gevangenis. Dat is veel. Sterker nog, de VS heeft de hoogste ‘incarceration rate’ ter wereld. Bovendien is deze incarceration rate de afgelopen decennia enorm gestegen: begin jaren zeventig lag deze nog onder de honderd.

Volgens politicoloog Peter Enns heeft de stijging van de incarceration rate een democratische oorspong. In de VS belanden steeds meer mensen achter de tralies omdat de Amerikanen dat zelf eisen (lees hier het volledige artikel). De houdingen van Amerikanen veranderen – deze worden strenger – en beleidsmakers volgen dan simpelweg de heersende publieke opinie op dit gebied, aldus Enns.

Strafbereidheid van de Amerikanen

Allereerst brengt Enns publieke opinie op dit onderwerp in kaart vanaf de jaren vijftig tot nu. Daarvoor combineert hij verschillende vragen uit verschillende enquêtes die meten in hoeverre men “tough on crime and criminals” is (p. 7). In totaal neemt hij 33 vragen mee uit verschillende academische en commerciële peilingen (zie deze appendix). Deze vragen variëren qua onderwerp van de doodstraf tot wapenbezit tot respect voor de politie. Door deze vragen te combineren tot één tijdreeks ontstaat een beeld van de stemming onder Amerikanen over hun strafbereidheid (‘punitiveness’).

De figuur hieronder laat zien dat publieke opinie en de incarceration rate in hoge mate parallel lopen vanaf begin jaren vijftig tot nu. Enns noemt de correlatie tussen beide tijdreeksen zelfs “an impressive r = 0.84.” Indrukwekkend is het zeker.

Causaliteit

De causaliteitspolitie is inmiddels wild schuimbekkend afgehaakt. Of flauwgevallen. Op Twitter reageert men meestal op een correlatie met facepalmen, headdesken en andere vormen van zelfmutilatie (al is het best mogelijk dat diezelfde mensen dat toch al aan het doen waren en dat de correlatie er geen bal mee te maken had). Ik wacht even tot ook deze mensen tot bedaren zijn gekomen en het bloed is gestelpt.

Natúúrlijk vormt een correlatie geen sluitend bewijs voor oorzakelijkheid. Ik weet dat. Enns weet dat. Iedere eerstejaarsstudent weet dat. De meeste mensen weten dat. De volgende keer dat u ‘correlation ≠ causation’ post (liefst met een wiskundig tekentje, want dat staat wel zo geleerd), hou dan tenminste de volgende zaken in het achterhoofd: Ten eerste, waarom vormt die specifieke correlatie geen overtuigend bewijs voor causaliteit? Ten tweede, bestaat er een alternatief onderzoeksontwerp?

Tijdsvolgorde

Over dat eerste punt: een correlatie vormt slechts één van de voorwaarden die normaliter van een oorzaak-gevolgrelatie worden geëist. Tijdsvolgorde van oorzaak en gevolg is een andere. Wanneer twee gebeurtenissen tegelijkertijd plaatsvinden is het een stuk lastiger om causale uitspraken te doen, dan wanneer de ene gebeurtenis vóór de andere plaatsvindt. Let wel, door alléén te focussen op tijdsvolgorde bestaat het risico om weer een andere drogredenering te begaan (post hoc ergo propter hoc). De meeste gebeurtenissen die na elkaar plaatsvinden hebben namelijk vanuit causaal oogpunt helemaal niets met elkaar te maken.

Er zijn inmiddels statistische technieken ontwikkeld om deze tijdsvolgorde expliciet te kunnen analyseren (in 2003 en 2011 zijn de sleutelauteurs beloond met de Nobelprijs in de economie, die je eigenlijk niet zo mag noemen). Met name parallelle trends vormen een obstakel bij dit soort onderzoeken, omdat trenderende variabelen per definitie met elkaar correleren. Zo kun je op basis van gezamelijke trends Facebook de schuld geven van de Grieke schuldencrisis. Enns maakt gebruik van deze technieken om bijvoorbeeld te laten zien dat het waarschijnlijker is dat de pijl loopt van publieke opinie naar incarceration rates dan andersom.

Schijnverband

Maar ook al is het waarschijnlijker dat strafbereidheid chronologisch voorafgaat aan incarceration rates dan anderom, dan nog is het mogelijk dat beiden reageren op andere factoren. De afwezigheid van een schijnverband vormt dus nog zo’n voorwaarde voor causaliteit. Enns controleert daarom voor de daadwerkelijke misdaadcijfers, drugsgebruik en economische ongelijkheid. Het effect van publieke opinie op beleid blijft overeind na rekening te hebben gehouden met deze factoren.

Op het eerste gezicht is Enns’ onderzoek op dit punt van schijnverbanden het meest kwetsbaar. Heeft hij namelijk wel ‘voldoende’ gecontroleerd voor relevante factoren? Dat de drie bovenstaande variabelen niet alle factoren zijn waarvoor in principe gecontroleerd zou moeten worden lijkt me heel aannemelijk, maar wanneer je gaat nadenken over concrete omissies blijkt het toch vaak lastig om deze te identificeren. Enns laat in ieder geval zien dat zijn analyse standhoudt wanneer naast de drie bovengenoemde variabelen ook nog gecontroleerd wordt voor algemeen conservatisme, immigratie en werkloosheid (zie tabel A-4 in de appendix).

Vaak wordt naast deze drie voorwaarden (tijdsvolgorde, correlatie en afwezigheid schijnverband) ook nog verlangd dat er een bepaald causaal mechanisme bestaat dat expliciet maakt hoe oorzaak en gevolg met elkaar in verbinding staan. Volgens Enns is één van de tussenliggende factoren dat het Amerikaanse Congres reageert op publieke opinie wat vervolgens weer leidt tot concrete beleidsuitkomsten zoals het aantal gedetineerden.

Alternatief

Je kunt dus voldoende gaten schieten in onderzoek dat louter correlaties presenteert om een causaal argument te maken, maar meestal weten de betrokken onderzoekers dat zelf dondersgoed en hébben ze al de nodige stappen ondernomen om voorbij die simpele correlatie te geraken. En dan nog, wat is het alternatief? We weten inmiddels sinds jaar en dag dat de experimentele methode het meest geschikt is om oorzaak en gevolg in kaart te brengen, maar de meeste maatschappelijke onderwerpen kunnen vanwege praktische, ethische of financiële redenen niet worden onderworpen aan interventies van onderzoekers. Geloof me, ik zou graag at random in landen het kiesstelsel veranderen om te zien wat de gevolgen zouden zijn voor verkiezingsopkomst, maar dat gaat toch echt niet gebeuren.

Wanneer een onderzoeker een simpele correlatie presenteert, terwijl er andere technieken voorhanden zijn, dan mag u zichzelf eindeloos facepalmen en headdesken. Ik doe zelf niet mee, want het is moeilijk om mijn werk te combineren met hersenbeschadiging. Toch kan soms ook het rapporteren van een simpele correlatie een waardevolle bijdrage zijn, helemaal wanneer deze gepaard gaat met een sterke theoretische onderbouwing. Een correlatie mag dan geen sluitend bewijs vormen voor oorzakelijkheid, het is meestal wél de eerste aanwijzing dat die oorzakelijkheid überhaupt bestaat.

Het onderzoek van Peter Enns vormt dus geenszins het definitieve bewijs dat de toegenomen strafbereidheid onder Amerikanen heeft gezorgd voor toenemende incarceration rates. Mensen die predikaten als ‘baanbrekend’ en ‘definitief’ gebruiken voor pas verschenen onderzoek hebben sowieso een jip-en-jannekevisie op het wetenschappelijk discours. Publicatie van onderzoek is niet het eindstation, maar juist het vertrekpunt voor discussie onder wetenschappers, óók voor onderzoek dat de (toegegeven gebrekkige) kwaliteitscontrole van de peer review heeft doorstaan.