Het lijkt inmiddels vaste prik te zijn na iedere verkiezingsuitslag: de peilingen zouden er weer naast hebben gezeten. Commentatoren vragen zich hardop af wat er toch in hemelsnaam schort aan al die peilingen (hier en hier), terwijl de peilindustrie in het Verenigd Koninkrijk en de Verenigde Staten commissies in het leven riep om het eigen falen tegen het licht te houden.
Maar volgens een opmerkelijke nieuwe studie van de politicologen Will Jennings en Christopher Wlezien in Nature Human Behavior (open versie hier) zijn deze alarmistische berichten zwaar overtrokken. Op basis van een analyse van meer dan 30.000 peilingen gehouden tijdens 351 verkiezingen in 45 landen tussen 1942 en 2017 concluderen Jennings en Wlezien dat peilingen tegenwoordig niet vaker naast de verkiezingsuitslag zitten dan voorheen. Sterker nog, als er al veranderingen waarneembaar zijn, dan eerder in de tegengestelde richting: peilingen worden steeds beter (al zijn de verschuivingen marginaal).
Er zijn grofweg twee benaderingen voor het vaststellen van de kwaliteit van peilingen. Je kunt allereerst de gebruikte methodologie onder de loep nemen en kijken of wordt voldaan aan vastgestelde standaarden. Helaas is dit makkelijker gezegd dan gedaan. Hoewel er onder peilers en wetenschappers consensus bestaat over algemene beginselen brokkelt deze consensus af wanneer het gaat om concrete technieken. Geef vijf peilers een identieke steekproef en ze komen met verschillende resultaten terug. Dit komt deels door een verschillende weging, deels door andere methodes om opkomst te modelleren. Wat de precieze redenen ook moge zijn, er bestaat simpelweg te veel onduidelijkheid over de bruikbaarheid van verschillende methoden, zeker ook omdat je van te voren niet weet wat de belangrijkste thema’s in een verkiezing zullen zijn. (Dit schijnt een van de voornaamste manco’s te zijn geweest bij de peilingen in aanloop naar de Amerikaanse presidentsverkiezingen van 2016. Terwijl de nationale peilingen naar behoren presteerden lieten de peilingen in een aantal cruciale staten veel te wensen over omdat niet voldoende was gewogen op opleidingsniveau. In eerdere verkiezingen was dit niet zo’n groot probleem, maar opleidingsniveau bleek in 2016 meer dan ooit samen te hangen met stemkeuze. Door onvoldoende te corrigeren voor de ondervertegenwoordiging van lager opgeleiden onderschatten deze lokale peilingen steun voor Trump met alle gevolgen van dien.)
Maar je kunt dus ook net als Jennings en Wlezien de methoden laten voor wat ze zijn en de peilingen vergelijken met verkiezingsuitslagen. In Amerika laten peilers zich graag afrekenen op de verkiezingsuitslag. Gallup, de beroemdste peilorganisatie ter wereld, trok in 2012 het boetekleed aan na de desastreuze voorspelling dat Romney voor Obama zou eindigen en kondigde in 2016 zelfs aan helemaal geen presidentiële polls meer te zullen houden. Maar in Nederland zijn peilers wat dubbelzinniger. Enerzijds schrijven sommigen dat peilingen een momentopname zijn en geen voorspelling van de verkiezingsuitslag, maar anderzijds kunnen ze het niet laten op sociale media hun opluchting uit te spreken wanneer ze niet al te ver van die uitslag af zitten.
Jennings en Wlezien berekenen voor iedere partij in iedere peiling het verschil tussen het stemaandeel in die peiling en de verkiezingsuitslag (zoals de NOS hier deed voor de afgelopen Tweede Kamerverkiezingen). Vervolgens nemen ze de absolute waarde van dit verschil omdat ze geïnteresseerd zijn in afwijkingen en dan maakt het niet uit of een peiling een partij overschatte of onderschatte. In de onderstaande figuur staan zijn de grijze cirkels de fouten per partij en de zwarte bolletjes het gemiddelde voor dat jaar. Het is meteen duidelijk dat er geen trend waarneembaar is. De gemiddelde fout is al decennia stabiel rond de 2%. De auteurs onderzoeken ook of er trends bestaan wanneer je peilfouten op een andere manier zou meten, bijvoorbeeld door het verschil tussen de winnaar en verliezer in een peiling te vergelijken met datzelfde verschil in de verkiezingsuitslag. Het maakt voor de resultaten niets uit. Peilingen worden overigens ook niet grilliger door de tijd heen (dus dat ze gemiddeld genomen even ver van de uitslag zitten maar de spreiding rondom het gemiddelde toeneemt).
Figuur 1. Verschil tussen peiling en uitslag per politieke partij.
Wanneer we kijken naar de meest recente verkiezingen in een aantal landen zien we dat de bovengenoemde patronen ook hier zichtbaar zijn. Sommige landen zitten boven het algemene gemiddelde, andere eronder. Jennings en Wlezien hebben voor deze figuur alleen de grootste partijen meegenomen omdat voor kleinere partijen sowieso amper ruimte bestaat voor grote afwijkingen tussen peiling en uitslag. Het interessante aan deze figuur is dat de tweede ronde van de Franse presidentsverkiezingen de grootste misser vormt, maar dat in de berichtgeving er veel minder aandacht voor die casus bestaat dan voor Trump, Brexit of de ‘UK Polling Disaster’ van 2015. Dit heeft alles te maken met het feit dat Macron won en dat het voor de beeldvorming veel minder belangrijk was dat peilingen zijn aandeel sterk onderschatten (en dat van Marine Le Pen sterk overschatten). Je ziet iets soortgelijks terug in de berichtgeving rondom de Britse verkiezingen van 2015. De misser van 2015 was ongeveer even groot als die in 1997, maar in dat laatste geval hadden de peilingen correct voorspeld dat Tony Blair een absolute zetelmeerderheid zou behalen, terwijl in 2015 ten onrechte een hung parliament werd voorspeld. Dus soms worden peilfouten voor lief genomen omdat de juiste regeringsuitkomst wordt voorspeld, terwijl andere keren marginale peilfouten worden uitvergroot omdat zij de foute winnaar aanwijzen.
Al met al lijkt me het grootste raadsel niet waarom peilingen niet meer zouden deugen, maar hoe het in hemelsnaam mogelijk is dat ondanks toegenomen electorale volatiliteit en razendsnelle maatschappelijke en technologische veranderingen peilingen nog steeds even (on)nauwkeurig zijn als voorheen…
Figuur 1. Verschil tussen peiling en uitslag per politieke partij in recente verkiezingen.
Geef een reactie
Je moet ingelogd zijn op om een reactie te plaatsen.