Als peilingen falen: Waren de Amerikaanse verkiezingen echt zo onvoorspelbaar als kop-of-munt?

Volgens het voorspellingsmodel van FiveThirtyEight ging Hillary Clinton waarschijnlijk met een grote marge de presidentsverkiezingen winnen van Donald Trump: de kansen werden geschat op 70 tegen 30. Opvallend daarbij was dat in de zogenaamde ‘swing states’ Florida, Michigan, Pennsylvania en Wisconsin (samen goed voor 75 kiesmannen), Clinton duidelijk als winnaar werd aangewezen. Zo was de voorspelde kans om Michigan te winnen 79 tegen 21, Wisconsin 84 tegen 16 en Pennsylvania 77 tegen 23. Alleen in Florida lagen de kansen wat meer gelijk: 55 voor Clinton en 45 voor Trump. Hoe anders is het verlopen, Trump won in alle vier de staten en feitelijk daarmee ook de verkiezingen; in totaal kwamen er 306 kiesmannen achter zijn naam en Clinton kreeg er maar 232. De uitslag was uiteraard onverwacht, alle grote opiniepeilers zaten er immers flink naast. Althans: ze hadden de popular vote wel redelijk goed (Clinton haalde in totaal 2,5 miljoen stemmen meer), maar niet het aantal kiesmannen. Maar hoe onvoorspelbaar was de uitkomst nu echt?

Voor de popular vote koop je in Amerika niet zo veel. In de meeste staten (uitzonderingen zijn Maine en Nebraska)  geldt namelijk het ‘winner-takes-all’ principe: als je de meeste stemmen binnen een staat krijgt, dan krijg je alle kiesmannen uit die staat. Het aantal kiesmannen per staat heeft een relatie met het inwonertal, maar die is niet perfect. Zo krijgt Californië (totaal 55 kiesmannen) voor elke 700.000 inwoners 1 kiesman en in Wyoming (3) is dat 1 op elke 200.000.

De opiniepeilers gingen dus (gruwelijk) mis op staatsniveau. Een hypothese voor deze mislukking is dat in ‘swing states’ de marges zo klein zijn, dat opiniepeilers met hun relatieve kleine steekproeven wel de mist in moeten gaan.  Zo vergelijken Christopher Achen en Larry Bartels de uitkomsten van presidentsverkiezingen met het gooien van een munt: kop voor de democraten, munt voor de republikeinen. Een mooi voorbeeld is de verkiezing in 2000: Al Gore versus George W. Bush.  De strijd ging vrij gelijk op en het kwam uiteindelijk op swing state Florida aan met 29 kiesmannen: wie die kreeg kwam aan de vereiste 270 kiesmannen en zou president worden. Bush won met een verschil van 537 stemmen.

Waarom gingen peilers in de VS de mist in?

Maar lag het wel aan de kleine marges? Of lag het probleem toch bij de peilers zelf?

Uit simulaties blijkt, dat de foute voorspelling niet lag aan de kleine marges. Een steekproef van gemiddelde omvang (1000 per staat) had Trump ongeveer een 70/30 kans gegeven om de cruciale swing states binnen te halen. Natuurlijk is ook dat niet een erg betrouwbare schatting:  3 van de 10 opiniepeilingen zouden immers alsnog de mist in gaan als ze correct hadden gepeild. Maar dat is wel vele malen beter dan wat er daadwerkelijk is voorspeld.

De ironie is dus dat er zich niet echt een kop-of-munt situatie heeft voorgedaan (behalve in Michigan, zie hieronder), maar dat het gooien van een munt wel een betere voorspeller was geweest dan de peilingen die feitelijk gehouden zijn. Goede peilingen hadden beter gepresteerd dan kop-of-munt. De feitelijke voorspellingsmodellen presteerden zelfs slechter dan dat.

Uiteraard is deze miskleun in Amerika gebeurd waarin een eigenaardig tweetraps-verkiezingssysteem wordt gehanteerd, maar het geeft wel een waarschuwend signaal af aan opiniepeilers, ook aan die in Nederland voor de komende verkiezingen.

Berekeningen

De strijd ging voornamelijk om 4 staten met in totaal 75 kiesmannen, de overige staten waren voornamelijk ‘safe states’: staten die bekend staan om hun voorkeur voor de Democratische of Republikeinse kandidaat. In Florida (29 kiesmannen) won Trump met  49,1% van alle stemmen (Clinton 47,8; overig 3,1). In Wisconsin (10) was het 47,9 (T); 46,9 (C); 5,2 (O), Pennsylvania (20): 48,8 (T); 47,6 (C); 3,6 (O) en Michigan (16):47,6 (T); 47,3 (C); 5,1 (O). In elk geval was in deze vier staten het verschil het kleinst. De uitslag leek er het sterkst op de 50/50 verdeling die je met het gooien van een munt zou krijgen.

Om te onderzoeken in hoeverre de overwinning van Trump viel te voorspellen op basis van peilingen zijn voor zowel Florida, Michigan, Pennsylvania als Wisconsin 100.000 perfect a-selecte steekproeven getrokken uit de echte (multinomiaal verdeelde) stembusuitslagen van 8 november 2016. Dit is natuurlijk de droom van elke opiniepeiler: beter dan dit kan niet. De steekproefomvang van elk van de in totaal 400.000 steekproeven is gesteld op 1000, dat is een vrij gangbaar aantal in Amerika. In deze steekproeven is vervolgens bepaald wie er zou winnen (regel: minstens 1 stem meer dan de opponent) en is per staat de kans op de overwinning uitgerekend. Als voorbeeld de staat Michigan: in 53,3% van alle opiniepeilingen met een n=1000 zou Trump als winnaar zijn voorspeld en Clinton zou in 45,5% van alle gevallen als winnaar zijn aangewezen. De overige staten laten echter een ander beeld zien, daar zijn de kansen duidelijk in het voordeel van Trump (zie tabel).

¹ Aantal kiesmannen per staat tussen haakjes.

² Berekening kans: kans op winst Florida * kans op winst Michigan * kans op winst Pennsylvania * kans op winst Wisconsin.

³ De optelsom van beide kansen (0,67 en 0,29) is iets kleiner dan 1, omdat er ook een kleine kans bestaat dat in een steekproef beide kandidaten evenveel stemmen krijgen. Het is enigszins vergelijkbaar met erg kleine verschillen in de werkelijke verkiezing die dan worden aangevochten (‘too close to call’).

Om de eerste vrouwelijke president te worden, moest Clinton bovenop de 232 kiesmannen nog minstens 38 kiesmannen halen uit de 4 staten. Dat kon op een aantal manieren: of Florida winnen en minstens nog een staat (7 mogelijkheden) of in Michigan, Pennsylvania en Wisconsin winnen. Daarmee is ook duidelijk hoe belangrijk Florida is geweest in de verkiezingen: verliezen daar, was voor Clinton zo goed als het presidentschap verliezen. De totale kans op winnen blijkt voor Clinton ongeveer 30% op basis van de perfecte peilingen (zie de tabel). De meeste peilingen kwamen tot de conclusie dat er 70% kans was voor Clinton.

Dit toont aan hoe vertekend op staatniveau de peilingen ten gunste van de democraten moeten zijn geweest. Van een echte kop-of-munt situatie was slechts in Michigan sprake. Als voorspeller was het opgooien van een munt wel dichter bij de uitkomst geweest dan alle polls bij elkaar…

Naschrift
Tijdens het schrijven kwam het bericht dat een hertelling in de staat Pennsylvania waarschijnlijk niet doorgaat. De hertelling in Wisconsin is inmiddels wel begonnen en voor Michigan loopt een aanvraag. Aangezien alle drie de staten nodig zijn voor een overwinning van Clinton is de hertelling kansloos. Echter ook als er een hertelling in Pennsylvania had plaatsgevonden dan nog was het een kansloze missie, omdat de verschillen te groot zijn (10.000 stemmen in Michigan, 68.000 in Pennsylvania en 30.000 in Wisconsin).  Het verschil in Florida was overigens 120.000 stemmen. In totaal hebben er 136 miljoen Amerikanen gestemd (59% van alle stemmers). In dat licht bezien hebben Achen en Bartels een punt: de uitslag was onvoorspelbaar, aangezien deze kon kantelen op basis van iets meer dan 100.000 stemmen, nog geen 0,1% van alle uitgebrachte stemmen.

Afbeelding: “Donald Trump at CPAC 2014” door Gage Skidmore (via Wikipedia/Flickr).