De val van een icoon: Gallup trekt het boetekleed aan

Op 6 november 2012 werd Barack Obama herkozen als president van de Verenigde Staten. Obama won 51.1% van de stemmen, zijn Repubikleinse uitdager Mitt Romney 47.2%. Deze uitslag kwam niet bepaald als een verrassing, althans niet voor diegenen die de peilingen van de laatste dagen voor 6 november hadden gevolgd. Sterker nog, naast een klinkende overwinning voor Obama waren de Amerikaanse presidentsverkiezingen een triomftocht voor nerds als Nate Silver, een statistisch Wunderkind dat na wat flirts met baseball en online poker uitgroeide tot de voorspellingsgoeroe van Amerika.

Revenge of the Nerds

Silver was zeker niet de enige die alle vijftig staten en de District of Columbia (geen officiële staat maar mag wel kiesmannen leveren) correct inkleurde als ‘blauw’ of ‘rood’. Ook Drew Linzer, politicoloog aan Emory University, namens votamatic.org en Simon Jackman, politicoloog aan Stanford, namens de Huffington Post voorspelden het exacte aantal kiesmannen voor Obama en Romney: 332 om 206.

Voordat u denkt dat iedereen het bij het juiste eind had, dat is dus nadrukkelijk niet het geval. Sterker nog, oude rotten in het vak als Dick Morris en Karl Rove gingen falikant de mist in. De reden dat Silver, Linzer en Jackman zo succesvol waren in hun voorspelling is dat hun modellen in sterke mate rustten op opiniepeilingen van gereputeerde peilbureau’s. In Nederland klagen we graag over de overdaad aan peilingen – we hadden de afgelopen Tweede Kamerverkiezingen wel vier peilers in actie en bijna iedere dag tenminste één peiling – maar dat valt in het niet bij de Amerikaanse situatie. Daar verschijnen tientallen polls per dag die de nationale situatie in de gaten houden en nog eens vele anderen die de stemaandelen per staat registreren.

Polls als voorspelling van verkiezingsuitslag?

Maar niet alle peilbureau’s presteren even goed. Nederlandse peilers zijn over het algemeen huiverig om hun werk te classificeren als een voorspelling. Ipsos, het bureau achter de Politieke Barometer, schrijft op haar website: “Een peiling die op de dag voor de verkiezingen wordt gepresenteerd is GEEN VOORSPELLING van de verkiezingsuitslag” (capslock in het origineel). TNS Nipo sluit zich hier bij aan: “We zien de slotpeiling dan ook niet als een prognose of voorspelling voor de uitslag, maar als een beeld van de situatie vlak voor de verkiezingen.” Bij Amerikaanse peilers bestaat die schroom niet. Sterker nog, zij laten zich graag afrekenen op de verkiezingsuitslag, wat ook één van de voornaamste redenen is dat Amerikaanse peilers vaak stemintenties van ‘likely voters’ in kaart willen brengen.

De meeste gereputeerde Amerikaanse peilers deden het prima wat betreft hun slotpeiling, hoewel ze bijna allemaal steun voor Romney overschatten. Zoals halfgod Nate Silver schreef: “it turned out that most polling firms underestimated Mr. Obama’s performance, so those that had what had seemed to be Democratic-leaning results were often closest to the final outcome.” Toch lag de daadwerkelijke verkiezingsuitslag bijna overal binnen de foutmarge van de slotpeilingen. Maar wat toch vooral opvalt als je verkiezingsuitslag naast de slotpeilingen legt is de dramatische prestatie van een firma wiens naam jarenlang synoniem stond voor het vak van opiniepeilen: Gallup.

Gallup vergaloppeert zich

De bekendste peiler ter wereld scoorde het slechtst van de 23 spelers die regelmatig peilden in aanloop naar 6 november 2012. Door tal van factoren waar ik dadelijk op zal ingaan waren de polls van Gallup systematisch vertekend ten gunste van Romney. In hun slotpeiling voorspelde Gallup een uitslag van 49% (Romney) om 48% (Obama), oftewel een statistisch ex aequo, terwijl Obama met bijna 4% verschil de verkiezingen won. Ook in de weken daarvoor peilde Gallup consistent Romney op aanzienlijke voorsprong, terwijl de meeste overige peilers een nek-aan-nek race voorspelden.

In plaats van wild om zich heen te slaan naar critici of bij de pakken neer te zitten trok Gallup het boetekleed aan en voerde een grondige revisie van de eigen methodologie door. Het verschil in invalshoek met de boven aangehaalde Nederlandse peilers is overigens opvallend. Gallup schrijft zonder omhaal van woorden in de inleiding van het rapport: “Gallup’s goal in presidential election environments is to reflect underlying voter opinions and sentiment accurately, and in its final estimate, to closely approximate the final popular vote outcome.”

Vier fouten

De wijzigingen slaan op vier factoren die elk op zich een kleine vertekening opleveren, maar wél allemaal in dezelfde richting (pro-Republikeinen) waardoor netto een aanzienlijke onderschatting van Obama’s stemaandeel ontstaat:

• Foute ‘likely voters’. Zoals gezegd willen Amerikaanse peilers de verkiezingsuitslag voorspellen. Ze zijn dus niet zozeer geïnteresseerd in stemvoorkeuren van de Amerikaanse bevolking of zelfs de Amerikaanse kiesgerechtigde bevolking. Opkomst bij Amerikaanse presidentsverkiezingen schommelt rond de 55% dus het is voor peilers van groot belang om op correcte wijze stemmers van niet-stemmers te onderscheiden. De meeste peilers doen dit op basis van een aantal vragen die een graadmeter vormen voor opkomst, zoals politieke interesse, opkomst in het verleden, kennis over de plaats van het stembureau, etc. Volgens Gallup vertekende vooral één vraag over politieke interesse – zij noemen dit de “thought given to the election” variabele – de uitkomst. Zonder deze variabele was de vertekening richting Romney al aanzienlijk minder geweest. Sterker nog, zonder hun ‘likely voters’ filter, dus onder het gehele electoraat, voorspelde Gallup een verschil van 3% ten faveure van Obama, nagenoeg identiek aan de verkiezingsuitslag…

• Foute geografische vertegenwoordiging. Respondenten aan de Oost- en Westkust van de Verenigde Staten waren ondervertegenwoordigd. Aangezien Obama in deze regio’s relatief populair is heeft dit natuurlijk tot gevolg dat zijn algemene steun ook wordt onderschat.

• Foute weging voor ras en etniciteit. Vrijwel ieder peilbureau past weging toe om te compenseren voor de ondervertegenwoordiging van bepaalde groepen respondenten. Om te corrigeren voor de ondervertegenwoordiging van etnische minderheden presenteerde Gallup de respondenten een aantal categorieën na elkaar (While, Asian, Black or African-American, etc) die ze met ‘ja’ of ‘nee’ moesten beantwoorden. Het interessante hieraan is dat je andere resultaten krijgt (minder multi-etnische antwoorden) wanneer je de lijst met categorieën eerst opleest en vervolgens respondenten in de gelegenheid stelt om meerdere antwoorden te kiezen. Het netto resultaat is dat Gallup door haar vraagstelling minderheden in de eigen steekproef overschat en daardoor uiteindelijk te weinig compenseert voor ondervertegenwoordiging van minderheden. En wederom ontstaat een kleine vertekening ten nadele van Obama.

• Fout steekproefkader. De ene helft van Gallup’s steekproef was gebaseerd op vaste telefoonnummers, de andere helft op mobiele nummers die op basis van random digit dialing (RDD) werden geselecteerd. Door deze methode waren oudere, veelal Republikeinse respondenten in het voordeel, wat leidde tot onderschatting van Obama’s stemaandeel. Gallup is inmiddels overgestapt op RDD voor zowel vaste lijnen als mobiele nummers.

Hulde aan Gallup

Na het fiasco van 2012 heeft Gallup de fouten ruiterlijk toegegeven. Het bovengenoemde rapport bevat een groot aantal experimenten die de gemaakte fouten in kaart brengen en draagt oplossingen aan om herhaling van zetten te voorkomen. De fouten in Gallop’s methodologie waren overigens ver voor de verkiezingen van 2012 bekend. Zo schreef Mark Blumenthal, redacteur van Pollster (Huffington Post), al eerder over de foutieve weging en het vertekende steekproefkader van Gallup. David Axelrod, een sleutelfiguur in Obama’s succesvolle campagnes van 2008 en 2012 tweette het volgende:

@joshuagreen All of these were issues that were raised during the campaign, but met with stubborn resistance from the Gallup organization.

— David Axelrod (@davidaxelrod) June 4, 2013

Toch verdient Gallup weldegelijk lof voor hun aanpak van deze affaire. Ondanks het feit dat hij een zwakte in hun methodologie blootlegde, schrijft Mark Blumenthal bijvoorbeeld dat hij tijdens het onderzoek voor zijn artikel volledige openheid en medewerking en zelfs ruwe data van Gallup heeft ontvangen. In samenwerking met vooraanstaande Amerikaanse politicologen en methodologen heeft Gallup zichzelf onder de loep durven nemen en hoogstaand onderzoek verricht waar de surveygemeenschap nog veel aan zal hebben. Alle enquêteurs, of die nu academisch, commerciëel of politiek onderzoek verrichten, hebben te maken met soortgelijke problemen van dalende respons, toenemende weigering en oplopende kosten. Er is creativiteit en samenwerking nodig om ervoor te zorgen dat de kwaliteit van publieke opinie data op een hoog peil (no pun intended) blijft.

Zo. En nu ter afsluiting een hilarisch clipje uit de Daily Show over peilingen…