Er bestaat een wijdverbreid misverstand dat politicologen een hekel zouden hebben aan opiniepeilingen. Het zijn niet de peilingen die niet deugen – een enkele uitzondering daargelaten – maar de mediaberichtgeving over die peilingen. Nu met de gemeenteraadsverkiezingen en de Europese verkiezingen in het vooruitzicht de peilingencarrousel weer begint te draaien, wilde ik een lans breken voor de Peilingwijzer van collega Tom Louwerse. De Peilingwijzer is namelijk een geweldig hulpmiddel voor een correcte interpretatie van zetelpeilingen.
Een peilresultaat is niets anders dan een meting van een eigenschap (partijvoorkeur) onder het Nederlandse electoraat. Iedere meting, en daarmee de conclusies die getrokken worden op basis van die meting, is onderhevig aan fouten. De Peilingwijzer stelt onderzoekers, journalisten en het brede publiek in staat om bewust om te gaan met zowel toevallige als systematische fouten die inherent zijn aan het tijdrovende proces van opiniepeilen. Want laat één ding duidelijk zijn: peilen is een vak. En nog eens een verdomd moeilijk vak ook. De schier oneindige reeks voxpopjes in nieuwsuitzendingen, internetpolls van kranten en andere pseudopeilingen zullen nooit een substituut zijn voor goed uitgevoerd enquêteonderzoek. Peilingen zijn vooralsnog het beste instrument dat we hebben om de algemene stemming onder het electoraat in kaart te brengen.
Wie peilt het best?
Journalisten zouden natuurlijk gebruik kunnen maken van de ‘beste’ peiling, maar dat is makkelijker gezegd dan gedaan. Het valt in de praktijk niet mee om wiskundig vast te stellen welke van de vier grote peilbureau’s – Politieke Barometer (Ipsos), De Stemming (EenVandaag), Peil.nl (Maurice de Hond) en TNS Nipo – de beste peilingen uitvoert. We weten namelijk niet wat de partijvoorkeuren onder het electoraat zijn om deze vervolgens te kunnen vergelijken met de schattingen van de peilbureau’s. We peilen juist om die onbekende partijvoorkeuren te meten.
Maar kunnen we zetelpeilingen dan niet vergelijken met de verkiezingsuitslag? De verkiezingsuitslag komt inderdaad aardig in de buurt van een populatieschatting van partijvoorkeuren (natuurlijk afhankelijk van de opkomst), maar peilers in Nederland zijn zeer stellig in hun overtuiging dat een peiling de politieke voorkeuren van dat moment in kaart brengt. Ipsos, het bureau achter de Politieke Barometer, schrijft op haar website: “Een peiling die op de dag voor de verkiezingen wordt gepresenteerd is GEEN VOORSPELLING van de verkiezingsuitslag” (capslock in het origineel). TNS Nipo sluit zich hier bij aan: “We zien de slotpeiling dan ook niet als een prognose of voorspelling voor de uitslag, maar als een beeld van de situatie vlak voor de verkiezingen.” Bij Amerikaanse peilers bestaat die schroom niet. Sterker nog, zij laten zich graag afrekenen op hun voorspelling van de verkiezingsuitslag.
‘Poll of polls’
Er rest ons dus niets anders dan de schattingen van peilers met elkaar te vergelijken. De Peilingwijzer combineert dan ook een grote hoeveelheid informatie van de vier grote peilers in één schatting van de partijvoorkeuren van het electoraat. Zie het als een soort gewogen gemiddelde van de afzonderlijke resultaten van de vier peilbureau’s (zie hier voor een methodologische verantwoording).
Het samenvoegen van peilingen levert een beter beeld op van de bevolkingskenmerken die geschat worden. Zo waren de beste voorspellingen van de Amerikaanse presidentsverkiezingen van 2012 gebaseerd op dit principe van aggregeren. Voorspellingsgoeroe Nate Silver, en politicologen als Drew Linzer en Simon Jackman, voorspelden de winnaar in alle Amerikaanse staten op basis van een soortgelijke ‘poll of polls’. En weet u wat de uitslag waarschijnlijk nog beter had voorspeld? Een samenvoeging van alle ‘poll of polls’…
Foutmarges
Nu geeft de Peilingwijzer niet alleen een schatting van bijvoorbeeld het stempercentage van de VVD onder de Nederlandse bevolking, maar ook de foutmarge rond die schatting. Die foutmarges zijn van het grootste belang om verschillen tussen partijen op één tijdspunt en winst of verlies van een partij door de tijd heen correct te kunnen duiden. En dit zijn nou net twee punten waarop de peilingencarrousel helemaal doordraait.
Wekelijkse schommelingen van een paar zetels worden verabsoluteerd, terwijl die veranderingen net zo goed het resultaat hadden kunnen zijn van toevalligheden. Wanneer de ene partij een zetel meer scoort dan de andere, heet het ineens dat die partij groter of populairder is dan die andere. Jos Heymans, politiek verslaggever van RTL Nieuws, schreef bijvoorbeeld in een column over de ‘stiekeme opkomst van het CDA’ dat het CDA in grootte de PvdA zou hebben ingehaald. Het bleek te gaan om een verschil van één zetel (19 om 18) in de toenmalige peiling van peil.nl. De kans is aanzienlijk dat je uit een populatie waar CDA en PvdA even groot zijn een willekeurige steekproef trekt waar één van beide een zeteltje groter is dan de ander op basis van toeval. Statements als die van Heymans zijn helaas schering en inslag in de politieke verslaggeving.
De Peilingwijzer berekent en visualiseert de onzekerheidsmarges voor iedere schatting. Gebruikers kunnen partijen direct met elkaar vergelijken in het tabblad ‘Verschillen’. Een verschil tussen twee partijen is statistisch significant wanneer de waarde 0 niet binnen de onzekerheidsmarges van het verschil valt. In dat geval is het verschil tussen partijen dusdanig dan we met grote waarschijnlijkheid een soortgelijk verschil onder het electoraat mogen verwachten. Dezelfde logica geldt voor het vaststellen of veranderingen in stemvoorkeuren voor dezelfde partij het resultaat zijn van toeval (zie het tabblad ‘Winst/Verlies’).
Natuurlijk is het verleidelijk voor journalisten om foutmarges te negeren. Zonder onzekerheid lijkt ieder klein verschil in een enkele peiling ook een daadwerkelijk verschil onder het electoraat. Gegeven de grote hoeveelheid aan peilingen en partijen, kan iedere journalist cherry picken in de lange lijst aan insignificante verschillen tot er één is gevonden die past bij het verhaal men toch al wilde vertellen…
Huiseffecten
Naast de explicite behandeling van onzekerheid blinkt de Peilingwijzer ook uit in het weergeven van vertekeningen in de metingen van peilers. Bij sommige peilers ligt steun voor bepaalde partijen stelselmatig hoger dan bij hun collega’s. Vergeleken met de overige drie peilers schat Maurice de Hond steun voor de PVV een paar zetels hoger in. De VVD daarentegen scoort hoger in de Politieke Barometer dan bij de andere peilers. Deze vertekeningen zijn terug te vinden in het tabblad ‘huiseffecten’ van de Peilingwijzer.
Het maakt nogal uit voor de nieuwswaarde van een peiling door wie de peiling is uitgevoerd. Zo kopten talloze nieuwssites afgelopen zondag op basis van de laatste peiling van De Hond dat de PVV even groot zou zijn als de PvdA en VVD samen. Dit komt louter doordat De Hond de PVV stelselmatig overschat en zowel PvdA als VVD stelselmatig onderschat vergeleken met de overige peilers. Bij geen van de overige peilbureau’s (noch bij de gecombineerde schatting van de Peilingwijzer) komt de PVV ook maar in de buurt van de gezamelijke grootte van de coalitiepartijen. Dit weerhield RTL Nieuws er niet van om dit als nieuwsfeit in de uitzending van zondagavond te presenteren (zie hier rond 3:00).
Scorebordjournalistiek
De Peilingwijzer stelt gebruikers dus in staat om verantwoord om te gaan met toevallige fouten (foutmarges) en systematische fouten (huiseffecten) die inherent zijn aan ieder peilresultaat. De middelen zijn ruimschoots aanwezig om op professionele wijze om te gaan met de schat aan informatie die goed uitgevoerd enquêteonderzoek kan bieden.
Soms gaan er stemmen op om peilingen voor verkiezingen te verbieden, maar dan gooi je de baby weg met het badwater. Alsof een verbod op peilingen een halt zou toeroepen aan de stroom aan luie scorebordjournalistiek in kranten, blogs en op televisie. Natuurlijk niet. Maar in plaats van peilingen te gebruiken om aan te geven wie er wint, verliest of de grootste is, zouden zelfbenoemde spindoctors en pundits bij Matthijs van Nieuwkerk mogen ouwehoeren over de gevolgen van ‘lichaamstaal’ bij debatten en vervolgens iedere scheet van een lijsttrekker duiden als ‘game changer’. Geef mij dan maar methodologisch verantwoorde politieke verslaggeving op basis van peilingen.
Het alternatief voor slechte berichtgeving over peilingen is dan ook niet om peilingen te verbieden, maar om de berichtgeving te verbeteren. Peilingen zijn uitmuntende instrumenten voor het in kaart brengen van globale verschillen en trends, niet voor eventuele schommelingen op korte termijn en minimale verschillen tussen partijen. Kortom, gebruik de Peilingwijzer!
Peilers zijn de ratingbureau’s van de verkiezingswereld. Ik ben er van overtuigd dat de uitslag van de laatste verkiezingen er heel anders uit had gezien als er niet of veel minder gepeild was.
Er zijn vele mensen geweest die hun stem hebben verplaatst naar de VVD of de PvdA om ervoor te zorgen/mee te helpen dat niet een van de twee de grootste werd. Door de peilers werd de strijd gemaakt tot een wedstrijd tussen twee partijen, waarbij een boel kiezers zich soort van gedwongen zagen te hiertussen te kiezen. Ikzelf heb bv PvdA gekozen omdat ik bang was dat de VVD teveel macht kreeg. Waarschijnlijk gebeurde het andersom ook.