Begin volgende week komen de verschillende onderzoekbureaus weer met hun slotpeilingen: de laatste reguliere zetelpeiling voor de (laatste) verkiezingsdag. Daarover wordt steevast uitgebreid bericht en na de verkiezingen worden ze altijd naast de uitslag van de verkiezingen gelegd. Hoe informatief zijn die slotpeilingen nu ten aanzien van de verkiezingsuitslag? Kiezers kunnen immers nog van mening veranderen na de slotpeiling en bovendien kunnen methodologische keuzes ertoe leiden dat peilingen sommige partijen te hoog of te laag inschatten. In dit blog laat ik zien dat de verschillen tussen slotpeilingen en uitslag over het algemeen beperkt zijn. Zetelpeilingen lenen zich dus heel goed als inschatting van de overall krachtsverhoudingen en trends in steun voor partijen. Maar eigenlijk elk verkiezingsjaar is er wel een flinke ‘verrassing’: een partij die minimaal 5 zetels meer of minder haalt dan in de slotpeilingen.
Voor de verkiezingen vanaf 2006 heb ik steeds de slotpeilingen van elk bureau en de verkiezingsuitslag naast elkaar gelegd. We kijken per partij of de peiling afweek van de uitslag; het gaat hierbij in onderstaande figuur om absolute aantallen. In ruwweg drie op de tien gevallen kwam het gepeilde zetelaantal exact overeen met de uitslag. In nog eens ruim 3 op de tien gevallen zien we een verschil van één zetel. Dat valt vrijwel altijd binnen de onzekerheidsmarges die peilingen hanteren. Afwijkingen van twee zetels zien we in ongeveer 15% van de gevallen; en ook die afwijkingen vallen voor de (middel)grote partijen veelal binnen de geldende onzekerheidsmarges. Dan kom je samen op ongeveer 77% van de verschillen.
In 23% van de gevallen zien we een verschil van 3 zetels of meer tussen slotpeiling en uitslag. Hoewel zo’n verschil doorgaans buiten de onzekerheidsmarge van een peiling zal vallen, kan dit natuurlijk komen door veranderingen in de kiezersgunst na de slotpeilingen. Die slotpeilingen worden doorgaans immers in de dagen voor de publicatie ervan afgenomen. Het hoeft dus niet te betekenen dat de peiler er in zo’n geval ‘naast zat’; de slotpeiling is immers een momentopname. De peilers geven dit de laatste verkiezingen ook aan: het is geen voorspelling. Maar het betekent natuurlijk wel dat we enigszins verrast kunnen worden als op de verkiezingsavond om 21 uur de exit poll en later de uitslagen binnenkomen.
Als we een afwijking van 5 of meer zetels voor een partij een echte ‘verrassing’ noemen[1], dan vielen in de afgelopen vier verkiezingen 12% van de observaties in de categorie ‘verrassingen’. Als dit jaar vergelijkbaar is met de voorafgaande jaren, is zo’n verrassing bij één of twee partijen dus eigenlijk wel te verwachten. Let wel, een ‘verrassing’ is dus heel goed denkbaar, maar we weten natuurlijk niet vooraf bij welke partij dit speelt. En misschien zijn de verschillen tussen slotpeilingen en uitslagen dit keer wel kleiner of juist groter dan in voorgaande verkiezingen.
Verschillen per bureau
Iets meer inzicht kunnen we krijgen door deze absolute verschillen uit te splitsen per verkiezing en per bureau. Hieronder staat een boxplot per verkiezingsjaar per bureau (en de Peilingwijzer als combinatie van de peilingen die in het betreffende jaar werden gehouden). Zo’n boxplot geeft de spreiding van waarden aan, in dit geval dus de afwijkingen voor elke partij met in de slotpeiling ten opzichte van de uitslag. Zo was de doorsnee (mediane) afwijking voor Peil.nl in 2006 1 zetel, aangegeven door de streep in het midden van de ‘box’. De helft van alle waarden valt in de box. De ‘snorren’ geven de spreiding van waarden van minimum tot maximum aan, waarbij ‘uitbijters’ of ‘outliers’ door een stipje worden weergegeven. Bij Kantar (toen nog TNS NIPO) in 2006 zie je bijvoorbeeld dat voor alle partijen de verschillen tussen de 0 en 3 zetels lagen, behalve voor ééntje, waarbij het verschil 7 zetels was (dat was de SP).
Afwijkingen van 0, 1 of 2 zetels komen verreweg het meeste voor. Maar voor bijna elke peiler is er minimaal één partij is waarvoor het verschil tussen slotpeiling en uitslag 5 zetels of meer is. Alleen Ipsos in 2017 wist de verschillen te beperken tot 4 zetels (voor VVD en CDA). Dus een ‘verrassing’ van 5 of meer zetels komt bij vrijwel elke peiler voor, maar beperkt zich doorgaans tot één partij per bureau, soms twee.
Verschillen per partij
Als we de verschillen uitsplitsen per partij in plaats van per bureau, zien we dat het vaak dezelfde partijen zijn waarvoor de slotpeilingen en uitslag veel verschillen. Ik kijk hierbij niet naar het absolute verschil, maar ook naar de richting, zodat we kunnen zien of de partij het in de slotpeiling slechter of beter deed dan in de uitslag. Zo zaten de grootste verschillen in 2006 voor alle peilers bij PVV (slotpeilingen lager dan uitslag), SP en PvdA (gemengd beeld). Hoewel elk van de drie peilers bij één partij een verschil had van 5 of meer zetels, was dit voor elk bureau een andere partij. Voor geen andere partij verschilde één van de slotpeilingen meer dan 2 zetels van de uitslag. In 2010 lagen de grootste verschillen opnieuw bij de PVV (uitslag was hoger) en in iets mindere mate bij de VVD (uitslag was lager). In 2012 waren de verschillen vooral te zien bij VVD (uitslag was hoger), SP (uitslag was lager) en in mindere mate bij de PvdA. In 2017 haalde de VVD meer zetels dan in elke slotpeiling. GroenLinks stond in bijna elke slotpeiling hoger dan de 14 zetels die het uiteindelijk haalde, hoewel bijna overal minder dan de ‘verassingsgrens’ van 5 zetels.
Sommige ‘verrassingen’ zien we bij (bijna) alle peilers, zoals de PVV in 2010 en de VVD in 2017. Het helpt in dat soort situaties niet om naar een gemiddelde van peilingen te kijken, zoals bijvoorbeeld de Peilingwijzer, momenteel een combinatie van de peilingen van I&O Research, Ipsos en Kantar. In andere gevallen zien we een groot verschil bij één peiler, maar kleinere verschillen (of zelfs een afwijking in de ‘omgekeerde richting’) bij andere bureaus. Neem bijvoorbeeld de SP in 2006. Deze partij stond op 32 bij TNS NIPO en op 23 bij zowel Ipsos als Peil.nl. Wie daar een gemiddelde nam van de drie beschikbare peilingen kwam met 26 zetels het dichtste uit bij de uiteindelijke uitslag van 25 zetels.
Nametingen
De verklaring voor deze verschillen ligt in een combinatie van verschuivingen na het veldwerk voor de slotpeilingen en onder- of overschatting van partijen in peilingen. Uit de nametingen die peilers in 2017 op verzoek van de NOS uitvoerden, bleek dat de verschillen tussen slotpeilingen en uitslag voor bijvoorbeeld de VVD voor een substantieel deel konden worden toegeschreven aan vertekeningen: de peilers ‘zaten te laag’. Maar ook veranderingen in de laatste dagen speelden, althans volgens de meeste peilers, een rol bij de VVD. De vijf peilers die een nameting (of een soortgelijk onderzoek) deden onderschatten de VVD gemiddeld met 3,7 zetels volgens de nameting – terwijl de slotpeilingen van die bureaus nog een gemiddeld gat van 7 zetels met de uitslag hadden laten zien. Dit suggereert dat ongeveer de helft van het gat tussen slotpeilingen en uitslag in dit geval kon worden toegeschreven aan veranderingen in de kiezersgunst na de laatste peilingen.[2]
Toch kun je op basis van die nametingen in 2017 niet zomaar zeggen: de VVD zal wel weer onderschat worden. In 2010 werd de partij bijvoorbeeld nog overschat in de slotpeilingen. De PVV werd in 2010 veel lager ingeschat in de slotpeilingen dan in de einduitslag, maar in 2012 waren de slotpeilingen juist iets hoger dan de uitslag. Peilingsbureaus passen hun methodes aan op basis van ervaringen uit het verleden. Zo kon I&O Research in 2017 nog niet helemaal goed wegen op stemgedrag bij de vorige verkiezingen, omdat ze die vraag in 2012 niet aan iedereen in hun panel hadden gesteld. Nu kan dit bureau deze relevante correctie op een betere manier uitvoeren.
Of de verschillen nu komen door ‘last minute’ verschuivingen of methodologische beperkingen: slotpeilingen geven over het algemeen een behoorlijk goed beeld van wat ons te wachten staat, maar een ‘verrassing’ van 5 of meer zetels voor één of twee partijen is goed denkbaar. De lezer van peilingen en in het bijzonder de kiezer die peilingen gebruikt om strategisch te stemmen, moet zich dit goed realiseren.
[1] Dit is natuurlijk een arbitraire grens. Misschien zijn 3 of 4 zetels verschil ook wel enigszins verrassend, maar 5 zetels is toch wel echt opvallend, ook voor grotere partijen (waarbij we doorgaans de grotere verschillen zien).
[2] Het beeld was overigens niet helemaal consistent tussen peilers. Bij I&O research was het verschil tussen uitslag en nameting nog steeds ongeveer 6 zetels, terwijl het bij Kantar slechts ongeveer 2 zetels was. Voor beide peilers was het gat tussen slotpeiling en uitslag van de VVD 6 zetels.
Geef een reactie
Je moet inloggen om een reactie te kunnen plaatsen.