Iets meer dan twee weken voor de verkiezingen is nieuws over peilingen erg populair. Steeds meer twijfelende kiezers zullen, wellicht mede op grond van peilingen, nadenken over hun stem: strategisch misschien? Dan is het opnieuw goed om je te beseffen dat peilingen de werkelijkheid weliswaar benaderen, maar dat je te maken hebt met onzekerheden. De Peilingwijzer en De Stemming van EenVandaag geven die foutmarges expliciet aan in hun berichtgeving en veel andere peilers noemen ze in een disclaimer. Maar daarmee ben je er nog niet. Want als de laatste Peilingwijzer op 14 maart aangeeft dat een partij op tussen de 20 en 25 zetels staat, kan het best zijn dat de uitslag de volgende dag toch buiten die marge valt.
Allereerst kunnen mensen na de slotpeiling nog van mening veranderen. Ongeveer 15 procent van de kiezers koos in 2012 pas definitief op de verkiezingsdag zelf. Wie strategisch stemt, baseert zich wellicht op slotpeilingen, zodat deze self-denying prophecies worden, zoals hoogleraar kiezersonderzoek Joop van Holsteyn stelt.
Daarnaast kunnen peilingen er naast zitten: vertekening of bias noemen we dat. De onzekerheidsmarge die peilers rapporteren omvat die mogelijke vertekening niet. Die marge geeft alleen de onzekerheid als gevolg van toevallige fouten, met name als gevolg van het feit dat peilingen gebaseerd zijn op steekproeven. En dan gaat het vaak om een 95% marge, die zo gekozen is dat in 95% van de gevallen dat we zo’n marge maken het echte percentage van een partij er binnen zal vallen. Maar dan gaan we er vanuit dat er geen vertekening is. Als een peiling als gevolg van methodologische keuzes structureel te hoog of te laag zit voor een partij, dan zit dat niet in de onzekerheidsmarge verwerkt.
Voor de Peilingwijzer geldt iets soortgelijks. De Peilingwijzer is geen peiling, maar een statistisch model dat peilingen samenvoegt. Daarbij gelden bepaalde aannames, zoals de veronderstelling dat de gemiddelde peiler goed zit (dat de huiseffecten van de peilers gemiddeld gelijk zijn aan nul). Onder die aannames gelden de gerapporteerde foutmarges. Maar is die aanname niet (geheel) correct, dan kan de steun voor een partij ook buiten die marges vallen. De Peilingwijzer is geen magisch instrument: als alle peilers een partij te hoog of te laag inschatten, dan zal de Peilingwijzer dat ook doen.
Hoe groot kan die afwijking dan zijn? Dat is natuurlijk lastig vast te stellen, omdat het verschil tussen een slotpeiling en de verkiezingsuitslag dus het gevolg van meerdere factoren kan zijn. Maar de peilingen uit 2006, 2010 en 2012 laten zien dat het best goed denkbaar is dat de slotpeilingen vóór minimaal één partij duidelijk (5 zetels of meer) zullen afwijken van de uitslag.
Dat was in 2006 bijvoorbeeld het geval bij de SP voor TNS NIPO (32 in slotpeiling, 25 in uitslag), de PVV bij Interview/NSS (4 in slotpeiling, 9 in uitslag) en de PvdA bij Peil.nl (38 in slotpeiling, 33 in uitslag). In 2010 waren alle slotpeilingen (17-18) lager dan de uitslag voor de PVV (24 zetels). Bovendien zaten alle peilers toen hoger dan de uitslag voor de VVD, waardoor een duidelijk gat tussen VVD en PvdA in de slotpeilingen, verrassend klein was in de einduitslag. In 2012 waren er bij alle peilers (en in de Peilingwijzer) duidelijke verschillen te zien tussen slotpeilingen en uitslag voor de VVD (35-37 versus 41) en SP (20-22 versus 15).
Het kan best zo zijn dat (een gedeelte van) het verschil tussen slotpeilingen en uitslag verklaard kan worden door mensen die nog van mening zijn veranderd, maar voor de gebruiker van de slotpeilingen maakt dat eigenlijk niet uit. Wees niet verbaasd als we voor één of twee partijen weer een duidelijk verschil zien tussen slotpeiling(wijzer) en de uitslag. Een strategische stemmer die zich baseert op peilingen moet zich hier goed van bewust zijn. Als de vorige verkiezingen enig inzicht bieden, dan is het dat de peilingen weliswaar over het algemeen een redelijk beeld van de einduitslag geven, maar dat een verrassing bij één of twee partijen niet onwaarschijnlijk is.
Top dat je dit stuk hebt geschreven. Het benoemt precies mijn twijfels die ik had bij de 95% CI die ik zag bij de peilingwijzer. Ook daar was ik overigens blij dat er duidelijk stond aangegeven welke aannames er nodig waren voor deze marge.
Ik vrees dat de aanname dat de huiseffecten van de pijlers gemiddeld 0 zullen zijn niet de werkelijkheid is, maar bij gebrek aan informatie hierover is dit het beste dat je kan doen.
Denk je dat het nog nuttig kan zijn om op basis van eerdere verkiezingen bepaalde peilers zwaarder te wegen als zij dichter bij de werkelijkheid zaten dan andere peilers?
Nogmaals heel blij met hoe je de peilingwijzer doet en de achtergrondinformatie erover.
Dit is de peiling die ik volg: zeer duidelijk!
Ook dit extra commentaar zinvol.
(Minor: het “je” in de derde zin is overtollig).
Groet
jk