Is de Peilingwijzer een bedorven maaltijd?

Toen de Peilingwijzer voor het eerst werd gepubliceerd, merkte Reinier Heutink van Ipsos (Politieke Barometer) op: “Als je een goede maaltijd mengt met een bedorven maaltijd, houd je altijd een bedorven maaltijd over.” Met de goede maaltijd bedoelde hij uiteraard zijn eigen peiling; met die die bedorven maaltijd zal hij vast zijn collega Maurice de Hond bedoeld hebben.

Koken is echter wat anders dan peilen en het is nog maar de vraag in hoeverre Heutink gelijk heeft. De Peilingwijzer voegt alle bestaande peilingen samen tot een soort ‘gemiddelde’ inschatting van de steun voor alle partijen. Daarbij wordt er -kortweg- vanuit gegaan dat de peilingen gemiddeld genomen goed zitten. Hoe zou de Peilingwijzer veranderen als we bijvoorbeeld één peiler niet meenemen?

De aanpak is als volgt: in de standaard-peilingwijzer wordt aangenomen dat het huiseffect van de gemiddelde peiler gelijk is aan nul. Huiseffecten zijn de structurele over- of onderschatting van een partij door één peiler ten opzichte van alle andere peilers. Kortweg: sommige peilers schatten de PVV altijd hoger in dan andere peilers. In onderstaande simulaties gaan we er niet vanuit dat het gemiddelde van alle peilers nul is, maar het gemiddelde huiseffect van vier peilers, dus exclusief het ‘uitgesloten bureau’*. Het huiseffect van dat bureau mag zo groot of klein zijn als het wil, dat zal geen effect hebben op de uitkomst. Met andere woorden: als het CDA bij de uitgesloten peiler veel groter is dan bij andere peilers, dan laten we dat niet doorwegen in het gemiddelde van het huiseffect.

Peilingwijzer, maar dan zonder bureau… Meest recente uitslag (schatting plus onzekerheidsinterval). De schatting en interval van de standaard-Peilingwijzer staan met stippellijntjes aangegeven.

Als we dit doen, zien we drie grote afwijkingen van de standaard-Peilingwijzer. Als we bureau I&O research ‘weglaten’, komt de PvdA een stuk lager uit (ongeveer een half procent, bijna één zetel). De PVV komt dan juist een stuk hoger uit. Als we Peil niet meewegen voor het ‘gemiddelde’ huiseffect, dan komt het CDA ruim een half procent lager uit. Dit zijn stuk voor stuk gevallen waar het desbetreffende bureau een groot huiseffect heeft voor die partij, met andere woorden: ze schatten die partij veel hoger of lager in dan andere peilers. Maar zelfs bij redelijk grote huiseffecten is de impact op de Peilingwijzer als geheel beperkt, omdat er immers vijf peilingbureaus in verwerkt worden.

Natuurlijk kun je hier nog verder mee spelen. We kunnen ook kijken wat er gebeurt als het huiseffect van één bureau altijd precies gelijk is aan nul (dat bureau zit gemiddeld genomen precies goed), terwijl de huiseffecten van andere peilers vrijelijk mogen bewegen. In dat geval zijn de afwijkingen tot de standaard-Peilingwijzer groter, in lijn met de grootte van de gerapporteerde huiseffecten. Maar één peilingbureau heeft geen doorslaggevende invloed op het gemiddelde van de Peilingwijzer.

Geeft de Peilingwijzer dus een geheel ander beeld als we één van de vijf peilers weglaten? Nee, de afwijkingen zijn beperkt. Dat verhaal over die bedorven maaltijd moeten we met een korreltje zout nemen. Veel belangrijker zijn zorgen over industrie-effecten, waarbij alle peilers afwijken van het gemiddelde onder alle kiezers. Want als dat het geval is, helpt het middelen van peilingen sowieso niet.

In onderstaande grafiek kun je zelf bekijken hoe de inschattingen van de Peilingwijzer veranderen als we één bureau bij het middelen van de huiseffecten buiten beschouwing laten.
[iframe src=”https://dl.dropboxusercontent.com/u/31727287/Peilingwijzer/20150704/dygraph_omitPolls.htm” width=”100%” height=”700″]

* Let wel, de peilingen van het ‘uitgesloten bureau’ draaien wel mee in de Peilingwijzer, maar de structurele over- of onderschatting door dat bureau mag heel groot zijn. Daarbij is de impliciete aanname dat dit bureau, zelfs als ze constant te hoog of te laag zit, de trends van de partijen in kaart brengt. Als je het verloop van verschillende peilingen bekijkt, is dat niet zo’n gekke aanname.