Toen vorige week de nieuwe Peilingwijzer uitkwam,wees Jelke Bethlehem me op iets geks: bij de PVV lag de schatting van de Peilingwijzer lager dan bijna alle peilingen. Je zou verwachten dat ruwweg de helft van de peilingen onder de Peilingwijzer ligt, en de helft erboven; het is immers een soort ‘gemiddelde’ van de peilingen. Maar dat is sinds begin van dit jaar niet meer zo.
Tot maart was er een stabiel patroon: Peil van Maurice de Hond schatte de PVV iets hoger in dan De Politieke Barometer van Ipsos en De Stemming van EenVandaag. Dit zogenoemde ‘huiseffect’ vat samen dat peilingen van diverse bureaus door verschillende keuzes in de onderzoeksaanpak structureel van elkaar kunnen verschillen. Eenzelfde beeld was ook al voor de verkiezingen van 2012 te zien, dus dat verbaasde weinig.
Sinds de gemeenteraadsverkiezingen en de ‘minder minder’ uitspraken van Wilders, zien we echter dat de PVV-peilingen van Politieke Barometer (de blauwe bolletjes in de grafiek) en Peil (rode bolletjes) veel dichter bij elkaar liggen. Regelmatig is de PVV nu zelfs groter in de Barometer dan bij Peil. Wat is hier aan de hand?
Het lijkt erop dat de structurele verschillen tussen de peilingbureaus sinds maart zijn verschoven. Dat kan bijvoorbeeld komen doordat peilingbureaus hun onderzoeksaanpak naar aanleiding van de gemeenteraadsverkiezingen hebben bijgesteld. Of doordat door de ‘minder minder’ uitspraken van Wilders er dusdanige verschuivingen in het profiel van zijn kiezers hebben plaatsgevonden dat er, mede door de door peilers toegepaste wegingsformules, nu structureel andere resultaten uitkomen.
Dit kan worden geïllustreerd door de Peilingwijzer te herhalen, maar dan een ‘knip’ te maken voor en na de gemeenteraadsverkiezingen. De Peilingwijzer gaat ervan uit dat de huiseffecten van de peilers gemiddeld genomen nul zijn. Dat doen we nu ook, maar we nemen een gemiddeld huiseffect van vóór 19 maart en van daarna.
Als we dat doen zien we dat er inderdaad stevige verschillen in de huiseffecten zijn voor en na 19 maart (zie hieronder). Waar Peil voor 19 maart structureel hoger peilde voor de PVV, staat ze na 19 maart rond het gemiddelde. De Stemming en De Politieke Barometer gaan juist van een negatief naar een meer positief huiseffect. TNS NIPO blijft redelijk stabiel, maar heeft een grotere onzekerheidsmarge door het kleine aantal peilingen van dit bureau.
Het is belangrijk om te benadrukken dat het hier om relatieve verschuivingen gaat. We kunnen dus wel zeggen dat Peil de PVV sinds pakweg maart dit jaar structureel lager inschat dan gemiddeld, in plaats van structureel hoger, maar dat wil niet zeggen dat dit komt doordat Peil iets aan zijn methode heeft veranderd. Als één bureau zijn methode aanpast en daardoor structureel hoger of lager gaat peilen, dan heeft dat immers gevolgen voor het gemiddelde.
Toch lijkt de meest voor de hand liggende verklaring voor de vrij abrupte verschuiving dat minimaal één bureau zijn methodes heeft aangepast, waardoor het nu structureel hoger of lager peilt dan voorheen. Daarom is het van groot belang dat bureaus volstrekt helder zijn over de gekozen aanpak.
Dat dit niet zonder consequenties is, laat onderstaande figuur zien. Hier vergelijk ik de uitkomsten van de originele Peilingwijzer (blauwe lijn) met de schatting waarin voor de periode voor en na 19 maart aparte huiseffecten zijn berekend (zwarte lijn). Voor de periode tot 19 maart zijn de schattingen vrijwel hetzelfde, maar daarna lopen ze zo ongeveer één procent, dat is een tot twee zetels, uiteen. Als er dus echt een peiler aan zijn methode heeft gesleuteld, kan de Peilingwijzer de PVV nu dus iets onderschatten.
Misschien zie ik alternatieve verklaringen voor de hier beschreven patronen over het hoofd. In dat geval zie ik ze graag in de reacties.
Hannibal zegt
Wat een factor kan zijn, is dat sommige bureaus in de weging meenemen, in hoeverre de speerpunten van partijen in het nieuws zijn. Dat zou veel van de afwijkingen van afgelopen jaar verklaren.
Tom Louwerse zegt
Voor zover ik weet, weegt geen enkel bureau op deze manier. Weging gebeurt zodat de steekproef qua samenstelling gelijk is aan de populatie (alle kiezers) op kenmerken waarvan we weten hoe de populatie in elkaar steekt, bijvoorbeeld geslacht (ongeveer 50%-50% man-vrouw), woonplaats, leeftijd en opleidingsniveau. Je kunt niet wegen op factoren waarvan je niet weet hoe de populatie in elkaar steekt, dus worden speerpunten in het nieuws niet meegenomen.
Wat soms lijkt te gebeuren, hoewel steeds minder geloof ik, is dat sommige peilers eerst inhoudelijke vragen stellen en daarna pas de partijkeuze voorleggen. In dat geval kunnen vragen over de actualiteit de partijkeuze in de peilingen van dat bureau beïnvloeden. Maar ik geloof dat geen enkele peiler in Nederland dat nog doet.
Kaj Leers zegt
Goed punt van Hannibal. Sinds GR2014 is er qua context veel veranderd dankzij de opkomst van ISIS. Je kunt hierdoor verwachten dat zorgen over islam, integratie en immigratie hierdoor weer stijgen in de prioriteitenlijstjes in de hoofden van mensen en andere zorgen — sociaal-economische — juist weer iets dalen.
Tom Louwerse zegt
Dat is waar, maar dan vraag ik me af waarom dat verschillende peilers op verschillende manieren zou beïnvloeden. Zou je zo’n effect niet ‘accross the board’ verwachten?
Kaj Leers zegt
Mogelijk aanpassingen in de panels idd. Iemand al de mogelijkheid van even bellen met de peilers overwogen? 🙂
Joost zegt
Is het niet redelijk makkelijk te achterhalen welk bureau de methode heeft aangepast door alles door te rekenen voor steeds alle bureaus minus 1?