Zijn de PvdA en GroenLinks ‘even groot’?

Op 24 juni 2015 publiceerde de NOS de meeste recente schattingen van de Peilingwijzer. Deze peiling peilt niet zelf onder potentiële kiezers. De bedenker, Tom Louwerse, berekent een soort gemiddelde van bestaande peilingen. De NOS meldt op grond van de Peilingwijzer dat de PvdA en GroenLinks nu even groot zijn. Maar is dat ook zo?

Het lijkt bij deze Peilingwijzer vooral om de PvdA en GroenLinks te gaan. Welke van de twee partijen is de grootse? De vraag is of je dit wel kunt vaststellen. In het bericht van de NOS wordt gemeld dat de peilers met nogal verschillende schattingen voor beide partijen komen. In de grafiek hieronder staan de schattingen voor het aantal zetels van GroenLinks en de PvdA volgens drie peilers: De Stemming van GfK Intomart, de Politieke Barometer van Ipsos en Maurice de Hond.

De schattingen voor de PvdA lopen van negen zetels bij Maurice de Hond en De Stemming tot 13 zetels bij de Politieke Barometer. Dat is dus een verschil van vier zetels. Bij GroenLinks loopt het verschil zelfs op tot zeven zetels. De Politieke Barometer schat GroenLinks op zeven zetels en Maurice de Hond komt uit op 14 zetels. Je kunt je afvragen hoe dit mogelijk is, want deze peilers zouden immers allemaal hetzelfde moeten meten: steun onder het Nederlandse electoraat.

Webpanels

In de tabel hieronder zijn wat karakteristieken op een rij gezet. Het belangrijkste verschil tussen de peilingen is misschien wel de peildatum. Tussen De Stemming en Maurice de Hond zit bijna een maand. De Politieke Barometer en Maurice de Hond peilden echter maar een paar dagen na elkaar. Het lijkt onwaarschijnlijk dat het verschil van zeven zetels tussen de twee peilingen in die drie dagen kan zijn ontstaan. De conclusie moet haast wel zijn dat beide peilingen iets anders meten.

Voor geen van de drie peilingen is een nette aselecte steekproef getrokken. Alle drie de peilers maken gebruik van een webpanel, dat is gevuld via zelfselectie. Mensen kunnen zich spontaan opgeven voor deze panels, waardoor we vooral mensen in deze panels terugzien die het leuk vinden om aan peilingen mee te doen en/of geïnteresseerd zijn in de onderwerpen die aan bod komen. Dit maakt dat deze panels geen goede afspiegeling vormen van het Nederlandse electoraat.

Alle drie de peilers proberen hun pelingen representatief te maken voor het Nederlandse electoraat door een correctie uit te voeren. Door respondenten te ‘wegen’ maken peilers hun steekproef representatief met betrekking tot de enkele variabelen die hiervoor beschikbaar zijn. Peilers gebruiken veelal dezelfde weegvariabelen: geslacht, leeftijd, opleiding, regio en stemgedrag bij de vorige verkiezingen. De Stemming gebruikt ook nog de religieuze overtuiging van de respondenten. Gezien de overeenkomsten lijkt het niet voor de hand te liggen dat de verschillen tussen de peilingen het gevolg zijn van verschillen in weging.

Zuinige peilers

Er kunnen nog andere oorzaken zijn voor de verschillen. Het zou bijvoorbeeld kunnen liggen aan de formulering van de vragen of aan de plaats van de vraag in de vragenlijst. Helaas is dit soort informatie niet beschikbaar op de websites van de peilers, die helaas nogal zuinig zijn met het verstrekken van cruciale methodologische informatie.

Vanwege de manier waarop de gegevens zijn verzameld (webpanel met zelfselectie) is het niet mogelijk om aan te geven hoe betrouwbaar de schattingen zijn. Twee van de drie peilingen geven daarom ook geen onzekerheidsmarges. De Politieke Barometer doet dit wel, maar die zijn gebaseerd op de veronderstelling dat er een aselecte steekproef is getrokken. Dat is hier duidelijk niet het geval.

Is het denkbaar om een peiling op een andere manier te doen dan met een web panel? Je zou bijvoorbeeld kunnen denken aan een telefonische peiling. In Nederland doen alle peilers het online, maar in Engeland kom je nog wel telefonische peilingen tegen. Het is echter de vraag of die peilingen beter zijn. Bij de parlementsverkiezingen in het Verenigd Koninkrijk op 7 mei 2015 zaten alle peilers ernaast, ongeacht of het een webpanel of een telefonische peiling betrof.

Al met al ontstaat er een wat somber beeld over de kwaliteit van de peilingen. Dat beeld wordt nog wat meer versterkt door een artikel in de New York Times van peilexpert Cliff Zukin. Samengevat: peilbureau’s overal ter wereld zouden met de huidige financiële middelen nauwelijks nog kwalitatief hoogstaande peilingen kunnen aanbieden. Mensen gebruiken steeds minder vaste telefoonlijnen en weigeren sowieso in toenemende mate deel te nemen aan enquêtes. De verleiding is groot om dan maar webpanel te gebruiken, maar de methoden om deze webpanel representatief te maken staan nog in de kinderschoenen. Stof tot nadenken dus!