Op 24 juni 2015 publiceerde de NOS de meeste recente schattingen van de Peilingwijzer. Deze peiling peilt niet zelf onder potentiële kiezers. De bedenker, Tom Louwerse, berekent een soort gemiddelde van bestaande peilingen. De NOS meldt op grond van de Peilingwijzer dat de PvdA en GroenLinks nu even groot zijn. Maar is dat ook zo?
Het lijkt bij deze Peilingwijzer vooral om de PvdA en GroenLinks te gaan. Welke van de twee partijen is de grootse? De vraag is of je dit wel kunt vaststellen. In het bericht van de NOS wordt gemeld dat de peilers met nogal verschillende schattingen voor beide partijen komen. In de grafiek hieronder staan de schattingen voor het aantal zetels van GroenLinks en de PvdA volgens drie peilers: De Stemming van GfK Intomart, de Politieke Barometer van Ipsos en Maurice de Hond.
De schattingen voor de PvdA lopen van negen zetels bij Maurice de Hond en De Stemming tot 13 zetels bij de Politieke Barometer. Dat is dus een verschil van vier zetels. Bij GroenLinks loopt het verschil zelfs op tot zeven zetels. De Politieke Barometer schat GroenLinks op zeven zetels en Maurice de Hond komt uit op 14 zetels. Je kunt je afvragen hoe dit mogelijk is, want deze peilers zouden immers allemaal hetzelfde moeten meten: steun onder het Nederlandse electoraat.
Webpanels
In de tabel hieronder zijn wat karakteristieken op een rij gezet. Het belangrijkste verschil tussen de peilingen is misschien wel de peildatum. Tussen De Stemming en Maurice de Hond zit bijna een maand. De Politieke Barometer en Maurice de Hond peilden echter maar een paar dagen na elkaar. Het lijkt onwaarschijnlijk dat het verschil van zeven zetels tussen de twee peilingen in die drie dagen kan zijn ontstaan. De conclusie moet haast wel zijn dat beide peilingen iets anders meten.
Voor geen van de drie peilingen is een nette aselecte steekproef getrokken. Alle drie de peilers maken gebruik van een webpanel, dat is gevuld via zelfselectie. Mensen kunnen zich spontaan opgeven voor deze panels, waardoor we vooral mensen in deze panels terugzien die het leuk vinden om aan peilingen mee te doen en/of geïnteresseerd zijn in de onderwerpen die aan bod komen. Dit maakt dat deze panels geen goede afspiegeling vormen van het Nederlandse electoraat.
Alle drie de peilers proberen hun pelingen representatief te maken voor het Nederlandse electoraat door een correctie uit te voeren. Door respondenten te ‘wegen’ maken peilers hun steekproef representatief met betrekking tot de enkele variabelen die hiervoor beschikbaar zijn. Peilers gebruiken veelal dezelfde weegvariabelen: geslacht, leeftijd, opleiding, regio en stemgedrag bij de vorige verkiezingen. De Stemming gebruikt ook nog de religieuze overtuiging van de respondenten. Gezien de overeenkomsten lijkt het niet voor de hand te liggen dat de verschillen tussen de peilingen het gevolg zijn van verschillen in weging.
Zuinige peilers
Er kunnen nog andere oorzaken zijn voor de verschillen. Het zou bijvoorbeeld kunnen liggen aan de formulering van de vragen of aan de plaats van de vraag in de vragenlijst. Helaas is dit soort informatie niet beschikbaar op de websites van de peilers, die helaas nogal zuinig zijn met het verstrekken van cruciale methodologische informatie.
Vanwege de manier waarop de gegevens zijn verzameld (webpanel met zelfselectie) is het niet mogelijk om aan te geven hoe betrouwbaar de schattingen zijn. Twee van de drie peilingen geven daarom ook geen onzekerheidsmarges. De Politieke Barometer doet dit wel, maar die zijn gebaseerd op de veronderstelling dat er een aselecte steekproef is getrokken. Dat is hier duidelijk niet het geval.
Is het denkbaar om een peiling op een andere manier te doen dan met een web panel? Je zou bijvoorbeeld kunnen denken aan een telefonische peiling. In Nederland doen alle peilers het online, maar in Engeland kom je nog wel telefonische peilingen tegen. Het is echter de vraag of die peilingen beter zijn. Bij de parlementsverkiezingen in het Verenigd Koninkrijk op 7 mei 2015 zaten alle peilers ernaast, ongeacht of het een webpanel of een telefonische peiling betrof.
Al met al ontstaat er een wat somber beeld over de kwaliteit van de peilingen. Dat beeld wordt nog wat meer versterkt door een artikel in de New York Times van peilexpert Cliff Zukin. Samengevat: peilbureau’s overal ter wereld zouden met de huidige financiële middelen nauwelijks nog kwalitatief hoogstaande peilingen kunnen aanbieden. Mensen gebruiken steeds minder vaste telefoonlijnen en weigeren sowieso in toenemende mate deel te nemen aan enquêtes. De verleiding is groot om dan maar webpanel te gebruiken, maar de methoden om deze webpanel representatief te maken staan nog in de kinderschoenen. Stof tot nadenken dus!
Het kan zijn dat ik het mis heb maar Ipsos (de Politieke Barometer) peilt ook telefonisch. Dus niet alleen een webpanel.
De zetelpeilingen van Ipsos zijn gebaseerd op online onderzoek, zo staat in hun eigen verantwoording te lezen: http://www.ipsos-nederland.nl/ipsos-politieke-barometer/barometer-van-deze-week/de-peiling-in-detail/
De website van Ipsos meldt niets over telefonisch interviewen bij de Politieke Barometer. Je kunt je trouwens afvragen of dit een goed idee zou zijn als de responspercentages bij telefonisch interviewen zo laag zijn.
Het klopt dat de uitspraken over PvdA en GroenLinks op gelijke hoogte alleen gelden onder de assumpties van de Peilingwijzer. Een belangrijke assumptie is daarbij dat de huiseffecten van de verschillende peilers optellen tot nul, dus dat de ‘gemiddelde’ peiler geen structurele vertekening laat zien. Die assumptie is niet onproblematisch, want zoals je er op wijst zitten er soms onverklaarbaar grote verschillen tussen eindpeilingen en verkiezingsuitslagen. Toch zien we dat effect het sterkste als alle peilers er in een richting naast zitten (bijv. bij Labour in het Verenigd Koninkrijk) en niet zoals hier als de peilers sterk verschillende huiseffecten hebben. Maar ook in dit geval geldt: als De Hond in werkelijkheid precies goed zit met GroenLinks, dan zit de Peilingwijzer automatisch te laag.
Verder is het natuurlijk zo dat GroenLinks en PvdA onder de bevolking vrijwel nooit precies even veel steun hebben; het stemmenaantal is nooit precies gelijk. Maar op basis van de beschikbare informatie uit peilingen & met inachtneming van de assumpties van de Peilingwijzer kunnen we stellen dat het onmogelijk is om te concluderen dat de een groter is dan de ander.
Zelf houd ik al jaren alle beschikbare peilingen bij, Ik ben een gewone particulier met veel nuchter interesse in de Ned.Politiek en ben daarom een simpele website begonnen met onder anderen de wekelijkse peilingen.
Ik doe dit heel erg simpel: Gewoon vanaf 2012 het simpele gemiddelde van alle peilingen, niks geen gewogen gemiddelde en bla bla bla,
het leuke was nu dat ik met mijn simpele peiling , in 2012 bij de verkiezingen het beter deed dan menig professioneel
peiling bureau.
Van alle peilingen eindige ik als derde, toch wel leuk.
Hieruit blijkt dat een nuchtere benadering soms veel beter is dan al dat wetenschappelijk gedoe enz.
Ik hoop hiermee uw interesse te hebben gewekt en u regelmatig mijn website wilt bezoeken.
Lees daar ook mijn eigen nuchtere Colms
Bas de Vos
dehaagsepolitiek.eu