Sinds kort is CentERdata van de Universiteit van Tilburg begonnen met het uitvoeren van zetelpeilingen via hun LISS-panel. Dat panel is opgezet voor het uitvoeren van wetenschappelijk onderzoek en wordt nu voor de eerste keer gebruikt om zetels te peilen. Hoewel er dus ruim tien jaar ervaring met opinieonderzoek achter zit, hebben ze nog niet eerder naar zetels gepeild of tenminste dergelijke peilingen gepubliceerd. De resultaten wijken voor een aantal partijen opvallend af t.o.v. eerdere peilingen: de PVV scoort duidelijk lager en D66 scoort duidelijk wat hoger. Daarom vroegen sommigen mij waarom dit bureau toch wordt meegenomen in de Peilingwijzer.
Voor opname van een peiling in de Peilingwijzer hanteer ik al geruime tijd een aantal basale criteria. Het moet gaan om een serieuze opiniepeiling (bijv. geen internetpoll waaraan je zonder aanmelding kan meedoen, betting market of twitteranalyse) die al minimaal twee keer is uitgevoerd en de intentie heeft om op regelmatige basis te blijven peilen. Onder die criteria zijn in 2012 vanaf juli (twee maanden voor de verkiezingen) de peilingen van EenVandaag/GfK meegenomen. Vanaf begin 2015 neem ik de peilingen van I&O Research mee. En onder dezelfde uitgangspunten vanaf januari 2017 de peilingen van LISS-panel.
Er zijn natuurlijk aanvullende criteria te bedenken voor opname in de Peilingwijzer. Zo zouden we eisen kunnen stellen aan de steekproeftrekking (of samenstelling van het panel), of daarvoor een weging toe kunnen passen. We zouden eisen kunnen stellen aan de openbaarmaking van methode en data, bijvoorbeeld door te stellen dat een peiler lid moet zijn van beroepsorganisatie MOA. We zouden kunnen eisen dat een peiler al minimaal sinds de vorige verkiezingen aan het peilen is. Of dat ze minimaal één keer in de maand peilen. Er is voor gekozen om dat alles niet te doen, omdat je al te snel vrij arbitraire keuzes aan het maken bent omtrent weging van deze en mogelijk nog andere aspecten.
Robuust
De methode van de Peilingwijzer is daarbij relatief robuust t.a.v. opname van peilers. In 2015 rekende ik uit wat er gebeurt als één peiler niet mee zou tellen bij het berekenen van de huiseffecten (ofwel: de assumptie wordt dan dat alle peilers behalve X gemiddeld goed zitten). De effecten waren maximaal 1 zetel. Als bureau I&O Research weggelaten zou worden, zou de PvdA op dat moment een kleine zetel lager scoren, terwijl de PVV een halve zetel hoger zou scoren. Als we Peil.nl zouden weglaten, zou het CDA juist lager scoren. Voor alle overige partijen waren de effecten kleiner. Ofwel: het maakt niet zo gek veel uit of je een bureau weglaat of niet. Eén peilingsbureau heeft geen doorslaggevende invloed op de Peilingwijzer.
Dat geldt ook nu: de Peilingwijzer die verscheen op 1 februari (’s avonds) heb ik nog een keer herhaald zonder het LISS-panel. Er zijn dan kleine verschillen te zien voor de partijen die bij LISS wat sterker afwijken van het algemene beeld. Zo doet de PVV het bij LISS een stuk minder goed, wat resulteert in een uitkomst die 0,7% lager ligt als LISS wordt meegenomen. Bij D66, SP en PvdA gaat het om scores die respectievelijk 0,5%, 0,4% en 0,3% hoger liggen. Dat is dus enige afwijking, al zijn deze nog ruim kleiner dan de onzekerheidsmarges van de Peilingwijzer. Daarbij geldt: hoe meer bureaus worden meegenomen in de Peilingwijzer, des te kleiner de impact van extreme scores bij één bureau.
Aanmerkingen
Het opnemen van het LISS-panel in de Peilingwijzer betekent overigens niet dat je niets kunt aanmerken op hun methode. Dat is, net als bij andere peilers, het geval: onderzoek vereist methodologische keuzes en daarover kun je discussiëren. Het LISS-panel is qua oorspronkelijke samenstelling wellicht het beste panel: het wordt met een aselecte steekproef geloot uit het bevolkingsregister. Dat is beter dan zelfselectie. En er wordt veel moeite gedaan om degenen die eigenlijk niet zo’n zin hebben om mee te doen aan het onderzoek toch te betrekken. Dat zal selectieve non-respons (niet iedereen doet even graag mee aan zo’n panel) niet geheel tegengaan, maar werkt beter dan niets doen. Uit onderzoek van Bethlehem en Scherpenzeel en van Brüggen, Van den Brakel en Krosnick blijkt dat het LISS-panel goed scoort: er is een kleinere vertekening van uitkomsten dan in andere panels. Wat het de zetelpeilingen betreft, gaat het echter om een specifiek onderzoeksproject waarbij 3500 uit de 5000 panelleden zijn uitgenodigd voor wekelijkse deelname aan het verkiezingsonderzoek. Hoewel de respons hoog is, zou je je kunnen voorstellen dat juist politiek minder geïnteresseerden wat vaker een keer overslaan.
Een ander aandachtspunt is de vraagstelling. Het LISS-panel vraagt de leden naar de kans dat een deelnemer op elke partij stemt (deze aanpak is enigszins vergelijkbaar met een vijf- of tienstemmenvraag zoals sommige andere bureaus gebruiken). Je kunt bijvoorbeeld aangeven: 50% kans op een CDA-stem, 30% op een VVD-stem en 20% op een PVV-stem. De uitslag wordt berekend op basis van de gewogen kansen. Dus als het panel zou bestaan uit twee mensen met de bovenstaande voorkeuren, dan zou het CDA 50% van de stemmen krijgen, de VVD 30% en de PVV 20%. Je kunt je afvragen of dit niet relatief gunstig is voor partijen die in veel keuzesets zitten, zoals lange tijd bijvoorbeeld D66: traditioneel geven veel mensen die partij enige maar geringe kans op hun stem. Maar als veel mensen D66 10% kans op hun stem geven, betekent dat dan ook dat D66 uiteindelijk 10% van de stemmen van die groep krijgt? Daar kan men aan twijfelen.
Ervaring
Daarnaast kun je opmerken dat de onderzoekers achter het LISS-panel weliswaar veel ervaring hebben met dit soort opinieonderzoek, maar niet met zetelpeilingen. Je kunt van de peilingbureaus veel zeggen, maar ze weten toch met panels die qua samenstelling niet altijd even optimaal zijn over het algemeen nette peilingen neer te zetten. Ze hebben vaak jarenlange ervaring met het toepassen van correcties op de data. Het LISS-panel mist dat soort ervaring.
Desalniettemin is het panel serieus opgezet. Op de aanpak van andere peilers kun je ook aanmerkingen plaatsen. Sterker nog, de vijf andere peilers kunnen ook niet allemaal structureel helemaal goed zitten met hun peilingen (geen vertekening hebben): dat laten de grote structurele verschillen tussen de peilers wel zien. De Peilingwijzer beoogt om alle beschikbare peilingdata op verantwoorde en transparante manier te combineren. Het zou raar zijn om de criteria voor opname van een bureau in de Peilingwijzer die ik al sinds 2012 hanteer nu ineens te wijzigen; het ook nu hanteren van de bestaande criteria dwingt simpelweg tot opname. Natuurlijk kun je hierin ook andere keuzes verdedigen, al is een tussentijdse wijziging van criteria toch wel problematisch, maar de impact op de resultaten van de Peilingwijzer is sowieso beperkt.
Het is goed om nogmaals te benadrukken dat een van de aannames van de Peilingwijzer is dat de gemiddelde peiler geen structurele afwijking heeft voor een partij (dus op lange termijn precies goed zit). In die zin is de Peilingwijzer dus een middeling van de bestaande gegevens. Als er een peiler wordt toegevoegd, dan verandert dus ook dat gemiddelde iets. En als de gemiddelde peiler een afwijking vertoont, doet ook de Peilingwijzer dat. Dat is nu eenmaal de aard van het beestje.
Met dank aan Joop van Holsteyn, Sywert van Lienden en Ben Meindertsma; enkele van de bovenstaande argumenten zijn ontleend aan (online) discussies met hen.
Voor het verkiezingsonderzoek LISS panel is de wijze van vraagstelling de kern van het experiment. Juist in deze tijden waarin veel kiezers nog twijfelen wat ze zullen gaan stemmen, op dit moment geeft ruim 70% in het LISS onderzoek nog twee of meer partijen aan, kan een vraagstelling waarbij mensen alle twijfel kunnen laten zien misschien een beter beeld geven. Maar dit gaat inderdaad uit van de veronderstelling dat als 10 mensen aangeven dat er 10% kans is dat ze op D66 stemmen dat een van die 10 kiezers dat dan ook zal doen. Je ziet dus dat partijen die in meer keuzesets zitten het in het verkiezingsonderzoek LISS panel wat beter doen dan bij enkele andere onderzoeken. We zijn benieuwd, we gaan het afwachten! Wat betreft de respons zal het altijd zo zijn dat er een bias zit in mensen die aan een dergelijk onderzoek meedoen, maar wij zijn verheugd met een respons die nu constant tussen de 75% en 80% ligt en die vergelijkbaar is met de responspercentages die we uit andere onderzoeken in het LISS panel kennen. Zie voor de verdere verantwoording, de weging en de wijze van analyse de website.