• Skip to primary navigation
  • Skip to main content
  • Skip to primary sidebar
StukRoodVlees

Politicologie en actualiteit

  • OVER SRV
  • AUTEURS
  • CATEGORIEËN
  • ARCHIEF
  • CONTACT

eenvandaag

Waardeloze enquêtes?

door Jelke Bethlehem, Joop van Holsteyn, Tom van der Meer 16/04/2021 0 Reacties

Waardeloze enquêtes. Dat was de kop boven de column van Cecile Janssens in NRC van vrijdag 2 april 2021. In haar column stelde zij dat opinieonderzoeken als die van EenVandaag en Hart van Nederland waardeloos zijn. Ze zijn immers niet gebaseerd op representatieve steekproeven. Ze geven daarom geen goed, representatief beeld van de publieke opinie in Nederland. En dus produceren ze nepnieuws.

We vinden dat deze kwalificatie te kort door de bocht is. We tekenen daarbij aan dat we alle drie als methodologische adviseurs betrokken zijn bij het EenVandaag Opiniepanel. Dus het gevaar van ‘Wij van WC-eend adviseren WC-eend’ dreigt. Toch vinden we dat een genuanceerder oordeel meer recht doet aan het wel en wee van dit soort peilingen. We beperken ons daarbij tot het panel van EenVandaag, omdat we dat panel het beste kennen en details van het onderzoek van Hart van Nederland niet kennen.

We beseffen dat het verhaal van Cecile Janssens een column is en dat columns vaak worden gekruid met overdrijving. We vinden toch dat haar column wel wat minder gebaseerd zou kunnen zijn op handboekenwijsheid over steekproefonderzoek en iets meer op praktijkkennis.

Janssens stelt dat je voor een goed beeld van de populatie een representatieve steekproef moet trekken. Ze bedoelt hiermee ongetwijfeld een aselecte of random steekproef die volgens de kansberekening een representatief beeld kan opleveren. Afgezien van de terminologie, heeft ze gelijk. Bij een aselecte steekproef worden personen in de steekproef geselecteerd door een lotingsmechanisme dat iedereen dezelfde kans op selectie geeft. Omdat het vaste opiniepanel van EenVandaag niet op deze manier deelnemers aan onderzoek selecteert, maar deze zichzelf hebben gemeld (zelfselectie), zit er een constructiefout in dit opinieonderzoek.

Het is dan goed om twee verschillende situaties te onderscheiden: (1) die waarin je een aselecte steekproef loot uit de populatie, en (2) die waarin je gebruik maakt van zelfselectie.

Aselecte steekproef

Eerst de aselecte steekproef. Dit is de aanpak voor wetenschappelijk verantwoord steekproefonderzoek. Als je netjes loot, krijg je waarschijnlijk een representatieve steekproef. Alle groepen uit de (relevante) bevolking zijn in de juiste verhouding in de steekproef aanwezig. Je kunt dan zuivere (valide) schatters berekenen. En je kunt onzekerheidsmarges uitrekenen. Meer over de theorie van aselecte steekproeven kun je bijvoorbeeld vinden in Bethlehem (2009).

Bij een aselecte steekproef kan – veelal: zal – zich het probleem van non-respons voordoen. Dat betekent dat personen in de steekproef de gewenste informatie niet verstrekken. Dat kan diverse oorzaken of redenen hebben. Je kunt denken aan geen contact, een weigering deel te nemen en niet in staat zijn deel te nemen. Non-respons is vaak selectief. Dit betekent dat bepaalde groepen oververtegenwoordigd zijn en andere ondervertegenwoordigd zijn onder de niet-deelnemers. Deze onevenwichtigheid kun je corrigeren met behulp van een weging. Dan moet je wel voldoende geschikte weegvariabelen hebben. Weegvariabelen zijn alleen effectief als ze aan twee voorwaarden voldoen:

  1. Ze moeten samen in staat zijn het responsgedrag te verklaren. Oftewel: responsgedrag en weegvariabelen moeten gecorreleerd zijn.
  2. Ze moeten in staat zijn de onderzoeksvariabelen te verklaren. Oftewel: onderzoeksvariabelen en weegvariabelen moeten gecorreleerd zijn.

Is niet aan deze twee voorwaarden voldaan is, dan kun je technisch gezien wel wegen, maar die weging is dan feitelijk niet effectief. Weging leidt niet tot verbetering van de uitkomsten van de peiling. Meer over het probleem van non-respons en wegen is bijvoorbeeld te vinden in Bethlehem, Cobben & Schouten (2011).

Zelfselectie

De tweede situatie is die van zelfselectie. De steekproef bestaat in dat geval alleen uit personen die een peiling toevallig aantreffen op het internet, het leuk vinden om aan peilingen mee te doen, het onderwerp van de peiling interessant vinden en spontaan besluiten de vragenlijst in te vullen. Je hebt dan geen enkele garantie dat allerlei groepen in de samenleving in de peiling aanwezig zijn. Je mist bijvoorbeeld vooral ouderen of juist jongeren, laagopgeleiden en mensen met een migratie-achtergrond. En wat er niet in zit, kun je er ook niet in krijgen met wegen. Maar zelfs als alle groepen wel in zekere mate aanwezig zijn en je kunt wegen, dan nog moeten de weegvariabelen aan bovenstaande voorwaarden voldoen.

Geen absoluut verschil

Het verschil tussen aselecte en een via zelfselectie verkregen selecte steekproef is echter niet absoluut. Enerzijds is ook een aselecte steekproef problematisch door het optreden van non-respons, en door de zeker in Nederland afnemende deelnamebereidheid steeds problematischer. Steekproefonderzoek volgens de handboeken is geen garantie meer voor een representatief beeld. Anderzijds heb je bij zelfselectie inderdaad vanaf het begin al geen garantie dat allerlei groepen in de samenleving in de peiling aanwezig zijn. Desalniettemin is in een groot panel als bij EenVandaag geen enkele bevolkingsgroep van enige omvang geheel afwezig en is weging conform de zogenaamde Gouden Standaard (die een belangrijke set van weegvariabelen bevat) normaliter mogelijk.

Voor de mensen van EenVandaag is de term ‘representatief’ taboe, omdat zij, bij herhaling, gewezen zijn op en herinnerd worden aan de problemen van hun panel in termen van representativiteit. De verleiding toch uitspraken te doen ver de populatie als geheel is natuurlijk wel voortdurend aanwezig en wordt niet altijd weerstaan, maar dan heffen wij als adviseurs streng ons vingertje. Eventueel mag, na weging, gezegd worden dat het beeld representatief is naar geslacht, leeftijd, opleiding, regio en dergelijke, maar hoger mag men niet springen met de via zelfselectie verkregen polsstok.

De kop boven de column van Cecile Janssens luidt ‘Waardeloze enquêtes’. Iedereen weet dat krantenkoppen veelal niet door de auteurs zelf worden gemaakt. Dus wie weet was de kop niet afkomstig van de columniste. Misschien ook wel, want deze vlag dekte wel haar lading. Maar het blijft oppassen met die koppen, want ze dekken lang niet altijd de lading. Zo suggereert de kop van een bericht gebaseerd op onderzoek van EenVandaag ‘bijna de helft van ouders wil basisschoolkind niet laten testen op corona’ dat dit de mening van bijna de helft van alle ouders is. Maar in het bericht zelf blijkt dat ‘Vier van de tien ondervraagde ouders (43 procent) zeggen hun zoon of dochter niet of waarschijnlijk niet te laten testen’ (onze cursivering). Dat is een subtiel maar betekenisvol verschil.

Geen losse percentages, maar vergelijkingen

De betekenis van losse percentages in opinieonderzoek moet sowieso gerelativeerd worden. Die zijn afhankelijk van de steekproef, maar ook van onder veel meer de formulering van de vraag en van aantal en aard van antwoordmogelijkheden. Percentages achter de komma zijn daarenboven pseudo-precies, maar zijn vooral ook minder interessant voor de wetenschappelijk doordachte maar journalistieke ambities van EenVandaag.

Daarom richt dergelijk opinieonderzoek zich mede op veranderingen door de tijd en op vergelijkingen tussen groepen. Met als bijkomend voordeel dat in dergelijke panels tegen geringe kosten de ontwikkeling van meningen door de tijd getraceerd kan worden. Bij dergelijke vergelijkingen is er immers een duidelijk ijkpunt. Bovendien zijn trends, verschillen, en verklarende analyses in het algemeen minder gevoelig voor het zelfselectie-effect dan absolute percentages. Juist wanneer opinieonderzoek vergelijkingen mogelijk maakt met eerdere ijkpunten, heeft het een duidelijke meerwaarde.

Goed onderzoek doen is lastig, en onderzoek naar de publieke opinie al helemaal. Maar het gaat niet aan om dan maar kort door de bocht aan te sturen op de kwalificatie nepnieuws. Op het opinieonderzoek van EenVandaag is kritiek mogelijk, maar dergelijk onderzoek, mits zorgvuldig gebracht en geïnterpreteerd, levert wel degelijk een bijdrage aan ons beeld van de publieke opinie in Nederland. Dat is waardevol, niet waardeloos.

Filed Under: Kiezers en publieke opinie, Politicologie en Methodologie Tagged With: eenvandaag, opinieonderzoek, opiniepeilingen, steekproef

Slotpeilingen zijn informatief, maar let vooral op de grote lijnen

door Tom Louwerse 14/03/2021 0 Reacties

Begin volgende week komen de verschillende onderzoekbureaus weer met hun slotpeilingen: de laatste reguliere zetelpeiling voor de (laatste) verkiezingsdag. Daarover wordt steevast uitgebreid bericht en na de verkiezingen worden ze altijd naast de uitslag van de verkiezingen gelegd. Hoe informatief zijn die slotpeilingen nu ten aanzien van de verkiezingsuitslag? Kiezers kunnen immers nog van mening veranderen na de slotpeiling en bovendien kunnen methodologische keuzes ertoe leiden dat peilingen sommige partijen te hoog of te laag inschatten. In dit blog laat ik zien dat de verschillen tussen slotpeilingen en uitslag over het algemeen beperkt zijn. Zetelpeilingen lenen zich dus heel goed als inschatting van de overall krachtsverhoudingen en trends in steun voor partijen. Maar eigenlijk elk verkiezingsjaar is er wel een flinke ‘verrassing’: een partij die minimaal 5 zetels meer of minder haalt dan in de slotpeilingen.

Voor de verkiezingen vanaf 2006 heb ik steeds de slotpeilingen van elk bureau en de verkiezingsuitslag naast elkaar gelegd. We kijken per partij of de peiling afweek van de uitslag; het gaat hierbij in onderstaande figuur om absolute aantallen. In ruwweg drie op de tien gevallen kwam het gepeilde zetelaantal exact overeen met de uitslag. In nog eens ruim 3 op de tien gevallen zien we een verschil van één zetel. Dat valt vrijwel altijd binnen de onzekerheidsmarges die peilingen hanteren. Afwijkingen van twee zetels zien we in ongeveer 15% van de gevallen; en ook die afwijkingen vallen voor de (middel)grote partijen veelal binnen de geldende onzekerheidsmarges. Dan kom je samen op ongeveer 77% van de verschillen.

In 23% van de gevallen zien we een verschil van 3 zetels of meer tussen slotpeiling en uitslag. Hoewel zo’n verschil doorgaans buiten de onzekerheidsmarge van een peiling zal vallen, kan dit natuurlijk komen door veranderingen in de kiezersgunst na de slotpeilingen. Die slotpeilingen worden doorgaans immers in de dagen voor de publicatie ervan afgenomen. Het hoeft dus niet te betekenen dat de peiler er in zo’n geval ‘naast zat’; de slotpeiling is immers een momentopname. De peilers geven dit de laatste verkiezingen ook aan: het is geen voorspelling. Maar het betekent natuurlijk wel dat we enigszins verrast kunnen worden als op de verkiezingsavond om 21 uur de exit poll en later de uitslagen binnenkomen.

Als we een afwijking van 5 of meer zetels voor een partij een echte ‘verrassing’ noemen[1], dan vielen in de afgelopen vier verkiezingen 12% van de observaties in de categorie ‘verrassingen’. Als dit jaar vergelijkbaar is met de voorafgaande jaren, is zo’n verrassing bij één of twee partijen dus eigenlijk wel te verwachten. Let wel, een ‘verrassing’ is dus heel goed denkbaar, maar we weten natuurlijk niet vooraf bij welke partij dit speelt. En misschien zijn de verschillen tussen slotpeilingen en uitslagen dit keer wel kleiner of juist groter dan in voorgaande verkiezingen.

Verschillen per bureau

Iets meer inzicht kunnen we krijgen door deze absolute verschillen uit te splitsen per verkiezing en per bureau. Hieronder staat een boxplot per verkiezingsjaar per bureau (en de Peilingwijzer als combinatie van de peilingen die in het betreffende jaar werden gehouden). Zo’n boxplot geeft de spreiding van waarden aan, in dit geval dus de afwijkingen voor elke partij met in de slotpeiling ten opzichte van de uitslag. Zo was de doorsnee (mediane) afwijking voor Peil.nl in 2006 1 zetel, aangegeven door de streep in het midden van de ‘box’. De helft van alle waarden valt in de box. De ‘snorren’ geven de spreiding van waarden van minimum tot maximum aan, waarbij ‘uitbijters’ of ‘outliers’ door een stipje worden weergegeven. Bij Kantar (toen nog TNS NIPO) in 2006 zie je bijvoorbeeld dat voor alle partijen de verschillen tussen de 0 en 3 zetels lagen, behalve voor ééntje, waarbij het verschil 7 zetels was (dat was de SP).

Afwijkingen van 0, 1 of 2 zetels komen verreweg het meeste voor. Maar voor bijna elke peiler is er minimaal één partij is waarvoor het verschil tussen slotpeiling en uitslag 5 zetels of meer is. Alleen Ipsos in 2017 wist de verschillen te beperken tot 4 zetels (voor VVD en CDA).  Dus een ‘verrassing’ van 5 of meer zetels komt bij vrijwel elke peiler voor, maar beperkt zich doorgaans tot één partij per bureau, soms twee.

Verschillen per partij

Als we de verschillen uitsplitsen per partij in plaats van per bureau, zien we dat het vaak dezelfde partijen zijn waarvoor de slotpeilingen en uitslag veel verschillen. Ik kijk hierbij niet naar het absolute verschil, maar ook naar de richting, zodat we kunnen zien of de partij het in de slotpeiling slechter of beter deed dan in de uitslag. Zo zaten de grootste verschillen in 2006 voor alle peilers bij PVV (slotpeilingen lager dan uitslag), SP en PvdA (gemengd beeld). Hoewel elk van de drie peilers bij één partij een verschil had van 5 of meer zetels, was dit voor elk bureau een andere partij. Voor geen andere partij verschilde één van de slotpeilingen meer dan 2 zetels van de uitslag. In 2010 lagen de grootste verschillen opnieuw bij de PVV (uitslag was hoger) en in iets mindere mate bij de VVD (uitslag was lager).  In 2012 waren de verschillen vooral te zien bij VVD (uitslag was hoger), SP (uitslag was lager) en in mindere mate bij de PvdA. In 2017 haalde de VVD meer zetels dan in elke slotpeiling. GroenLinks stond in bijna elke slotpeiling hoger dan de 14 zetels die het uiteindelijk haalde, hoewel bijna overal minder dan de ‘verassingsgrens’ van 5 zetels.

Sommige ‘verrassingen’ zien we bij (bijna) alle peilers, zoals de PVV in 2010 en de VVD in 2017. Het helpt in dat soort situaties niet om naar een gemiddelde van peilingen te kijken, zoals bijvoorbeeld de Peilingwijzer, momenteel een combinatie van de peilingen van I&O Research, Ipsos en Kantar. In andere gevallen zien we een groot verschil bij één peiler, maar kleinere verschillen (of zelfs een afwijking in de ‘omgekeerde richting’) bij andere bureaus. Neem bijvoorbeeld de SP in 2006. Deze partij stond op 32 bij TNS NIPO en op 23 bij zowel Ipsos als Peil.nl. Wie daar een gemiddelde nam van de drie beschikbare peilingen kwam met 26 zetels het dichtste uit bij de uiteindelijke uitslag van 25 zetels.

Nametingen

De verklaring voor deze verschillen ligt in een combinatie van verschuivingen na het veldwerk voor de slotpeilingen en onder- of overschatting van partijen in peilingen. Uit de nametingen die peilers in 2017 op verzoek van de NOS uitvoerden, bleek dat de verschillen tussen slotpeilingen en uitslag voor bijvoorbeeld de VVD voor een substantieel deel konden worden toegeschreven aan vertekeningen: de peilers ‘zaten te laag’. Maar ook veranderingen in de laatste dagen speelden, althans volgens de meeste peilers, een rol bij de VVD. De vijf peilers die een nameting (of een soortgelijk onderzoek) deden onderschatten de VVD gemiddeld met 3,7 zetels volgens de nameting – terwijl de slotpeilingen van die bureaus nog een gemiddeld gat van 7 zetels met de uitslag hadden laten zien. Dit suggereert dat ongeveer de helft van het gat tussen slotpeilingen en uitslag in dit geval kon worden toegeschreven aan veranderingen in de kiezersgunst na de laatste peilingen.[2]

Toch kun je op basis van die nametingen in 2017 niet zomaar zeggen: de VVD zal wel weer onderschat worden. In 2010 werd de partij bijvoorbeeld nog overschat in de slotpeilingen. De PVV werd in 2010 veel lager ingeschat in de slotpeilingen dan in de einduitslag, maar in 2012 waren de slotpeilingen juist iets hoger dan de uitslag. Peilingsbureaus passen hun methodes aan op basis van ervaringen uit het verleden. Zo kon I&O Research in 2017 nog niet helemaal goed wegen op stemgedrag bij de vorige verkiezingen, omdat ze die vraag in 2012 niet aan iedereen in hun panel hadden gesteld. Nu kan dit bureau deze relevante correctie op een betere manier uitvoeren.

Of de verschillen nu komen door ‘last minute’ verschuivingen of methodologische beperkingen: slotpeilingen geven over het algemeen een behoorlijk goed beeld van wat ons te wachten staat, maar een ‘verrassing’ van 5 of meer zetels voor één of twee partijen is goed denkbaar. De lezer van peilingen en in het bijzonder de kiezer die peilingen gebruikt om strategisch te stemmen, moet zich dit goed realiseren.


[1] Dit is natuurlijk een arbitraire grens. Misschien zijn 3 of 4 zetels verschil ook wel enigszins verrassend, maar 5 zetels is toch wel echt opvallend, ook voor grotere partijen (waarbij we doorgaans de grotere verschillen zien).

[2] Het beeld was overigens niet helemaal consistent tussen peilers. Bij I&O research was het verschil tussen uitslag en nameting nog steeds ongeveer 6 zetels, terwijl het bij Kantar slechts ongeveer 2 zetels was. Voor beide peilers was het gat tussen slotpeiling en uitslag van de VVD 6 zetels.

Filed Under: Kiezers en publieke opinie Tagged With: eenvandaag, i&o research, ipsos, kantar, liss, peil.nl, peilingen, slotpeilingen

“Geef migranten minder WW”

door Tom van der Meer 21/11/2014

Tom van der Meer & Tim Reeskens

 

In een tijd dat de sociale zekerheid onder druk staat zijn er grenzen aan het solidariteitsgevoel. Maar wie gunnen wij een uitkering? Diegenen die dat het hardst nodig hebben? Diegenen die buiten eigen schuld in de problemen zijn gekomen? Diegenen die het meest op ons lijken? Via een grootschalig experiment onder 23.000 leden van het EenVandaag Opiniepanel hebben we onderzocht welke criteria voor Nederlanders het belangrijkst zijn.

De meest opvallende bevinding? We gunnen migranten minder dan autochtone Nederlanders.

[Read more…] about “Geef migranten minder WW”

Filed Under: Economie, Overig Tagged With: autochtonen, chauvinisme, eenvandaag, experiment, gun-kloof, migranten, uitkering, welvaartsstaatchauvinisme, werkeloos, werkloos, ww

Geen verschuiving in peiling, dus politiek doet er niet toe?

door Tom Louwerse 25/05/2013 1 Reactie

De maandelijkse zetelpeiling van EenVandaag, De Stemming, wordt meestal op een behoorlijk genuanceerde manier gepresenteerd. Weinig aandacht voor minieme, niet-significante verschuivingen en oog voor de onzekerheid van kiezers. Zo leidde de laatste peiling tot de conclusie dat het electoraal ‘windstil’ was, want er waren maar weinig veranderingen in de gepeilde zetelaantallen geweest. Daaruit trok Tom van Dijk van Intomart GfK, het bedrijf dat de gegevens voor de peiling verzamelt, de conclusie dat de politiek zich niet bezighoudt met de zaken die het electoraat belangrijk vindt. Dat mag Van Dijk wat mij betreft wel wat beter onderbouwen.
[Read more…] about Geen verschuiving in peiling, dus politiek doet er niet toe?

Filed Under: Kiezers en publieke opinie Tagged With: de stemming, eenvandaag, peilingen

Primary Sidebar

Volg ons

  • Facebook
  • Twitter
  • RSS Feed

Populaire berichten

De ideologie van Forum voor Democratie

De ongemakkelijke realiteit van de antivaccinatie-beweging

Wat als… Nederland het Britse kiesstelsel zou hebben?

Willekeurige berichten

Peilingennieuws geeft weinig informatie over onderzoeksaanpak. Hoe kan dat beter?

Brexit en de verdeeldheid van het Britse Old Boys netwerk

Aflevering 60 – De impact en oorsprong van economisch nieuws, met Alyt Damstra

Podcast

Episode 106 – “I’m f**king furious and I don’t f**king care anymore”, with Rob Ford

Rob Ford (University of Manchester) joins us to discuss the resignation of Liz Truss and the sorry … [Lees verder...]

Episode 105 – A new prime minister and a new monarch, with Rob Ford

For the first time ever, the UK acquired a new prime minister and a new monarch in the same week. … [Lees verder...]

Aflevering 104 – Terugblik gemeenteraadsverkiezingen, met Josje den Ridder, Simon Otjes en Tom van der Meer

We gaan de gemeenteraadsverkiezingen nabeschouwen met Josje den Ridder (SCP), Simon Otjes … [Lees verder...]

Populisme

Plaatjes van de electoraatjes: de radicaal-rechtse ruimte

Over anderhalve week stemmen we voor de Provinciale Staten en de waterschappen. Waar zullen we – … [Lees verder...]

Analyse van raadsinstrumenten laat zien: ook in gemeenteraden heerst het monisme

Het is alweer ruim een half jaar geleden dat de gemeenteraadsverkiezingen plaatsvonden. Inmiddels … [Lees verder...]

Gevoelens van culturele afstand als verklaring voor de opleidingskloof in anti-establishment-opvattingen en -gedrag

In veel Westerse democratieën leven onder een aanzienlijk deel van de bevolking … [Lees verder...]

Blogroll

  • Andrew Gelman
  • Ballots & Bullets
  • Fight Entropy
  • FiveThirtyEight
  • The Monkey Cage
  • The Upshot
  • Wonkblog
  • OVER SRV
  • AUTEURS
  • CATEGORIEËN
  • ARCHIEF
  • CONTACT

© 2023 StukRoodVlees

Copyright © 2023 · SRV Theme op Genesis Framework · WordPress · Log in