• Skip to primary navigation
  • Skip to main content
  • Skip to primary sidebar
StukRoodVlees

Politicologie en actualiteit

  • OVER SRV
  • AUTEURS
  • CATEGORIEËN
  • ARCHIEF
  • CONTACT

Met Xbox-gebruikers de verkiezingsuitslag voorspellen?

door Tom Louwerse 11/02/2014 7 Reacties

Nu er weer verkiezingen aankomen, zal de discussie over de betrouwbaarheid en validiteit van opiniepeilingen weer oplaaien. Politicologen bekritiseren daarbij vaak peilingen die niet zijn gebaseerd op een willekeurige steekproef, zoals die van Maurice de Hond. Om mee te doen aan zijn peiling, kun je jezelf gewoon aanmelden. Uit zijn panel van tienduizenden deelnemers trekt hij elke week een steekproef. Omdat sommigen (hoger opgeleiden, politiek geïnteresseerden) meer geneigd zijn om zich aan te melden, geven dat soort peilingen volgens politicologen een vertekend beeld. Of toch niet?

Om te corrigeren voor afwijkingen in de steekproeftrekking gebruiken de meeste peilers een vorm van weging, zodat de peiling na het wegen representatief is voor bijvoorbeeld leeftijd, geslacht, regio, opleidingsniveau en stemgedrag bij vorige verkiezingen. Van die kenmerken weten we immers hoe de bevolking verdeeld is. Als er dus maar 45% vrouwen in een steekproef zitten, kun je die in je statistische berekeningen iets zwaarder laten meewegen, zodat de resultaten wat betreft man-vrouwverdeling overeenkomen met de gehele bevolking.

In de laatste tien jaar is een meer geavanceerde vorm van deze procedure ontwikkeld met de technische naam ‘multilevel regression and post-stratification’ (MRP, ook wel ‘Mister P.’). Naast weging maakt deze techniek gebruikt van een statistische analyse om de voorkeuren kiezersgroepen waar maar weinig informatie over is in de peilingen (bijvoorbeeld oudere, laagopgeleide allochtone vrouwen) beter in te kunnen schatten. In een recent paper gebruiken Wang, Rothschild, Goel en Gelman deze techniek om electorale voorspellingen te doen aan de hand van een niet-representatieve peiling.

Ze gebruiken een peiling onder Xbox-gebruikers, die werd gehouden gedurende 45 dagen voor de verkiezingen van 2012. Iedereen kan raden dat Xbox-gebruikers niet echt representatief zijn voor de hele bevolking: met name het aantal oudere vrouwen dat regelmatig achter de spelcomputer kruipt, is bijzonder laag. Als je de niet-gecorrigeerde cijfers van de peiling gebruikt, wordt een grote overwinning van Romney voorspelt. Daar klopt natuurlijk weinig van.

Indien echter gebruik wordt gemaakt van MRP, sluiten de resultaten van de Xbox-peilingen en die van traditionele peilingen redelijk goed op elkaar aan. Het verschil tussen de verkiezingsuitslag (52% voor Obama) en een gemiddelde van traditionele peilingen (iets minder dan 51%) is groter dan het verschil tussen de uitslag en de Xbox-verwachting (52.6%).

Zou dat ook in Nederland werken? De verschillen tussen de peilingen van De Hond (die met zelf-aanmelding werkt) en andere bureaus (zonder zelfaanmelding) suggereren dat beide methodes erin slagen om dezelfde trends vast te leggen, maar dat er wel structurele verschillen zijn tussen peilingen van verschillende bureaus. Zo schat De Politieke Barometer de steun voor de PvdA structureel enkele procenten hoger in dan Peil.nl van De Hond.

 

PW PvdA
Electorale steun (%) voor de PvdA in de Peilingwijzer en individuele peilingen (sinds verkiezingen 2012)

 

Wellicht kunnen deze verschillen worden verkleind indien meer geavanceerde methoden voor weging worden gebruikt, zoals MRP. Daarbij is het wel belangrijk dat we relevante informatie hebben over karakteristieken van de gehele bevolking (zie ook hier, paywall). Die informatie moet iets zeggen over de kans dat iemand meedoet aan een peiling en zijn of haar stemgedrag. Als bijvoorbeeld geslacht niet zoveel uitmaakt voor je stemgedrag, helpt het niet veel om daarvoor te wegen. Maar als politieke interesse een belangrijke factor is waarvoor we niet kunnen corrigeren, blijven we met vertekende resultaten zitten.

Hoe dan ook: het blijft van belang om rekening te houden met de huiseffecten en foutmarges van peilingen.

Filed Under: Kiezers en publieke opinie

Over de auteur

Tom Louwerse
Tom Louwerse is universitair hoofddocent politicologie aan de Universiteit Leiden. Zijn onderzoek richt zich op politieke representatie, parlementair gedrag, verkiezingen, peilingen en stemhulpen.
Website: https://www.tomlouwerse.nl/nl
  • Sociale media links 

Reader Interactions

Comments

  1. Kristof Jacobs says

    11/02/2014 at 13:15

    Leuk stuk! Vooral dat zinnetje over oudere vrouwen en de Xbox…
    Benieuwd of MRP er ook in zal slagen om te voorspellen (ipv post hoc te verklaren). Of werden er wel degelijk voorspellingen gedaan voor de verkiezingen?

    Log in om te reageren
    • Tom Louwerse says

      11/02/2014 at 13:19

      Als ik me niet vergis was deze analyse post-hoc, maar ze was alleen gebaseerd op cijfers die ook ten tijde van de campagne al beschikbaar waren. De methode is dus ook te gebruiken als voorspelling.

      Log in om te reageren
      • Kristof Jacobs says

        11/02/2014 at 13:24

        Ok, dank voor het antwoord. Ik ben altijd iets afwachtender: zelfs al gebruikt men enkel info die toen beschikbaar was, dan nog blijft er altijd voldoende over om mee te spelen in de modellen om een uitkomst te bekomen die dicht bij de werkelijke uitslag ligt (bv. waar controleer je voor en waar niet?). Dat heb je natuurlijk niet als je niet weet wat de echte uitslag is. Maar goed, het ziet er desalniettemin veelbelovend uit.

        Log in om te reageren
      • Niels Spierings says

        19/02/2014 at 21:15

        Zeker interessant en ik ben erg benieuwd naar echte voorspellingen.
        Nu lijkt de voorspellingskracht wel erg veel op ‘aftercasts’ ipv ‘forecasts’, in termen van de variabele selectie. Houdt deze weging stand in andere verkiezingen of was dit een goed schot?

        Daarnaast is het argument dat de auteurs gebruiken over goedkopere methoden e.d. alleen houdbaar zolang iemand anders wel ruime data heeft voor de cel weging en in hun geval exit polls organiseert.

        Log in om te reageren
        • Tom Louwerse says

          19/02/2014 at 21:31

          Het klopt dat het nu een ‘aftercast’ is meer dan een ‘forecast’. Daarbij moet wel worden aangetekend dat ze vooraf slechts naar een beperkt aantal covariaten hebben gevraagd in de Xbox-enquetes (die moesten ze dus vooraf bepalen) en die zijn voor zover ik kan nagaan ook allemaal gebruikt in de analyse. Ze hebben dus niet geshopt in de variabelen. Misschien is er wel wat gespeeld met de modelspecificatie, dat weet ik niet. Wel zijn alle variabelen die ze gebruiken redelijk standaard in dit soort werk, maar de echte test zou inderdaad zijn om de voorspelling vóór de uitslag te maken.

          Je tweede punt klopt, al geldt daarbij natuurlijk wel dat je maar één exit poll nodig hebt om met dagelijkse niet-representatieve peilingen het verloop van de kiezersgunst te kunnen meten. Dus zelfs al zou je het representatieve werk zelf moeten doen/betalen, dan nog heeft genoemde methode voordelen.

          Log in om te reageren
  2. Peter Lugtig says

    11/02/2014 at 15:49

    De statistische truc die hierachter zit is heel aardig, en zou ook (of juist vooral) in Nederland werken, omdat we hier op cel-niveau data hebben van het CBS (itt de VS). Je stelt terecht dat de methode alleen werkt als de covariaten (x) samenhangen met zowel Y (stemgedrag) als R (selectie in je sample).

    Tijdens de verkiezingen van de VS van 2008 en 2012 voorspelden sociaal-demografische variabelen (x) zoals gebruikt in het artikel de verkiezingsuitslag sterk. Ik betwijfel of dat ook zo is met andere peilingen. Het gaat juist daarom: op populatieniveau goede covariaten verzamelen. Met de goede covariaten zou je ook kunnen wegen (raking) of matchen en ik vermoed dat de resultaten dan ongeveer hetzelfde zijn. Jammer dat het artikel van Wang daar niet echt op ingaat.

    Log in om te reageren
    • Frank Huysmans says

      12/02/2014 at 14:57

      Hetzelfde gevoel bekroop mij ook bij lezing van het paper: interessante benadering, maar doet MRP het beter dan wanneer je ‘gewoon’ had gewogen?
      Het zou leuk zijn om dezelfde truc (Xbox-gegevens) te herhalen in Nederland om te zien hoe dicht je bij een voorspelling van de percentages in ons electoraal versnipperde landje kunt komen. Het aantal Xbox-bezitters in de bijbelgordel schat ik overigens niet heel hoog in.

      Log in om te reageren

Geef een reactie Reactie annuleren

Je moet inloggen om een reactie te kunnen plaatsen.

Primary Sidebar

Volg ons

  • Facebook
  • Twitter
  • RSS Feed

Populaire berichten

De ideologie van Forum voor Democratie

De ongemakkelijke realiteit van de antivaccinatie-beweging

Wat als… Nederland het Britse kiesstelsel zou hebben?

Willekeurige berichten

Photo by DAVID ILIFF. License: CC-BY-SA 3.0

Zal Europe En Marche het politieke landschap in het Europees Parlement in beweging brengen?

Rammelende studie naar opleidingsniveau en PVV-steun vindt helaas gretig aftrek

SRV Podcast, episode 44 – The charade of billionaire philantropy, with Anand Giridharadas

Podcast

Episode 106 – “I’m f**king furious and I don’t f**king care anymore”, with Rob Ford

Rob Ford (University of Manchester) joins us to discuss the resignation of Liz Truss and the sorry … [Lees verder...]

Episode 105 – A new prime minister and a new monarch, with Rob Ford

For the first time ever, the UK acquired a new prime minister and a new monarch in the same week. … [Lees verder...]

Aflevering 104 – Terugblik gemeenteraadsverkiezingen, met Josje den Ridder, Simon Otjes en Tom van der Meer

We gaan de gemeenteraadsverkiezingen nabeschouwen met Josje den Ridder (SCP), Simon Otjes … [Lees verder...]

Populisme

Plaatjes van de electoraatjes: de radicaal-rechtse ruimte

Over anderhalve week stemmen we voor de Provinciale Staten en de waterschappen. Waar zullen we – … [Lees verder...]

Analyse van raadsinstrumenten laat zien: ook in gemeenteraden heerst het monisme

Het is alweer ruim een half jaar geleden dat de gemeenteraadsverkiezingen plaatsvonden. Inmiddels … [Lees verder...]

Gevoelens van culturele afstand als verklaring voor de opleidingskloof in anti-establishment-opvattingen en -gedrag

In veel Westerse democratieën leven onder een aanzienlijk deel van de bevolking … [Lees verder...]

Blogroll

  • Andrew Gelman
  • Ballots & Bullets
  • Fight Entropy
  • FiveThirtyEight
  • The Monkey Cage
  • The Upshot
  • Wonkblog
  • OVER SRV
  • AUTEURS
  • CATEGORIEËN
  • ARCHIEF
  • CONTACT

© 2023 StukRoodVlees

Copyright © 2023 · SRV Theme op Genesis Framework · WordPress · Log in