• Spring naar de hoofdnavigatie
  • Door naar de hoofd inhoud
  • Spring naar de eerste sidebar
StukRoodVlees

Politicologie en actualiteit

  • OVER SRV
  • AUTEURS
  • CATEGORIEËN
  • ARCHIEF
  • CONTACT

Peilingennieuws geeft weinig informatie over onderzoeksaanpak. Hoe kan dat beter?

door Tom Louwerse, Rozemarijn van Dijk 08/07/2021 1 Reactie

Foto: Patrick Rasenberg

Peilingen worden veelvuldig gebruikt in de media tijdens verkiezingscampagnes. Hoeveel is partij X gestegen in de peilingen? Welke partij is groter, partij A of partij B? In een recent gepubliceerd artikel [gratis te lezen versie] onderzochten wij hoe die peilingen werden gerapporteerd: is er aandacht voor cruciale informatie over de onderzoekaanpak en, misschien nog wel belangrijker, worden verschuivingen en verschillen in de peilingen correct geïnterpreteerd? We hebben hierbij ook onderzocht of het uitmaakt of peilingbureaus in hun rapportages methodologische informatie vermelden: zorgt meer informatie in de rapportage van het onderzoeksbureau voor een beter nieuwsartikel?

De kwaliteit van de rapportage

Voor ons onderzoek, hebben we alle nieuwsartikelen in de vijf weken voor de verkiezingen van 2010, 2012 en 2017 verzameld waarin het woord ‘peiling’ en de naam van een onderzoeksbureau voorkwam.[1] Deze artikelen kwamen uit alle landelijke dagbladen en de online nieuwswebsites van NOS en RTL Nieuws.

De kwaliteit van de krantenartikelen over peilingen kun je op verschillende manieren beoordelen. Wij hebben naar drie dingen gekeken:

  1. Het aantal aspecten van de onderzoeksaanpak dat werd genoemd, bijvoorbeeld hoeveel mensen werden ondervraagd, wanneer en hoe werden de gegevens verzameld;
  2. Het vermelden van de foutmarge van de peiling;
  3. De correcte interpretatie van verschuivingen en verschillen in een peiling.

De WAPOR (World Association for Public Opinion Research) hanteert een lijst van 16 verschillende ‘essentiële feiten’ die bekend moeten zijn over een peiling waarover nieuws verschijnt. Hoewel je niet mag verwachten dat al die zaken ook in het nieuwsbericht vermeld worden (bijvoorbeeld: het opnemen van een volledige vragenlijst in een nieuwsbericht), kunnen we dit als een groslijst gebruiken. In de praktijk zien we dat 8 van de WAPOR-items in verschillende mate worden genoemd in nieuwsberichten: de populatie (bijvoorbeeld: alle kiezers), steekproefmethode, non-respons, de grootte van de sample, de data van het veldwerk, de dataverzamelingsmethode, de foutmarge en of de resultaten gewogen zijn (zie tabel 1).

Tabel 1. WAPOR-criteria in krantenartikelen en peilingrapportages (%)
 KrantenartikelenPeilingrapportages
 201020122017201020122017
Populatie0,02,42,714,322,025,9
Steekproefmethode2,92,42,70,039,025,9
Non-respons0,01,60,00,012,224,1
Steekproefomvang14,714,50,023,836,641,4
Wegingsprocedure0,00,00,023,826,825,9
Veldwerkperiode0,04,82,723,836,636,2
Dataverzamelingsmethode8,821,845,923,826,832,8
Foutmarge5,928,264,99,539,067,2

Tabel 1 gaat alleen over nieuwsberichten die (vrijwel) geheel over een peiling gaan. Uit tabel 1 valt af te lezen dat in krantenartikelen doorgaans de steekproefomvang, de non-respons of veldwerkdata niet worden vermeld.[2] De dataverzamelingsmethode en foutmarge worden sinds 2010 steeds vaker in nieuwsberichten vermeld. Een groot deel van deze toename is toe te schrijven aan de berichten over de Peilingwijzer, die andere peilingen samenvoegt en daarbij consequent de score van partijen rapporteert met een onzekerheidsmarge. Peilers vermelden in hun rapportages steeds meer informatie over hun onderzoek, maar er zijn verschillen tussen bureaus. In 2017 zagen we dat met name I&O Research, Kantar en EenVandaag/GfK relatief veel informatie vermeldden over hun onderzoeksaanpak in hun eigen rapportages/nieuwsberichten.[3]

We hebben getest of er een verband is tussen de hoeveelheid methodologische criteria die de peilbureaus rapporteren en de hoeveelheid criteria die door journalisten zijn vermeld. We vonden dat er geen verband was tussen de hoeveelheid methodologische informatie die peilbureaus verschaffen en de hoeveelheid informatie die journalisten rapporteerden.

Het vermelden van de foutmarge verdient speciale aandacht. De foutmarge is immers erg belangrijk om een peiling correct te interpreteren: kleine verschuivingen in een peiling vallen binnen de foutmarge en kunnen dus het gevolg zijn van toevalligheden in de steekproeftrekking. Niet alleen zien we dat die foutmarge vaker wordt gerapporteerd in nieuwsberichten. We zien ook dat, als de foutmarge wordt vermeld door de peiler, de kans groter is dat dit ook in het nieuwsbericht terug te vinden is.

Peilers vermelden de foutmarge op verschillende manieren. De meest gangbare manier is om ergens in het rapport te vermelden dat er een foutmarge is van bijvoorbeeld +/- 2,5%. Een andere manier, die wordt toegepast door de Peilingwijzer, is om de gepeilde zetelaantallen te presenteren als een interval. Een partij staat dan niet op 23 zetels in de peilingen, maar op 21-25 zetels. Deze laatste manier van rapporteren heeft een significant positief effect op de kans dat ook journalisten de foutmarge vermelden.

Interpretatie van peilingen

De hamvraag is: wordt door de vermelding van de foutmarge de interpretatie van peilingen ook beter? Dit hebben we onderzocht door te kijken naar de interpretatie van vergelijkingen tussen partijen in eenzelfde peiling (de zogenaamde synchrone vergelijking) en de interpretatie van de verschillen van de groei of daling van één partij tussen verschillende peilingen (de diachrone vergelijking). We zagen een sterk verband tussen het rapporteren van de foutmarge als interval en het correct interpreteren van de verschillen tussen partijen. Dit verband was niet aanwezig als ergens in het rapport was vermeld dat er een foutmarge bestaat. Het vermelden van een betrouwbaarheidsinterval zorgt er dus voor dat de kwaliteit van de rapportering van peilingen wordt vergroot. Voor stijging of daling van een partij tussen twee peilingen zien we echter geen effect van het vermelden van de foutmarge door de peiler.

Hoe nu verder?

Ons onderzoek suggereert dat het uitmaakt of peilers methodologische informatie vermelden in hun rapporten: het vermelden van de foutmarge als interval zorgt er niet alleen voor dat er meer kans is dat deze marge ook in het nieuwsartikel terecht komt; we kunnen het ook linken aan een betere interpretatie van verschillen tussen partijen in een peiling.

Is ons advies nu om dan maar zoveel mogelijk methodologische informatie in peilingennieuws te proppen? Nee, daar wordt het bericht waarschijnlijk niet begrijpelijker en beter van. Maar het rapporteren van basale informatie, zoals wanneer een peiling werd gehouden, onder welke groep (hoeveel respondenten en hoe werden die geselecteerd), met welke foutmarge rekening kan worden gehouden en (online) een link naar de uitgebreide rapportage van de peiler, is niet teveel gevraagd. In sommige landen is dit zelfs wettelijk verplicht. Het zorgt ervoor dat duidelijk is hoe het onderzoek is uitgevoerd en dat helpt schrijvers en lezers van het nieuwsbericht bij het correct interpreteren van de resultaten. Dit advies geldt overigens niet alleen voor zetelpeilingen van de bekende bureaus, maar juist ook voor allerlei andere peilingen, waarbij nog veel vaker onduidelijk is wie er nu precies zijn ondervraagd en welke conclusies je daaraan kunt verbinden.

Als onderzoeksbureaus willen bevorderen dat nieuwsmedia de onzekerheidsmarges rapporteren, dan kan het gebruik van een interval in de rapportage nuttig zijn. Dus: rapporteer de score van een partij als ‘10 tot 14 zetels’ in plaats van ‘12’ (als de foutmarge 2 zetels is). We zien in ons onderzoek dat dit interval dan vaak wordt overgenomen in nieuwsberichten. Een rapportage van zo’n interval benadrukt dat kleine verschillen tussen partijen niet betekenisvol zijn. Het plaatst de verschillen in perspectief en relativeert de precisie van peilingen.

Nu kan het zo zijn dat het door ons gevonden verband tussen rapportages van bureaus en nieuwsberichten wordt gedreven door een selectie-effect. Journalisten die zelf meer waarde hechten aan een zorgvuldige rapportage van peilingen, kiezen er wellicht voor om te rapporteren over peilingen van een bureau dat meer methodologische informatie verstrekt. Als dat zo is, blijft het rapporteren van methodologische informatie door peilers belangrijk, maar moet allicht meer moeite worden gedaan om journalisten die nog niet zo zorgvuldig over peilingen berichten ervan te overtuigen om dat beter te doen. We moedigen daarom journalisten en peilers van harte aan om (nog) meer samen te werken ten behoeve van een correcte rapportage van peilingen.


[1] Er zaten hierdoor ook artikelen bij over bijvoorbeeld buitenlandse peilingen of artikelen over peilingen in het algemeen. Voor de analyse hebben we ons alleen gericht op artikelen die expliciet gaan over een specifieke peiling of als er een peiling wordt gebruikt in het artikel om aan te geven op hoeveel zetels een (enkele) partij in de peiling heeft.

[2] Tabel 1 bevat ook nieuwsberichten en rapportages over de Peilingwijzer, een gemiddelde van peilingen, waarvoor sommige criteria zoals veldwerkperiode en steekproefomvang niet (op dezelfde wijze) van toepassing zijn.

[3] We keken naar de beschikbaarheid van methodologische informatie in de rapportage/persbericht zelf, niet of eventuele informatie elders (op de website van het onderzoeksbureau) gevonden kon worden. Daarom scoorde ook bijvoorbeeld de Peilingwijzer relatief laag op dit criterium.

Categorie: Kiezers en publieke opinie Tags: peilingen

Over de auteurs

Tom Louwerse
Tom Louwerse is universitair hoofddocent politicologie aan de Universiteit Leiden. Zijn onderzoek richt zich op politieke representatie, parlementair gedrag, verkiezingen, peilingen en stemhulpen.
Website: https://www.tomlouwerse.nl/nl
  • Sociale media links 
Rozemarijn van Dijk
Rozemarijn van Dijk is promovenda aan het departement Politieke Wetenschappen aan de Universiteit Antwerpen. Haar onderzoek richt zich op hoe politieke partijen kandidaten selecteren en op de ondervertegenwoordiging van vrouwen in de politiek.
Website: http://www.rozemarijnvandijk.eu
  • Sociale media links 

Lees Interacties

Reacties

  1. Ronald Heijman zegt

    11/07/2021 om 20:20

    Berichtgeving over onderzoek door de massamedia is vooral gericht op de primaire doelgroep: de consument/burger die deze krant leest, dit programma op TV kijkt of naar de radio luistert.
    Primaire doelgroepen zijn niet, vanuit hun functie:
    – wetenschappers
    – onderzoekers
    – statistici
    – journalisten
    maar wel natuurlijk vanuit hun rol als consument en lezer/kijker/luisteraar van een massamedium.
    Daarom hoeft een massamedium niet te voldoen aan de criteria die juist deze indirecte doelgroepen aan hun specifieke, eigen beroepsmedia stellen.
    Wel kan een massamedium doorverwijzen naar een link waar men, indien gewenst, kan lezen hoe het onderzoek voldoet aan de 16 WAPOR feiten. Zou wel netjes zijn, vooral voor de indirecte doelgroepen.
    Voor de doorsnee medium consument zal deze uitleg echter minder of niet interessant zijn. Hij vertrouwt zijn medium…
    Zo werkt een consumentenmarkt.

    Login om te reageren

Geef een reactie Reactie annuleren

Je moet ingelogd zijn op om een reactie te plaatsen.

Primaire Sidebar

Volg ons

  • Facebook
  • Twitter
  • RSS Feed

Populaire berichten

De ideologie van Forum voor Democratie

De ongemakkelijke realiteit van de antivaccinatie-beweging

Wat als… Nederland het Britse kiesstelsel zou hebben?

Willekeurige berichten

Was het Songfestival vooral een keuze tussen Oekraïne of Rusland?

Blok je vooroordeel

Nederland-België 0-1?

Podcast

Aflevering 133 – Wilders blaast het kabinet op, met Henk van der Kolk en Simon Otjes

Geert Wilders heeft zijn steun aan het kabinet ingetrokken. En zoals het een extraparlementair … [Lees verder...]

Episode 132 – The 2025 German elections, with Tarik Abou-Chadi

We are joined by Tarik Abou-Chadi (Oxford) to discuss the dystopian reality of the 2025 German … [Lees verder...]

Aflevering 131 – Het regionale kiesstelsel van Pieter Omtzigt, met Henk van der Kolk en Simon Otjes

De Stuk Rood Vlees podcast is terug, en wel met een gortdroge aflevering over kiesstelsels! In het … [Lees verder...]

Populisme

Wie is er bang van ‘het volk’? Politiek elitisme in vier Europese landen

Het succes van populisme leidde de afgelopen jaren tot een omvangrijke literatuur rond de vraag wie … [Lees verder...]

Aflevering 127 – Waardenloze politiek (en een stukje formatie), met Tom van der Meer

Tom van der Meer (UvA) schuift aan om te vertellen over zijn nieuwste boek 'Waardenloze politiek: … [Lees verder...]

Plaatjes van de electoraatjes 2023: de PVV

Op 22 november zijn er verkiezingen voor de Tweede Kamer. In deze serie gaan wij aan de hand van een … [Lees verder...]

Blogroll

  • Andrew Gelman
  • Ballots & Bullets
  • Fight Entropy
  • FiveThirtyEight
  • The Monkey Cage
  • The Upshot
  • Wonkblog
  • OVER SRV
  • AUTEURS
  • CATEGORIEËN
  • ARCHIEF
  • CONTACT

© 2025 StukRoodVlees

Copyright © 2025 · SRV Theme op Genesis Framework · WordPress · Log in