Jesse Klaver vond het een “enorme eer, fantastisch” om uitgeroepen te zijn tot winnaar van het Carré-debat, een kapotgeformat lijsttrekkersdebat tussen acht politici georganiseerd door RTL Nieuws, BNR Nieuwsradio en Elsevier. Tijdens de nabeschouwing hoorden we dat een peiling op komst was over wie het debat had ‘gewonnen’. Dat bleek Klaver te zijn, maar toen ik zag dat hij maar 17,4% van de stemmen had gekregen, gingen de alarmbellen eigenlijk al rinkelen. Want met acht lijsttrekkers kon het haast niet anders dat de percentages dicht bij elkaar zouden liggen. En dus dat de verschillen tussen de percentages niet “statistisch significant” zouden zijn. Oftewel, dat de verschillen net zo goed tot stand gekomen zouden kunnen zijn door toevallige selectie van respondenten en niet als gevolg van een daadwerkelijk verschil van mening in het electoraat.
De volledige uitslag kwam even later in beeld.
Bron: RTL Nieuws
Het verschil tussen de nummer één en nummer vier is net 2% met een relatief kleine steekproef van 582 mensen. Uiteraard staat er ook weer eens geen link naar de onderzoeksverantwoording op de website, dus het is volstrekt onduidelijk hoe de steekproef is getrokken, om maar iets te noemen. Maar om op basis van zo’n kleine steekproef en deze minimale verschillen Klaver uit te roepen tot winnaar van het debat is pure misleiding van de kijker. Niets meer, niets minder. Het is met deze resultaten heel goed mogelijk dat onder het electoraat Alexander Pechtold of Mark Rutte of misschien zelfs Henk Krol het debat heeft gewonnen, maar door toeval je net een handjevol GroenLinksers meer in je steekproef hebt zitten, en je steekproef dus meer steun voor Klaver laat zien. Om over het verschil tussen Rutte en Pechtold maar te zwijgen en toch weet RTL Nieuws in hun berichtgeving neer te pennen dat Rutte op plaats drie belandde en Pechtold op plaats twee. Het is blijkbaar niet nieuwswaardig dat drie of vier lijsttrekkers nek-aan-nek eindigen.
En vervolgens kan het panel bij de nabeschouwing eindeloos gaan zitten ouwehoeren over de redenen waarom Klaver tot winnaar is uitgeroepen. Ze hadden vast ook redenen uit hun duim kunnen zuigen voor een winst van Rutte (iets als: “Hij stond er écht als premier”), Pechtold (“De rasdebater”) of Henk Krol (“Wat zat hij lekker in zijn vel”). Maar als je debatten als wedstrijd framet, hoort daar nou eenmaal een winnaar bij. Het correct informeren van de kiezer is een bijzaak. Ondertussen verspreidt het bericht dat Klaver het debat zou hebben gewonnen zich als een lopend vuurtje op basis van niets anders dan statistisch drijfzand (Telegraaf, AD).
Toen we in 2013 begonnen met bloggen op Stuk Rood Vlees, schreven we veel over foutieve berichtgeving over peilingen. Sindsdien is er best wat verbeterd. Zo gaan de NOS en NRC veel voorzichtiger om met peilresultaten en baseren zij zich grotendeels op de Peilingwijzer, die alle peilingen combineert tot een gewogen gemiddelde en expliciet onzekerheidsmarges rondom de resultaten modelleert. Pure winst, want de kiezer wordt zo zorgvuldig mogelijk geïnformeerd. Natuurlijk bestaat er enige onwennigheid en laat men zo nu en dan een steekje vallen, maar dat is niet meer dan logisch. De wil om de kijker of lezer betrouwbare informatie te geven is er in ieder geval. En zelfs als je niet de Peilingwijzer, maar een enkele peiling zou gebruiken, dan nog kun je zorgvuldigheid in de berichtgeving betrachten, zoals bijvoorbeeld EenVandaag met regelmaat laat zien. RTL Nieuws leek ook te snappen hoe je peilresultaten moest interpreteren toen het besloot dat het onmogelijk was om op basis van de peilingen de vier grootste partijen uit te nodigen voor het zogenaamde premiersdebat in de Rode Hoed. Hoe je dan in hemelsnaam wel Klaver op grond van de bovenstaande peiling kunt uitroepen tot winnaar is me een raadsel. RTL is blijkbaar weer terug bij af.
Update – 10 maart 2017, 16:13 uur.
RTL heeft de onderzoeksverantwoording nu wel op de website geplaatst. De steekproefgrootte was blijkbaar 1183 (en niet 582 zoals aanvankelijk op de website te lezen stond), maar dit is nog steeds te weinig om te kunnen stellen dat de gevonden verschillen tussen de top-3 statistisch significant zijn. Even zorgwekkend: het veldwerk is al om 22:00 begonnen, ruim voordat het debat was afgelopen…
Geef een reactie
Je moet inloggen om een reactie te kunnen plaatsen.