De schizofrene relatie tussen opiniepeilers, media en wetenschappers

Vandaag een blog van Peter Kanne over de relatie tussen opiniepeilers, media, en wetenschappers. Lees ook de reactie van Tom van der Meer.

“Als ik één ding zou mogen verbieden, dan zijn het de peilingen”, zei Burgemeester Eberhard van der Laan op 15 november in de Rode Hoed, met zijn zachte, gezagvolle stem. Het ging ook even over de benarde positie van de PvdA, die zo’n opmerking in een bepaald licht plaatst, maar daar gaat het nu niet om. Waar komt toch die aversie tegen opiniepeilingen vandaan? Hoe ontstaat dit negatieve beeld? En is het terecht?

De actoren in het peilingendispuut zijn te plaatsen op een (weeg)schaal die soms links doorslaat door zwak of opportunistisch gebruik van peilingen door peilers of media. En soms slaat de weegschaal rechts door: peilingpuriteinen die onrealistisch strenge eisen stellen aan de peilingen. Beide zijden van de weegschaal doen het nut van peilingen geen recht en alle deelnemers aan de discussie bijten in hun eigen staart.

Charlatans

Er zijn in dit dispuut vier partijen te onderscheiden: peilers, politici, media en wetenschappers. Wat een goed begrip van de peilingenkritiek lastig maakt, is dat de actoren wisselende posities innemen. Het onderzoeksbureau dat doorgaans degelijk onderzoek levert, maakt een uitglijder door twijfelachtige conclusies te trekken uit een niet representatieve steekproef. Dus reden voor kritiek is er zeker, dat mogen we ons aantrekken.

De politicus zal meestal zeggen dat hij geen enkele waarde hecht aan de peilingen, maar kan het soms toch niet laten te verwijzen naar een peiling die hem goed uitkomt. Een volgend moment roept hij om een verbod.

De krant of het tv-programma dat de ene dag uitvoerig – vaak vrij kritiekloos – verslag doet van een peiling, kan de volgende dag een vernietigende analyse van ‘de peilingen’ hebben en de daaropvolgende dag (of nog dezelfde dag) weer peilingberichten brengen. In eenzelfde editie van de Volkskrant noemde columnist Bert Wagendorp peilers “politieke piskijkers” en “charlatans”, maar mocht deze opiniepeiler ook het nut van peilingen uitleggen: “doordat kiezers vooraf een beetje kunnen inschatten hoe de hazen lopen, kunnen ze een meer weloverwogen keus maken om hun stem maximaal te benutten”. Dezelfde Bert Wagendorp haalde, in dezelfde Volkskrant, dezelfde piskijker een week later doodleuk aan om de potentie van Jesse Klaver te duiden.

Wetenschappers als nuttige waakhond

De kritische wetenschappers zijn niet tegen peilingen. Ook zij zien er het nut van in: “mits correct uitgevoerd en geïnterpreteerd – twee grote ‘mitsen’ – vormen opiniepeilingen een fantastisch instrument met onschatbare waarde voor ons begrip van electorale processen,” stelden Armen Hakhverdian, Tom Louwerse en Tom van der Meer eerder op dit blog. Het kan misgaan als er vergaande conclusies worden getrokken uit niet-representatief onderzoek of als minimale – niet-significante – verschuivingen worden gebracht als trend. Het terechte advies aan peilers en media is: een verschil dat relevant lijkt maar niet statistisch significant is, dient niet als verschil of trend benoemd te worden. Ook met betrekking tot de steekproeftrekking en vraagstelling houden de wetenschappers peilers en media scherp. Hier verrichten ze nuttig werk.

Roomser-dan-de-Paus

Hoe voer je dan een goede peiling uit? “De steekproef moet in alle opzichten een goede afspiegeling zijn van de populatie waaruit hij is getrokken. Die steekproef moet door loting zijn verkregen. Het moet dus een aselecte steekproef zijn”, stelt peilingpraktijken.nl. Bij voorkeur getrokken uit het bevolkingsregister. Opiniepeilingen van de grotere bureaus in Nederland worden via online access panels uitgevoerd, internetpanels kunnen tot zelfselectie leiden en zijn daarom – volgens sommige wetenschappers –niet betrouwbaar. Van gerenommeerd wetenschapper Jelke Bethlehem werd de uitspraak “90 procent van de peilingen is ‘flut’” genoteerd in een Volkskrant-artikel met als titel ‘We worden kapot gepeild’. Op Twitter neemt Bethlehem deze uitspraak terug: “De ‘90%’ had ik er niet in willen hebben. Is inderdaad ongenuanceerd. Maar ik zie wel ‘veel’ flutpeilingen langskomen”. Echter, ook in De Correspondent (12 november 2015) wordt Bethlehem aangehaald: “ ‘Heel veel opinieonderzoek is volkomen flut.’”

Wetenschappers stellen graag onderzoek van SCP of het Nationaal Kiezersonderzoek als voorbeeld. Prachtige onderzoeken inderdaad, maar wel studies die maanden tot wel een jaar in beslag nemen en tien- tot honderdduizenden euro’s kosten. Ongeschikt om de actuele politiek te volgen.

Dit soort wetenschappelijke Roomser-dan-de-Paus kritiek doet een verantwoord gebruik van peilingen geen goed. Het gaat ook voorbij aan de actuele praktijk van opinieonderzoek. Er zijn genoeg wetenschappers die prima kunnen leven met goede internetpanels en met steekproeven die niet random uit een populatie zijn getrokken, maar wel representatief zijn op relevante kenmerken.

Bandwagoneffect

Daar komt het bandwagoneffect bij, het effect dat kiezers graag bij de winnaar willen horen en daar de peilingen voor gebruiken. Het is jammer dat het bij sommige politicologen zoveel gewicht krijgt,  omdat het journalisten een (te) makkelijke metafoor biedt: kiezers die als vee achter de ketelmuziek aan hobbelen. Dat is echt te veel eer voor de peilingen. Het bandwagoneffect is klein, misschien 2 procent. Veel (ook politicologisch) onderzoek laat zien dat kiezers vooral afgaan op de politieke inhoud bij het bepalen van hun stem. Peilingen worden door kiezers ook gebruikt als informatiebron bij het bepalen van hun keuze (bijvoorbeeld: bij strategisch stemgedrag), maar dat is iets anders dan bij de winnaar willen horen.

Redenen om op een partij te stemmen bij de PS-verkiezingen van maart 2015

Bron: I&O Research, maart 2015

Frames

De ‘peilingdeskundigen’ zijn in dit land op twee handen te tellen, dus het zijn vaak deze wetenschappers die door journalisten worden geciteerd. Vervolgens zijn deze deskundigen verbaasd over de manier waarop ze geciteerd worden, de koppen of de algemene conclusies over opinieonderzoek. Peilingwatchers lijken zich soms onvoldoende te realiseren dat de journalist in kwestie op pad wordt gestuurd met de opdracht een (zeer) kritisch artikel over peilingen te schrijven, misschien met de titel al in het hoofd. Bij de deskundige komt de journalist halen wat in dat ‘frame’ past. En zo wordt de haat-liefdeverhouding tussen peilers, media en wetenschap jaar na jaar gevoed en bestendigd.

Deze tekst verscheen eerder in Clou.