“Hier zie je hoe publieke opinie gemaakt wordt, niet gemeten”

Het NRC pakte vorig weekend groots uit met een artikel over de onderzoekspraktijken van Maurice de Hond. De krant nodigde vier politicologen uit om onderzoek van De Hond in dienst van 50Plus onder de loep te nemen.

We hebben vorige week een overzicht gepost van de kritiek door de jaren heen van politicologen en collega-peilers op het opinieonderzoek van De Hond, inclusief repliek van De Hond zelf. Deze kritiek slaat op zijn wekelijkse peilingen, maar ook op zijn onderzoek voor partijen (beiden berusten op dezelfde methodologie). Eén van de kritiekpunten betreft de volgorde van vragen in zijn enquetes. Tom Louwerse zegt hierover in NRC Weekend: “Als je eerst een aantal stellingen voorlegt en daarna een partijvoorkeur toetst, kan dat de keuze beïnvloeden.” De Honds weekpeiling van vandaag is hier een voorbeeld van. Ik zal eerst kort ingaan op volgorde-effecten en kom daarna terug op de casus De Hond.

‘Question order effects’

De volgorde van vragen in een vragenlijst kan van grote invloed zijn op de onderzoeksresultaten. Het fenomeen van ‘question order effects’ ontstaat voornamelijk wanneer specifieke vragen voorafgaan aan algemene vragen. Norbert Schwarz, psycholoog aan de University of Michigan, en collega’s illustreren dit bijvoorbeeld aan de hand van wat vragen over ‘life satisfaction’ en ‘marital satisfaction’. De algemene vraag gaat over de tevredenheid van respondenten over hun leven in het algemeen, de specifieke vraag betreft de tevredenheid van respondenten over hun huwelijk. Wanneer de algemene vraag voor de specifieke vraag wordt gesteld, vinden Schwarz e.a. een aanzienlijk verband tussen de twee variabelen (r = 0.32). Dit is ook niet zo opmerkelijk; levensgeluk en geluk in de huwelijk gaan blijkbaar hand in hand.

Maar wanneer de specifieke vraag voor de algemene vraag wordt gesteld blijkt het verband tussen de twee variabelen ineens veel sterker (r = 0.67). In deze situatie beantwoorden de respondenten de algemene vraag namelijk op basis van criteria die geactiveerd worden door de specifieke vraag. Oftewel, in deze volgorde ben je eerder geneigd je levensgeluk te beoordelen aan de hand van je huwelijk. Bij respondenten die eerst de vraag over levensgeluk beantwoorden doet zich dit probleem zich niet voor. Zij putten uit een veel diffusere set aan critera. Het huwelijk speelt voor hen weliswaar een rol in het beoordelen van hun levensgeluk (zie de bovengenoemde correlatie van 0.32), maar ook zaken als carrière, vrienden, gezondheid, etc. spelen waarschijnlijk mee.

Het Pew Research Centre geeft nog een voorbeeld van volgorde-effecten. Pew vroeg in december 2008 aan respondenten in hoeverre zij tevreden waren met de stand van zaken in Amerika en stelde vervolgens een vraag over de ‘job approval’ van George W. Bush. 78% van de respondenten gaf aan ontevreden te zijn met de algemene stand van zaken. Maar wanneer de vragen werden omgewisseld – dus eerst de specieke vraag over Bush, daarna de algemene stand van zaken – steeg het aandeel ontevreden respondenten naar 88%. De vraag over Bush zorgde ervoor dat respondenten de algemene situatie gingen evalueren aan de hand van hun houding jegens Bush. De les is helder: stel algemene vragen voor specifieke vragen om dergelijke volgorde-effecten te vermijden.

Het maken van publieke opinie

Terug naar De Hond. Afgelopen vrijdag plaatste Marcus Lucas een veelzeggende afbeelding op Twitter van een aantal stellingen die hij die dag bij een peiling van De Hond was tegengekomen. Het gaat me nu even niet om de vraagstelling die enigzins sturend van aard is. Waar ik me meer zorgen om maak is dat de vraag over partijvoorkeur ná deze specifieke stellingen over het Marokkanendebat werd gesteld. Blijkbaar vroeg De Hond ook nog naar het BTW-plan van de PVV, al is deze vraag niet opgenomen in het verslag van deze peiling. De vraag over partijvoorkeur zou als één van de laatste vragen in de vragenlijst aan bod zijn gekomen; precies de kritiek die Tom Louwerse uitte in NRC Weekend over de 50Plus-onderzoeken. De respondenten krijgen hier criteria voor hun eventuele partijkeuze op een presenteerblaadje aangeboden.

Collega’s van De Hond volgen op dit punt overigens wél de wetenschappelijke literatuur. Tijdens het UvA-symposium ‘Vinger aan de Polls’ van 9 januari 2013 vertelde Marianne Bank, onderzoeksdirecteur bij Ipsos en verantwoordelijk voor de Politieke Barometer, dat zij de vragen over politieke voorkeur altijd aan het begin van de vragenlijst stellen. Pas daarna volgen vragen over de actualiteit en andere politieke aangelegenheden. Eerder stelde ook Peter Kanne (TNS NIPO) dat De Hond op deze manier zoekt naar ‘zelf verstopte paaseieren’.

De vraag hoe groot de volgorde-effecten in het onderzoek van De Hond zijn, kan alleen hij beantwoorden. Ik zou graag eens zien dat hij zijn steekproef willekeurig in tweëen zou hakken en vervolgens bij de eerste groep de partijvoorkeur aan het begin vraagt en bij de tweede groep op het eind. Tot die tijd volg ik de wetenschappelijke consensus op dit punt. Zoals Kees Aarts, politicoloog aan de Universiteit Twente, vorig weekend zei: “Hier zie je hoe publieke opinie gemaakt wordt, niet gemeten.”