“Hier zie je hoe publieke opinie gemaakt wordt, niet gemeten”

2 Comments

Het NRC pakte vorig weekend groots uit met een artikel over de onderzoekspraktijken van Maurice de Hond. De krant nodigde vier politicologen uit om onderzoek van De Hond in dienst van 50Plus onder de loep te nemen.

We hebben vorige week een overzicht gepost van de kritiek door de jaren heen van politicologen en collega-peilers op het opinieonderzoek van De Hond, inclusief repliek van De Hond zelf. Deze kritiek slaat op zijn wekelijkse peilingen, maar ook op zijn onderzoek voor partijen (beiden berusten op dezelfde methodologie). Eén van de kritiekpunten betreft de volgorde van vragen in zijn enquetes. Tom Louwerse zegt hierover in NRC Weekend: “Als je eerst een aantal stellingen voorlegt en daarna een partijvoorkeur toetst, kan dat de keuze beïnvloeden.” De Honds weekpeiling van vandaag is hier een voorbeeld van. Ik zal eerst kort ingaan op volgorde-effecten en kom daarna terug op de casus De Hond.

 

‘Question order effects’

De volgorde van vragen in een vragenlijst kan van grote invloed zijn op de onderzoeksresultaten. Het fenomeen van ‘question order effects’ ontstaat voornamelijk wanneer specifieke vragen voorafgaan aan algemene vragen. Norbert Schwarz, psycholoog aan de University of Michigan, en collega’s illustreren dit bijvoorbeeld aan de hand van wat vragen over ‘life satisfaction’ en ‘marital satisfaction’. De algemene vraag gaat over de tevredenheid van respondenten over hun leven in het algemeen, de specifieke vraag betreft de tevredenheid van respondenten over hun huwelijk. Wanneer de algemene vraag voor de specifieke vraag wordt gesteld, vinden Schwarz e.a. een aanzienlijk verband tussen de twee variabelen (r = 0.32). Dit is ook niet zo opmerkelijk; levensgeluk en geluk in de huwelijk gaan blijkbaar hand in hand.

Maar wanneer de specifieke vraag voor de algemene vraag wordt gesteld blijkt het verband tussen de twee variabelen ineens veel sterker (r = 0.67). In deze situatie beantwoorden de respondenten de algemene vraag namelijk op basis van criteria die geactiveerd worden door de specifieke vraag. Oftewel, in deze volgorde ben je eerder geneigd je levensgeluk te beoordelen aan de hand van je huwelijk. Bij respondenten die eerst de vraag over levensgeluk beantwoorden doet zich dit probleem zich niet voor. Zij putten uit een veel diffusere set aan critera. Het huwelijk speelt voor hen weliswaar een rol in het beoordelen van hun levensgeluk (zie de bovengenoemde correlatie van 0.32), maar ook zaken als carrière, vrienden, gezondheid, etc. spelen waarschijnlijk mee.

Het Pew Research Centre geeft nog een voorbeeld van volgorde-effecten. Pew vroeg in december 2008 aan respondenten in hoeverre zij tevreden waren met de stand van zaken in Amerika en stelde vervolgens een vraag over de ‘job approval’ van George W. Bush. 78% van de respondenten gaf aan ontevreden te zijn met de algemene stand van zaken. Maar wanneer de vragen werden omgewisseld – dus eerst de specieke vraag over Bush, daarna de algemene stand van zaken – steeg het aandeel ontevreden respondenten naar 88%. De vraag over Bush zorgde ervoor dat respondenten de algemene situatie gingen evalueren aan de hand van hun houding jegens Bush. De les is helder: stel algemene vragen voor specifieke vragen om dergelijke volgorde-effecten te vermijden.

 

Het maken van publieke opinie

Terug naar De Hond. Afgelopen vrijdag plaatste Marcus Lucas een veelzeggende afbeelding op Twitter van een aantal stellingen die hij die dag bij een peiling van De Hond was tegengekomen. Het gaat me nu even niet om de vraagstelling die enigzins sturend van aard is. Waar ik me meer zorgen om maak is dat de vraag over partijvoorkeur ná deze specifieke stellingen over het Marokkanendebat werd gesteld. Blijkbaar vroeg De Hond ook nog naar het BTW-plan van de PVV, al is deze vraag niet opgenomen in het verslag van deze peiling. De vraag over partijvoorkeur zou als één van de laatste vragen in de vragenlijst aan bod zijn gekomen; precies de kritiek die Tom Louwerse uitte in NRC Weekend over de 50Plus-onderzoeken. De respondenten krijgen hier criteria voor hun eventuele partijkeuze op een presenteerblaadje aangeboden.

Collega’s van De Hond volgen op dit punt overigens wél de wetenschappelijke literatuur. Tijdens het UvA-symposium ‘Vinger aan de Polls’ van 9 januari 2013 vertelde Marianne Bank, onderzoeksdirecteur bij Ipsos en verantwoordelijk voor de Politieke Barometer, dat zij de vragen over politieke voorkeur altijd aan het begin van de vragenlijst stellen. Pas daarna volgen vragen over de actualiteit en andere politieke aangelegenheden. Eerder stelde ook Peter Kanne (TNS NIPO) dat De Hond op deze manier zoekt naar ‘zelf verstopte paaseieren’.

De vraag hoe groot de volgorde-effecten in het onderzoek van De Hond zijn, kan alleen hij beantwoorden. Ik zou graag eens zien dat hij zijn steekproef willekeurig in tweëen zou hakken en vervolgens bij de eerste groep de partijvoorkeur aan het begin vraagt en bij de tweede groep op het eind. Tot die tijd volg ik de wetenschappelijke consensus op dit punt. Zoals Kees Aarts, politicoloog aan de Universiteit Twente, vorig weekend zei: “Hier zie je hoe publieke opinie gemaakt wordt, niet gemeten.

 

About the author

Armen Hakhverdian
Universitair hoofddocent politicologie aan de Universiteit van Amsterdam

Related Articles

2 Comments

  1. Maurice de Hond

    Grappig dat je dit zo allemaal beweert. De peiling die zondag is bekendgemaakt is gebaseerd op de tweede vragenlijst van vrijdag/zaterdag. En daarin zijn de vragen over de PVV NIET gesteld. En daaruit kan ik dus ook goed zien wat het verschil is tussen het effect van wel de PVV-vragen eerst stellen en het niet doen.

    Maar het maakt toch niet uit wat de werkelijkheid is, want je hebt je mening toch al klaar. Zoals ook bleek uit je artikel van 14 september 2012 in NRC-Handelsblad over de peilingen van DWDD. http://www.nrc.nl/verkiezingen/2012/09/14/de-peilingencarrousel-de-wereld-draait-door-was-het-ergst/

    Ik wees jou en de andere twee auteurs op de ernstige feitelijke fouten die jullie in dat artikel hadden gemaakt over mij en DWDD, maar van enige correctie was geen sprake.

    En ook bij dit blog doe je weer hetzelfde. Gewoon van feiten uitgaan, die niet kloppen. Het is gewoon een Pavlov-reactie van jou en de anderen als het mijn activiteiten betreft.

    Kreeg wel een excuus van een van de geciteerde hoogleraren naar aanleiding van het artikel in NRC-Handelsblad over de tendentieuze aanpak. Maar die is blijkbaar alleen voor mij en niet voor de lezers van NRC-Handelsblad en de site.

    Wanneer krijg ik het excuus van jou over dit blog?

  2. Armen Hakhverdian
    Armen Hakhverdian

    Beste Maurice,

    Dank voor je antwoord. Als er in dit geval sprake is van twee afzonderlijke peilingen op de vrijdag/zaterdag, dan betreur ik uiteraard deze feitelijke onjuistheid in mijn artikel. Aan de ene kant is het goed om te weten dat je blijkbaar in je verslag (http://www.peil.nl/?3744) twee verschillende steekproeven hebt gebruikt voor de zetelpeiling en voor het Marokkanen-debat. Dat staat in dat verslag namelijk nergens vermeld. Op peil.nl zag ik naast het bovenvermelde verslag van de zetelpeiling drie andere verslagen van 7 april (BTW-plan, Rijksmuseum en Marokkanendebat) waar geen enkele aanwijzing te vinden was dat het ook hier om dezelfde of meerdere steekproeven zou gaan.

    Mag ik vragen waarom je het aantal respondenten in je tabellen en de complete vragenlijst (twee elementen die je Amerikaanse en Britse collega’s wel gewoon in hun verslagen stoppen) niet gewoon vermeldt? Dat zou dergelijke misverstanden namelijk simpelweg voorkomen. Zo is ook de volgorde van de stellingen over het Marokkanendebat anders in je verslag dan in de vragenlijst in de tweet van Lucas (in de vragenlijst begin je met ‘Andere partijen zouden dit probleem ook serieus moeten nemen’, in je verslag met ‘De naamgeving van dit debat door de PVV was onnodig kwetsend’ – nogal een verschil). Heb je hier de stellingen in andere (of willekeurige) volgorde voorgelegd aan je twee steekproeven? Of kreeg hier iedereen dezelfde volgorde in de vragenlijst (zie Lucas) en heb je de volgorde in het verslag vervolgens aangepast? Het is voor gebruikers van je onderzoek (waaronder mijzelf) nauwelijks te doen om op basis van je verslagen en onderzoeksverantwoording deze elementaire zaken terug te vinden, terwijl het een kleine moeite zou zijn die bij te sluiten.

    Je verwijt mij een ‘Pavlov’ reactie, maar ik reageer op een vragenlijst die ik vrijdag heb gezien en aansluit bij je bredere onderzoeksmethodiek. De directe aanleiding om mijn stuk te schrijven mag dan onjuist gebleken te zijn (je zegt dat je weekpeiling deze week niet gecontamineerd is door de vragen over het Marokkanen debat omdat die een andere steekproef betreffen), maar dit neemt wat mij betreft de potentiele problemen van volgorde-effecten in je bredere onderzoek niet weg. In je repliek ontken je dan ook niet dat je de partijvoorkeur nog steeds aan het einde van je vragenlijst plaatst. Maar ik hoor uiteraard graag van je als je in de echte zetelpeiling tegenwoordig opent met partijkeuze of anders waarom volgorde-effecten in jouw onderzoeksdesign geen rol zouden spelen.

Leave a Reply

Your email address will not be published. Required fields are marked (required)