Zo ziet een goede onderzoeksverantwoording voor peilingen eruit

De race om het Amerikaanse presidentschap begint aardig op stoom te raken. En dus volgen ook de peilingen elkaar in hoog tempo op. Natuurlijk zitten niet alle peilingen methodologisch even sterk elkaar, maar hoe scheid je als gebruiker van peilingen het kaf van het koren? Hiervoor is een degelijke onderzoeksverantwoording door de peiler onontbeerlijk.

Op 30 december 2015 maakte de Huffington Post bekend dat vanaf 1 januari 2016 alleen nog berichten worden opgenomen over nationale peilingen als die peilingen voldoende gedocumenteerd zijn. De Huffington Post gaat hiervoor uit van de zogenaamde “Level 1 Disclosure Requirements” van de National Council on Public Polls (NCPP). De American Association of Public Opinion Research (AAPOR) heeft in het kader van hun “Transparency Initiative” een soortgelijke lijst opgesteld.

Ook in Nederland bestaat sinds 2012 een dergelijke lijst met voorwaarden waaraan goede peilingen zouden moeten voldoen. Deze “Checklist voor peilingen” was een initiatief van het Nederlandstalig Platform voor Survey-Onderzoek (NPSO) samen met het Centraal Bureau voor de Statistiek (CBS) en de Vereniging van Onderzoeksjournalisten (VVOJ).

Hieronder neem ik de dertien punten van de AAPOR-lijst door. Idealiter zien we al deze zaken dus terug in de onderzoeksverantwoording van een peiling. De lijst is meteen ook vertaald in het Nederlands en waar nodig aangepast in de Nederlandse situatie.

Item 1: Meld wie de opdrachtgever van de peiling is en wie de peiling uitvoerde.

Deze informatie is van belang omdat opdrachtgevers soms belang hebben bij bepaalde uitkomsten. Zie bijvoorbeeld deze peiling van de Nationale Academie voor Media & Maatschappij of deze peiling over statiegeld.

Item 2: Geef de exacte teksten van de vragen waarvan je de uitkomsten in de rapportage meldt. Daarbij horen ook de antwoordopties en eventueel voorafgaande instructies voor interviewers en respondenten. Verder moet je voorafgaande vragen melden die redelijkerwijs van invloed kunnen zijn op de uitkomsten van een vraag.

De peiling van de frisdrankindustrie over het afschaffen van statiegeld bevat een mooi voorbeeld van hoe je door het veranderen van een vraag een ander antwoord kunt krijgen.

Item 3: Specifieer de doelpopulatie van de peiling.

De doelpopulatie is de populatie waaruit de steekproef is getrokken en waarnaar uiteindelijk de steekproefresultaten gegeneraliseerd worden. Leeftijdsbeperkingen zouden hier kunnen worden gemeld wanneer het een politieke peiling is over houdingen van stemgerechtigden. Of misschien bestaat de doelpopulatie alleen uit personen met een internetaansluiting. Of alleen uit inwoners van een gemeente die op zaterdag tussen 11.00 en 15.00 uur inkopen doen in het winkelcentrum.

Een peiling van Maurice de Hond over de verkiezing van de partijleider van de PvdA in 2012 laat zien dat je tot een andere conclusie komt als je een andere doelpopulatie gebruikt.

Item 4: Geef de datum (of data) waarop de gegevens zijn verzameld.

Item 5: Beschrijf de gebruikte steekproefkaders en de mate waarin die steekproefkaders de populatie afdekken.

Het kan gebeuren dat delen van de doelpopulatie niet worden meegenomen in het onderzoek, bijvoorbeeld omdat mensen in instellingen en tehuizen of personen die illegaal in het land verblijven worden uitgesloten.

Als je de steekproef voor een peiling uit een panel trekt, dan moet je melden dat mensen buiten het panel daarmee zijn uitgesloten van deelname. Als het mogelijk is, moet je een schatting maken van de omvang van het ontbrekende deel van de doelpopulatie. Als een dergelijke schatting niet mogelijk is, dan moet je uitleggen waarom dat het geval is.

Maak je geen gebruik van een steekproefkader, dan moet je dat rechtvaardigen.

Item 6: Vermeld de naam van de organisatie die de steekproef of het steekproefkader heeft geleverd (als die niet van de peiler zelf komen).

Item 7: Als je de steekproef trekt uit een panel of een pool van respondenten, leg dan uit hoe dit panel of deze pool van respondenten tot stand is gekomen.

Diverse grote peilers in Nederland maken gebruik van hun eigen panels voor het trekken van steekproeven. Het is lang niet altijd duidelijk hoe die zijn gevormd. Het LISS-panel van de Universiteit Tilburg is bijvoorbeeld echt geloot uit het bevolkingsregister, terwijl het panel van Maurice de Hond tot stand is gekomen door zelfaanmelding van deelnemers.

Item 8: Beschrijf de manier waarop je de steekproef hebt getrokken.

Hoe heb je de respondenten geselecteerd? Waren er eisen waaraan de respondenten moesten voldoen? Heb je in bepaalde groepen extra veel respondenten geselecteerd (over-sampling)? Als je een quota-steekproef hebt getrokken, welke variabelen heb je dan gebruikt om de quota-groepen te vormen? Als je eerst huishoudens hebt geselecteerd en vervolgens personen binnen de huishoudens, met welke procedure zijn die personen dan binnen de huishoudens gerecruteerd?

Geef voldoende informatie over het steekproefkader en de steekproeftrekking zodat je kunt vaststellen of er sprake was van een kanssteekproef of een ander soort steekproef.

Item 9: Wees duidelijk over de manier waarop de gegevens zijn verzameld.

Meestal gebeurt dit face-to-face (CAPI), telefonisch (CATI), schriftelijk of online. Mocht je versies van de vragenlijst in verschillende talen hebben gebruikt, meld dit dan.

Item 10: Meld de omvang van de steekproef. Heb je verschillende steekproefkaders gebruikt, meld dan de omvang van de steekproef per steekproefkader. Heb je de steekproef geloot, geef dan aan hoe groot de onzekerheidsmarges zijn. Leg uit of je hebt gewogen om te corrigeren voor ongelijke trekkingskansen en andere verschijnselen (zoals non-respons).

Voor niet-kanssteekproeven is het lastig om onzekerheidsmarges uit te rekenen. Dat kan alleen als je gebruik maakt van een onderliggend model. Beschrijf dit model. Vermijd hier het gebruik van de term onzekerheidsmarge.

Item 11: Als je hebt gewogen, leg dan uit hoe je de gewichten hebt berekend. Vermeld ook de variabelen die hiervoor zijn gebruikt en hoe je hun verdeling in de populatie hebt verkregen.

Item 12: Geef een contactpersoon op waarbij je meer informatie over de peiling kunt krijgen.

Item 13: Als verschillende steekproeven zijn gecombineerd, bijvoorbeeld door verschillende manieren van gegevensverzameling te gebruiken voor verschillende groepen, geef dan de hierboven genoemde informatie voor elke groep apart.

Met de beschrijving van deze 13 items komen we aan het einde van de lijst van het “Transparency Initiative” van de AAPOR. Het zou mooi zijn als een dergelijk initiatief navolging zou vinden in Nederland. Veel, vooral de wat grotere, peilers zijn al een heel eind op weg met het publiceren van een goede methodologische verantwoording.

Er zijn echter ook talloze peilingen waarbij vrijwel elke vorm van verantwoording ontbreekt. Een schrijnend voorbeeld is de peiling van RTL Nieuws over Zwarte Piet. Daarbij werd helemaal niets uitgelegd over de methodologie, omdat volgens de redactie de gemiddelde nieuwsconsument daar niet op zit te wachten. En de redactie voegde daar aan toe dat zij als journalisten ook niet alles weten over die methodiek. Zo moet het dus niet! Voor de duidelijkheid, natuurlijk hoeft die verantwoording niet in een tv-journaal te worden voorgelezen, maar er is geen enkel excuus om die niet later online te publiceren.

Het begin van een nieuw jaar is een mooi moment voor goede voornemens. Hopelijk helpt de bovenstaande lijst om de berichtgeving over opinieonderzoek te verbeteren.