Op vrijdag 26 februari 2016 waren er parlementsverkiezingen in Ierland. Die liepen uit op een drama voor de twee coalitiepartijen, de Christen-democratische Fine Gael en de Labour Partij. Fine Gael, de grootste partij in Ierland, verloor bijna 11% procentpunten. De partij viel terug van 36,1% naar 25,5%. De Labour Party deed het nog slechter. Deze partij verloor bijna 13 procentpunten en kelderde van 19,5% naar 6,6%.
Zagen de Ierse peilers dit drama aankomen? Na afloop van de verkiezingen kunnen we dat controleren. En we krijgen dan meteen ook een inkijkje in hoe de Ierse peilers het doen. Doen ze dat op dezelfde manier als de Engelsen en de Nederlanders. Deze bijdrage laat zien dat er interessante verschillen zijn.
Laten we eerst eens bekijken hoe goed de Ierse peilers het hebben gedaan. De tabel hieronder bevat de laatste voorspellingen van vier grote peilers: Behaviour & Attitudes, Millward Brown, Ipsos MRBI en Red C. De laatste kolom van de tabel bevat de werkelijke verkiezingsuitslag.
Bij alle peilers is de omvang van de steekproef net boven de 1000. Dat is geen toeval, want hiermee voldoende ze aan een richtlijn van de Association of Irish Market Research Organisations (AIMRO). Die richtlijn zegt: “The minimum sample size for a national published opinion poll should be 1,000 respondents”. Daarmee vermijd je dat peilingen te klein zijn, en dus dat onzekerheidsmarges te groot zijn.
De rode cellen in de tabel geven voorspellingen aan die significant afwijken van de echte uitslag van de verkiezingen. Alle peilers voorspelden wel een flink verlies voor de Fine Gael, maar dat was minder groot dan het werkelijke verlies. Verder deed Millward Brown het niet zo goed. Zowel bij Sinn Féin als de onafhankelijken (Ind/IA) zat deze peiler er behoorlijk naast. Op basis van de tabel zou je kunnen concluderen dat Ipsos MRBI de beste peiler van de vier was. Deze peiler had immers nergens significante afwijkingen.
Opvallend is dat drie van de vier peilers hun gegevens verzamelden met face-to-face interviews bij de respondenten thuis. In Nederland gebeurt dat niet. In ons land hebben we alleen nog maar online peilingen. Elke Nederlandse peiler heeft zijn eigen web panel. En het is helaas niet altijd even duidelijk hoe die panels tot stand zijn gekomen. Volgens de AAPOR Code of Ethics zou dit wel duidelijk moeten zijn: Door deze onduidelijkheid moet je je soms afvragen of deze panels wel representatief zijn.
Waarom geen online peilingen in Ierland? Dat lijkt niet zo vreemd, want slechts 85% van de Ierse huishoudens heeft toegang tot internet (volgens cijfers van Eurostat). Dat betekent dat je bij een online peiling 15% van de Ieren niet bereikt. Dat zou wel eens tot vertekeningen in de uitkomsten kunnen leiden. In Nederland heeft meer dan 95% toegang tot internet.
In Engeland ging het vorig jaar helemaal mis met de opiniepeilingen. Die peilingen voorspelden allemaal een nek-aan-nek race bij de parlementsverkiezingen op 7 mei 2015. Maar dat bleek helemaal niet het geval te zijn. De Conservatieven wonnen die verkiezingen met een comfortabele voorsprong. Een onderzoekscommissie van de British Polling Council (BPC) kwam tot de conclusie dat de steekproeven van de peilers niet representatief waren. Zeven van de 11 onderzochte peilingen waren gebaseerd op steekproeven uit online web panels. De leden van die panels hadden allemaal zichzelf aangemeld. Dat is zelfselectie en dus geen aselecte steekproef. Die panels waren daarom niet representatief.
Bij vier van de onderzochte Engelse peilingen was er sprake van telefonische interviews. De telefoonnummers waren weliswaar aselect (omdat ze via random digit dialing waren gegenereerd), maar de respons was zo laag (niet meer dan 20%, en in grote steden niet meer dan 10%) dat daardoor de representativiteit ernstig werd aangetast.
In Ierland deed ook één van de peilers het telefonisch. Dat was Red C. Die zat er bij twee partijen naast. De voorspelling voor Fine Gael was te hoog en die voor Fianna Fáil te laag. Toch wel verrassend was dat drie Ierse peilers het met face-to-face interviews deden. Dat is een kostbare manier van dataverzameling. Je hebt immers interviewers nodig die bij de respondenten thuis langs gaan.
De peilers trokken hun steekproef in twee stappen. Ierland is opgedeeld in 40 kiesdistricten. Op hun beurt zijn die kiesdistricten weer opgedeeld in 3440 kleinere administratieve eenheden (electoral divisions). In de eerste stap van de trekking van de steekproef werden verspreid over alle kiesdistricten 100 administratieve eenheden geloot.
In elke van de geselecteerde administratieve eenheden moesten 10 personen worden geïnterviewd. Zo kom je aan een steekproef van 100 x 10 = 1000 personen. Helaas werd voor de selectie van de personen gebruik gemaakt van de quota-steekproeven. De personen werden niet geloot. De enige instructie die de interviewers kregen, was dat die personen afkomstig moesten zijn uit bepaalde demografische groepen. Die groepen waren gevormd op basis van geslacht, leeftijd en sociaaleconomische klasse. De interviewers moesten in elke groep een bepaald aantal personen (quota) interviewen. Deze quota-aanpak laat open dat interviewers heel subjectief te werk kunnen gaan. Daarmee kan de representativiteit verloren gaan. Om maar eens een voorbeeld te noemen: mensen die maar weinig thuis zijn, zullen ondervertegenwoordigd zijn in deze peiling.
Een ander probleem bij deze trekking van de steekproef in twee stappen is dat respondenten steeds in groepjes van 10 zijn geclusterd. Er kan dan een clustereffect optreden. De personen in een cluster lijken zoveel op elkaar dat het eigenlijk niet zoveel zin heeft om ze alle 10 te interviewen. Interviewen van 10 personen levert niet meer informatie op dan interviewen van één persoon. Dit leidt ertoe dat schattingen een veel minder grote precisie hebben dan je zou verwachten bij de gehanteerde steekproefomvang. Om de invloed van dit clustereffect binnen de perken te houden, heeft de AIMRO de richtlijn dat je bij een steekproef van 1000 personen niet meer dan 20 interviews per cluster mag doen. Of anders gezegd: Je moeten minimaal 50 verschillende administratieve eenheden in je peiling hebben.
Als we terugkeren naar de vraag die we aan het begin stelden, dan kunnen we concluderen dat de Ierse peilers het drama voor een flink deel zagen aankomen. Voor wat betreft de Labour Party zagen ze het goed. Maar bij Fine Gael was het verlies groter dan ze hadden gedacht. En er waren verder ook nog wel wat behoorlijke afwijkingen.
Toch lijkt het erop dat de Ierse peilers het beter deden dan de Engelse peilers. Je vraagt je dan af of het misschien face-to-face peilingen beter zijn dan online peilingen. Misschien ook eens een face-to-face peiling in Nederland proberen? Maar dan niet met quota-steekproeven, maar met een aselecte steekproef.
Featured image: Tommy Kavanagh (CC BY-SA 3.0)
Geef een reactie
Je moet ingelogd zijn op om een reactie te plaatsen.