Schotse onafhankelijkheid: peilers krijgen allemaal gelijk of gaan allemaal de boot in…

Vandaag stemt de Schotse bevolking in een referendum over onafhankelijkheid. De afgelopen dagen was het een populair frame om te spreken van een nek-aan-nek-race tussen het Ja- (voor onafhankelijkheid) en Nee-kamp. Op basis van de schat aan peildata zou je dat ook vermoeden, maar wie iets langer naar de data kijkt komt tot een andere conclusie: de peilers zijn opvallend eensgezind over de uitslag. De uitslag is niet onzeker of spannend omdat de peilingen alle kanten op gaan, maar omdat alle peilers dezelfde fouten zouden kunnen maken.

Too close to call?

Eerst de cijfers. Anthony Wells (volgen!) zette gisteren de slotpeilingen op een rijtje (de Ja-stemmers):

Ipsos MORI (telefoon) 49%
ICM (telefoon) 49%
TNS (face-to-face) 49%
YouGov (online) 48%
Panelbase (online) 48%
ICM (online) 48%
Opinium (online) 48%
Survation (online) 48%
Survation (telefoon) 47%

Ieder van deze peilingen heeft een onzekerheidsmarge van ongeveer +/- 3%, maar het zou onjuist zijn om te concluderen dat peilers dus een statistisch ex aequo voorspellen. Wells schrijft terecht:

“The margin of error is on each individual poll, and it’s equally likely to happen in both directions. Hence if the “true” balance of public opinion in Scotland was 50/50 we’d expect to see a random scattering of results around that point, some polls showing yes, some polls showing no. We’re not seeing that. We’re seeing polls randomly scattered around the 48/52 mark, suggesting that’s most likely where public opinion is – a very small lead for the NO campaign.”

We zien overigens dezelfde kleine voorsprong voor het Nee-kamp wanneer we alle peilingen samenvoegen tot één schatting (zoals we kennen van de Peilingwijzer). Ben Stanley postte de volgende figuur op Twitter. We zien ook hier dat het Nee-kamp op kop ligt, zelfs als we de onzekerheidsmarge meenemen.

Twee mogelijke fouten

En tóch is het spannend. In de woorden van Wells: “This isn’t going to be a case of individual pollsters getting it right or wrong, they’ll either all be around about right or all be horribly out.” En dat laatste is zeker mogelijk. Door de unieke context van het referendum kunnen peilers slechts ten dele lessen uit andere verkiezingen toepassen. Bovendien biedt het aggregeren van individuele peilingen geen bescherming tegen een gezamelijke blind spot.

In een eerdere post wees Wells op twee mogelijke fouten die een rol zouden kunnen spelen. Ten eerste de opkomst. Peilers die een verkiezingsuitslag willen voorspellen moeten in feite een steekproef trekken uit een streekproef. Je bent dan namelijk niet meer geïnteresseerd in de houdingen onder het gehele electoraat, maar alleen onder daadwerkelijke stemmers (in de VS noemen peilers dat ‘likely voters’). Je kunt genadeloos onderuit gaan als je de stemmers niet goed kunt onderscheiden van niet-stemmers (dat overkwam Gallup in 2012).

Nu weten we na decennia politicologisch onderzoek best waarom mensen wel en niet gaan stemmen, maar dat is niet hetzelfde als voorspellingen doen over de opkomst. Die modellen verklaren namelijk maar een relatief klein deel van de daadwerkelijke opkomst en dus zal toeval een grote rol blijven spelen. Bovendien liegen respondenten vaak over hun politieke participatie.

In Schotland wordt een hoge opkomst verwacht, wel 20-30% hoger dan in andere verkiezingen. Een enorme groep kiezers zal de gang naar de stembus maken, waar peilers en andere onderzoekers maar weinig grip op hebben. Dit zijn doorgaans namelijk dezelfde mensen die weigeren deel te nemen aan enquêteonderzoek.

Een tweede mogelijke fout zit hem in deelname aan peilingen van Nee- en Ja-stemmers. Wells verwacht dat Ja-stemmers vaker zullen deelnemen, vooral aan online-enquêtes, dan Nee-stemmers: “What if the yes supporter, full of zeal and keen to share their view, happily agrees to do the phone interview while the less enthused No supporter doen’t want to interupt their tea?”

Blind vertrouwen

Als je blind zou vertrouwen op de peilingen zou je zonder enige twijfel je geld moeten zetten op een winst voor het Nee-kamp. De kans dat op basis van deze peilingen het Ja-kamp wint is zo’n 2%. Toch blijven het een bloedstollende verkiezingen, omdat de unieke context van dit referendum voorspellingen ongemeen moeilijk maakt. Daar komt nog bij dat van de zwevende kiezers een meerderheid uiteindelijk voor onafhankelijk kiest. We zullen andermaal geduldig de verkiezingsuitslag moeten afwachten.

Nee, weet u wat, ik zet m’n geld op ‘Nee’. Kom op, peilers, don’t let me down…