De Grieken hebben gesproken. In het referendum van 5 juli 2015 sprak een flinke meerderheid van 61% zich uit tegen de door de EU voorgestelde hervormingen en bezuinigingen. Slechts 39% stemde voor. Daarmee was de uitslag substantieel anders dan de voorspellingen van de peilers, die een nek-aan-nekrace tussen voor- en tegenstanders voorspelden. Hoe konden die peilers zo de mist in gaan?
Een eerste mogelijke oorzaak van het verschil tussen de peilingen en de werkelijke uitslag was de wel heel erg korte tijd (pakweg een week) waarin de Grieken moesten bedenken wat ze gingen stemmen. Daarvoor moesten ze begrijpen waar de referendumvraag over ging en ook wat de consequenties van een mogelijke keuze zouden kunnen zijn. De Grieken moesten hun opinie dus snel vormen. Dat kan ook betekenen dat die opinie misschien nog wel in beweging was tijdens de periode waarin werd gepeild.
Een tweede mogelijke oorzaak van verschillen tussen de peilingen en de uitkomst van het referendum was de manier waarop de referendumvraag werd gesteld. Zie figuur 1 voor het originele stembiljet en figuur 2 voor de Nederlandse vertaling.
Figuur 1. Het stembiljet
Wat opvalt aan de vraagstelling is dat de tekst lang, moeilijk en abstract is. Bovendien werd verwezen naar andere documenten die in het stemhokje niet aanwezig waren. Zonder die documenten was het niet mogelijk de vraagstelling en de gevolgen van een keuze te begrijpen. Je kunt je ook afvragen of de kiezers de tekst überhaupt hebben gelezen. Misschien hebben ze hooguit de tekst ‘diagonaal gescand’. Het zou best kunnen dat veel kiezers vanuit hun onderbuik en zonder verder nadenken voor Ja of Nee hebben gekozen.
Figuur 2. De Nederlandse vertaling van het stembiljet
Opvallend is ook de volgorde van de antwoorden: eerst komt Nee en dan pas Ja. Het is gebruikelijker om met Ja te beginnen. Waarom dan toch beginnen met Nee? De verklaring zou kunnen liggen in een verschijnsel dat het primacy effect wordt genoemd. Dit kan optreden bij het invullen van papieren vragenlijsten door de respondenten zelf. Vooral minder gemotiveerde invullers bekijken niet de hele lijst van mogelijke antwoorden, maar kiezen een antwoord vooraan in de lijst. Zo’n primacy effect is hier dus voordelig voor het percentage nee-stemmers en nadelig voor het percentage ja-stemmers. Als je als organiserende overheid voorstander van Nee bent, dan is het dus handig om Nee vooraan te zetten.
Griekse peilingen
Er is in Griekenland heel wat gepeild tijdens de campagne voor het referendum. De tabel in figuur 3 hieronder geeft wat karakteristieken van zes peilingen die vlak voor het referendum zijn gehouden. Bedenk hierbij dat op de laatste dag voor het referendum (zaterdag 4 juli 2015) geen campagne meer mocht worden gevoerd en er mochten ook geen uitslagen van peilingen meer worden gepubliceerd. Deze radiostilte bood de Grieken de gelegenheid om nog even rustig over hun keuze na te denken.
Figuur 3. Voorspelllingen van Griekse peilers
De Griekse peilers zijn wel heel erg spaarzaam met het geven van informatie over de methodologische achtergronden van hun peilingen. Met enige moeite kun je de omvang van de steekproef terugvinden, maar voor de rest blijft het gissen. Het is bijvoorbeeld niet duidelijk of er sprake is van mondelinge, telefonische, schriftelijke of online peilingen. Online peilingen lijken onwaarschijnlijk, aangezien in Griekenland maar 66% van de huishoudens is aangesloten op het internet. Je mist dan dus een flink deel van de bevolking. Ter vergelijking: in Nederland heeft 96% van de huishoudens internet. Een schriftelijke peiling of een mondelinge peiling ligt ook niet voor de hand. Daarmee lukt het niet om in een paar dagen de benodigde gegevens te verzamelen. Bedenk hierbij ook dat Griekenland bestaat uit een enorme verzameling eilanden.
Het zullen dus wel telefonische peilingen zijn geweest. Dan rijst de vraag hoe de steekproeven van telefoonnummers zijn getrokken. Was de peiling wel representatief? De peilers melden helemaal niets over non-respons. Non-respons bij telefonische peilingen neemt de laatste jaren in veel landen overal onrustbarend toe. Dit kan leiden tot ernstige afwijkingen in de uitkomsten.
Vraagstelling
Bovendien hebben de peilers niet de letterlijke referendumvraag aan hun respondenten voorgelegd. Ze gebruikten meestal een veel simpeler vraagstelling. Zo luidde de (in het Engels vertaalde) vraag bij de peiling van Bloomberg: “How will you vote on Sunday’s referendum on whether to ratify the agreement that Greece’s creditors offer?”. En bij Ipsos was de vraag: “And how are you going to vote on the referendum’s question?”. Ipsos maakte zich er dus wel erg makkelijk van af door naar de referendumvraag te verwijzen zonder hem te vermelden. En dan maar hopen dat de respondenten wisten wat de die referendumvraag was…
Er zijn dus grote verschillen in vraagstelling tussen de peilers en het referendum. We weten uit ruim een halve eeuw opinieonderzoek dat uitkomsten van peilingen heel gevoelig zijn voor zelfs kleine veranderingen in de teksten van de vragen.
Peiling en uitslag
De bovenstaande tabel met de gegevens over de peilingen bevat ook de schattingen voor de percentages ja-stemmers en nee-stemmers. De verschillen zijn erg klein. Uiteraard kun je alleen maar vaststellen of er echte verschillen zijn door de onzekerheidsmarges te berekenen. In figuur 4 zijn die marges weergegeven in de vorm van een dotplot.
Figuur 4. De uitkomsten van zes Griekse peilingen
Voor iedere peiling is het verschil tussen het percentage ja-stemmers en het percentage nee-stemmers berekend. Een positieve waarde betekent dus meer ja-stemmers dan nee-stemmers en een negatieve waarde betekent het omgekeerde: meer nee-stemmers dan ja-stemmers. Uit figuur 4 blijkt dat die verschillen (de blauwe bolletjes) dicht bij 0 liggen. Vier verschillen zijn positief en twee zijn negatief. Om na te gaan of er sprake is van ‘echte’ verschillen en niet van ruis in de steekproef, zijn onzekerheidsmarges berekend. Die onzekerheidsmarges zie je terug in de dotplot als horizontale blauwe lijnstukken. De waarde 0 (de verticale zwarte lijn) ligt binnen al die marges. Je kunt daarom niet concluderen dat er geen significante verschillen zijn tussen de percentages voor- en tegenstanders. De peilingen wijzen inderdaad op een nek-aan-nekrace.
De uitslag van het referendum was dat een ruime meerderheid van 61,3%% van de Grieken nee stemde en slechts 38,7% stemde ja. Het verschil tussen ja-stemmers en nee-stemmers was dus -22,6 procentpunten. Dat werkelijke verschil is met een rode lijn in grafiek 4 aangegeven. Die lijn ligt ver buiten de onzekerheidsmarges. Alle peilingen faalden dus hard in het voorspellen van deze uitkomst.
Ook bij de parlementsverkiezingen in het Verenigd Koninkrijk van 7 mei jl. zaten alle peilers er behoorlijk naast. Dat is een zorgelijke ontwikkeling, vooral omdat peilingen niet alleen de publieke opinie meten, maar die ook kunnen beïnvloeden.
Interessant. Je haalt bij de peilers de Weet niet categorie wel weg en kijkt alleen naar het percentage ja als totaal van ja en nee. Juist bij referendums is de assumptie dat de niet-weters zich gelijk zullen verdelen over ‘ja’ en ‘nee’ problematisch (ook onlangs bij het Ierse referendum nog).
Meestal is het een betere indicatie om naar het aantal ja-stemmers te kijken (van het totaal inclusief weet niet). Ook dan overschatten de peilingen het ja-kamp nog, maar een stuk minder dan in bovenstaande grafiek.
Het blijft gissen wat de weet-nieters uiteindelijk hebben gedaan. Ik weet niet of de situatie in Ierland vergelijkbaar is met die in Griekenland.
Misschien is het wel zo dat de weet-nieters uiteindelijk niet zijn gaan stemmen (uit angst). De percentages ja-stemmers en nee-stemmers zitten samen bij alle peilers boven de 85%. Dat is meer dan de opkomst die 62% bedroeg. Maar het is natuurlijk ook niet ondenkbaar dat vooral de stemmers meedoen aan de peilingen, en dan kom je ook op een hoger opkomstpercentage uit.
In het meest extreme geval dat alle weet-nieters Nee hebben gestemd (wat niet heel erg waarschijnlijk is), dan nog liggen de voorspellingen voor Nee nog onder de 61% van het referendum.
Ik heb helaas niets kunnen vinden over mogelijke correctieprocedures bij deze peilingen. Ze zijn helaas slecht gedocumenteerd.