We zitten in het schemergebied tussen opmerkelijk consistente tussenuitslagen (de exitpoll van Ipsos, de stemmentellers van GeenStijl en hybrides van peil.nl) en de echte uitslag van zondagavond. Wat in eerdere voorspellingen voor die uitslagen van gisteravond had ontbroken: de verwachte opkomst.
Als een van de weinigen liet NOS-hoofdredacteur Marcel Gelauff gisteren zijn licht hierover schijnen. Hij had geleerd van de opkomstvoorspelling tijdens de afgelopen gemeenteraadsverkiezingen. “Dat gaan we niet meer doen. Het week de vorige keer te veel af van de werkelijke opkomst.” Een begrijpelijk standpunt.
Daar voegt Gelauff nog wat aan toe: er wordt nog onderzocht waarom dit lastig is om te meten.
Dat klopt als een bus. Al tientallen jaren wordt onderzocht wat er te doen is aan de misschattingen van de opkomst in peilingen. Als Gelauff een wetenschapsredactie had gehad, zou dit allemaal voor hem geen verrassing zijn geweest. Of nog beter: dan had hij wellicht niet zo veel interesse gehad in het voorspellen van de opkomst. Sowieso kan je vraagtekens plaatsen bij het nut van een opkomstvoorspelling. Maar goed, Gelauff wil weten waarom opkomst lastig te meten is. Bij deze een zeer kleine greep uit talloze studies.
Contra-intuïtief
Onderzoek naar opkomstgeneigdheid vooraf kent veel van dezelfde problemen als datgene dat gebaseerd is op opkomstrapportage achteraf: Hoe vergelijk je zelfverklaard gedrag met het feitelijke gedrag? In veel landen is het daadwerkelijke stemgedrag immers strikt geheim. Dat geldt echter niet in alle landen. De VS is een bron van onderzoek naar stemgedrag, en binnen de EU zijn er onderzoeken geweest in het Verenigd Koninkrijk en Zweden.
Het voornaamste probleem met zelfverklaarde opkomst: kiezers geven sociaal wenselijke antwoorden. De nu al klassieke studie van Karp & Brockington uit 2005 laat dit op verschillende manieren zien. Het is contra-intuïtief, maar de overschatting is het grootst onder precies die groepen die toch al het vaakst stemmen. Kiezers die zich sterk identificeren met hun partij, kiezers die de campagne nauwgezet volgen, en hogeropgeleiden zullen in enquête-onderzoek hun gedrag het sterkst overschatten. Omdat norm van deelname aan verkiezingen onder deze groep het sterkst is, geven ze vaker sociaal wenselijke antwoorden.
Voorspel het Europees Parlement
Diezelfde onderzoekers laten vervolgens zien dat de mate waarin de opkomst wordt overschat sterker is, naarmate de verkiezingen belangrijker worden gevonden en naarmate meer mensen (zijn) gaan stemmen. Zogenaamde verkiezingen van de eerste orde (in ons land: Tweede-Kamerverkiezingen) kennen een hogere overschatting dan verkiezingen van de tweede orde (in ons land: oa Europese verkiezingen). Ook dit past bij de verklaring dat een sterkere norm leidt tot meer sociaal wenselijke antwoorden.
Onderzoek in Zweden van Gorecki bevestigt dit. De overraportage is inderdaad groter voor de Riksdag (in Zweden werd die tussen 1994 en 2002 met 16% overschat) dan voor het Europees Parlement (6%).
Bovendien hebben Europese verkiezingen nog een belangrijk voordeel voor de peilers die wel van een voorspellinkje houden. Doordat de norm om te gaan stemmen zo laag is, is er zelfs geen extra sterke overschatting door bijvoorbeeld hogeropgeleiden zoals we die bij nationale verkiezingen zien. “The bias arising from over-reporting turnout in the less salient EP elections is negligible.”
Waarom is dit gunstig voor peilers? Zelfs wanneer zij de opkomst zouden overschatten, zou dat geen gevolgen moeten hebben voor hun voorspellingen van het electorale succes van de partijen bij de Europese verkiezingen.
Oplossingen?
Er zijn allerlei technieken om overrepresentatie aan te makken, hoewel sommige wat moeilijker te implementeren zijn dan andere. De meest voor de hand liggende vraag (“gaat u stemmen” of “heeft u gestemd”) werkt het minst goed, omdat ze sociaal wenselijkheid in de hand werken, zelfs als aan zo’n vraag een introductie vooraf gaat die dat moet minimaliseren. Peilers zijn niet op hun achterhoofd gevallen, en vragen daarom vaak naar de kans dat hun ondervraagden zullen gaan stemmen. Op basis van eerdere ervaringen kunnen de peilers dan kiezen welke mate van waarschijnlijkheid de beste voorspelling van de feitelijke opkomst oplevert.
De eerdergenoemde onderzoeken laten echter zien dat bij de meeste verkiezingen de overschatting niet even groot is onder alle groepen of tijdens alle soorten verkiezingen. Daarom zouden peilers moeten differentiëren: sommige groepen (hogeropgeleiden!) moeten kritischer worden bekeken dan andere. Oostenrijks onderzoek van Zeglovits en Kritzinger (2013) komt via experimenten tot andere suggesties. Zij formuleren drie soorten vragen, en toetsen de mate van overschatting aan het feitelijke opkomstpercentage (helaas op geaggregeerd niveau doordat feitelijk stemgedrag in Oostenrijk geheim is). Al te stellige vragen werken niet, maar die worden toch al weinig gebruikt. Beter is het om antwoorden aan te bieden die de sociaal wenselijkheid kanaliseren. De Oostenrijkers vinden bewijs voor twee opties. De eerste biedt de nuance via de overwegingen: om sociaal wenselijkheid weg te filteren, kan je de antwoordoptie ‘heb overwogen te stemmen maar doe het niet’ toevoegen. De tweede biedt ruimte via explicitering van de onzekerheid: ‘Ik weet niet zeker of ik ga stemmen maar ik denk dat het waarschijnlijker is dat ik dat doe’.
Forse aanname
Voor alle duidelijkheid: Het maken van een goede voorspelling is natuurlijk bovendien afhankelijk van een juiste (random) steekproef onder de gehele populatie. Dat is notoir moeilijk te regelen. Sommige peilers proberen te compenseren door weegfactoren te introduceren, maar die werken slecht naarmate de keuze om te gaan stemmen grilliger is. De bovengenoemde oplossingen werken uiteraard onder de (forse) aanname dat peilingen een goede steekproef trekken.
Wat schieten we op met zo’n voorspelling?
Dit overzichtje is slechts het topje van de ijsberg. Er is veel meer onderzoek naar de vraag waarom opkomst lastig te meten is in enquêtes, en wat daaraan te doen valt. De studies liggen voor het oprapen.
Maar toch nog een keer die vraag aan de nieuwsredacties: Waarom is zo’n voorspelling überhaupt nieuwswaardig. Voor wie is deze informatie relevant? Zelfs als die opkomst goed te voorspellen zou zijn (quod non), wat schieten we ermee op als we die een dag of zelfs een week eerder weten?
Tom, die laatste vraag vind ik eigenlijk ook van toepassing op de peilingen van de uitslag (post van Armèn). Natuurlijk bevredigt het de nieuwsgierigheid om kort na het sluiten van de stembussen de uitslag in grote lijnen te kennen, maar de zekere zetelverdeling weten we pas zondagavond. In de tussentijd trekken sommige nieuwsmedia alvast de conclusie dat de PVV flink verloren heeft (“van 5 naar 3 zetels”) terwijl dat verlies best eens beperkt zou kunnen blijven tot 1 zetel. Het kán van invloed zijn op de uitslagen in andere landen, waar bijvoorbeeld Eurosceptische kiezers door deze tussenuitslag meer gemotiveerd kunnen worden om te gaan stemmen. Hoe kijk jij daar tegenaan?