Het blijft een heet hangijzer in verkiezingscampagnes: mogen (en kunnen) we opiniepeilingen gebruiken als voorspelling van de verkiezingsuitslag? De afgelopen week zag ik zeker twee slotpeilingen voorbijkomen met expliciete voorspellingen (Maurice de Hond en TNS Nipo), terwijl de derde (De Stemming) die ambitie nadrukkelijk niet had. Deze slotpeilingen staan hieronder samengevat.
Noot: de PVV won in 2009 4 zetels, maar kreeg er tussentijds één zetel bij toen de Nederlandse delegatie groeide van 25 naar 26 zetels.
Voor de goede orde: Maurice de Hond introduceert in zijn eigen tabel een element van onzekerheid (hulde, Maurice!), maar aangezien hij met geen woord rept over hoe hij die onzekerheid berekent (foei, Maurice!), heb ik de vrijheid genomen de voorspelling wat te versimpelen. Bovendien ontbraken bij hem de percentages op basis waarvan de zetelverdeling is uitgerekend, maar dat is van secundair belang.
Correctie voor opkomst
Hoe Maurice de Hond tot zijn voorspelling is gekomen blijft dus onduidelijk. Hij lijkt zijn marges te baseren op een aantal mogelijk relevante factoren zoals de werking van de kiesdeler en ongelijke opkomst onder achterbannen. Wat hij bedoelt met een ‘grote kans’ of een ‘kleine kans’ mag Joost weten. Maar laten we niet te veel eisen. Dat De Hond resultaten met onzekerheid durft te presenteren is op zich al winst. Als hij dat voortaan op zondagochtend ook doet, liefst met een wiskundige onderbouwing van die onzekerheid, scheelt dat mij en de rest van politicologisch Nederland een hoop kopzorgen.
Het grote verschil tussen EenVandaag en TNS Nipo zit hem in het al dan niet corrigeren voor opkomst. Dit is cruciaal voor het onderscheid tussen een peiling als momentopname en een peiling als voorspelling. Je zou wel gek zijn om een verkiezingsuitslag te voorspellen op basis van de stemintenties van het gehele electoraat, zeker voor verkiezingen waarbij net een derde van alle kiezers komt opdagen.
In het onderzoeksverslag van TNS Nipo zien we dat die opkomstcorrectie veel verschil maakt. Onder alle respondenten zou 11% op D66 stemmen, maar onder diegenen die aangeven ‘zeker wel’ of ‘waarschijnlijk wel’ te gaan stemmen is dat 19,3%. Dit zou het verschil in zetels voor D66 en de PVV kunnen verklaren tussen EenVandaag en TNS Nipo.
Een juiste voorspelling van de uitslag staat of valt met die opkomstcorrectie. In de Verenigde Staten gebruiken peilers een batterij aan vragen om ‘likely voters’ te isoleren. Het trotse Gallup, één van de onbetwiste pioniers in het vakgebied, ging genadeloos onderuit bij het voorspellen van de Amerikaanse verkiezingen van 2012, mede door een foutief likely voter-filter.
Nog even dit: EenVandaag heeft een volste recht om de peiling niet als voorspelling in te zetten, maar gebruik dan in de berichtgeving ook geen dubbelzinnige formuleringen als: “Op basis van de laatste peiling zal de verdeling van de 26 Nederlandse zetels in het Europees Parlement als volgt zijn, in vergelijking met de huidige situatie: PVV 6 (+2), SP 4 (+3), D66 4 (+1), VVD 4 (+1), CDA 3 (-2), PvdA 2 (-1), CU/SGP 2 (-), GroenLinks 1 (-2).” Het gebruik van de toekomstige tijd suggereert toch een bepaalde ambitie om iets over de toekomst te zeggen…
Onzekerheid hoort erbij!
Die expliciete onzekerheidsmarges rondom de voorspellingen van TNS Nipo en Maurice de Hond verdienen wat mij betreft extra aandacht. Zo’n ‘slag om de arm’ mag overkomen als een zwaktebod, maar niets is minder waar. Peilen zonder onzekerheid is een contradictio in terminis. Wie zonder onzekerheid wil weten wat het electoraat denkt, moet iedereen uit dat electoraat ondervragen. Een conclusie op basis van een steekproef van respondenten kent de facto een onzekerheidsmarge.
Niet iedereen deelt mijn enthousiasme op dit punt. Jos Heymans, politiek verslaggever van RTL Nieuws, twitterde het volgende als reactie op de voorspelling van De Hond:
Aan zo’n peiling heb je dus helemaal niks. #kanallekantenop pic.twitter.com/cCXLRSz0or
— Jos Heymans (@JosHeymans) May 18, 2014
Ik heb zelden zo duidelijk het onvermogen van journalisten om met peilingen om te gaan in beeld gezien. Alleen die hashtag al. Het kan helemaal niet alle kanten op! Zo is het volgens De Hond zeer onwaarschijnlijk dat de PVV één of twee zetels haalt. Alsof je je huis in Texas ontruimt na het zien van het voorspelde pad van Hurricane Sandy. Of zou Heymans na dit weerbericht voorbereidingen gaan treffen voor een hittegolf? Onzekerheid hoort erbij. De misplaatste drang tot meer precieze conclusies leidt tot scorebordjournalistiek zonder dat er gescoord wordt.
Wanneer de uiteindelijke uitslag binnen die marges van de voorspelling valt, is de voorspelling wat mij betreft geslaagd. In de VS was dit in 2012 het geval voor de meeste gerenommeerde peilbureau’s. Diegenen die om wat voor reden dan ook Romney overschatten, zoals Gallup, gingen bij zichzelf te rade en voerden een zeer grondige revisie van de eigen methodologie door. Zelfs een faliekant mislukte voorspelling is dus waardevol.
Oh, en vergeet niet dat het sowieso ontzettend lastig is om voorspellingen te doen, zeker over de toekomst…
Update 22 mei 2014, 09:25
Gijs Rademaker heeft mij de percentages van De Stemming gestuurd (waarvoor dank!). Deze staan nu in de bovenstaande tabel. Misschien nog goed om te benadrukken dat De Stemming wordt uitgevoerd door Intomart GfK en niet door het eigen EenVandaag Opiniepanel.
Tim de Beer (TNS Nipo) merkte gisteren op Twitter terecht op dat hun voorspelling van alweer een week oud is. En we weten dat naarmate een peiling dichter op de verkiezingen wordt uitgevoerd, des te beter deze de uitslag weerspiegelt…
Update 22 mei 2014, 10:57
De PVV won in 2009 vier zetels, maar kreeg er tussentijds een zetel bij omdat de Nederlandse delegatie groeide van 25 naar 26 zetels. Hoewel de partij met de regels die destijds golden dus 4 zetels won, had de PVV recht op de restzetel die door de uitbreiding van de Nederlandse delegatie beschikbaar werd. Ik heb dit in de bovenstaande tabel aangepast. Dank aan Tom-Jan Meeus voor deze belangrijke nuance.
Geef een reactie