UK Polling Disaster Continued?

Op 8 mei 2015 waren er parlementsverkiezingen in het Verenigd Koninkrijk. In de aanloop waren er veel peilingen en die voorspelden allemaal hetzelfde: een nek-aan-nek race tussen de Conservatieven en Labour. En ze zaten er allemaal naast. Uiteindelijke wonnen de Conservatieven met een meerderheid van 6,5 procentpunten en konden ze alleen regeren. De verkiezing ging de boeken in als het UK Polling Disaster.

Op 8 juni 2017 waren er alweer verkiezingen. Ze werden uitgeschreven door premier Theresa May met het idee dat ze zo de positie van de Conservatieven zou kunnen versterken.  En weer waren er tijdens de campagne veel peilingen. Zouden de peilers geleerd hebben van de fouten uit het verleden? Zouden de peilingen nu beter zijn? Aanvankelijk leek het allemaal niet zo spannend. De Conservatieven van Theresa May hadden grote voorsprong (van pakweg 20 procentpunten) op Labour van Jeremy Corbyn. Maar in de loop van de campagne bewogen de twee partijen steeds meer naar elkaar toe, althans volgens de peilingen.

De tabel hieronder bevat de gegevens van een aantal peilingen vlak voor de verkiezingen. Het betreft alleen peilingen die na de terroristische aanslag op 3 juni in Londen nog gegevens hebben verzameld.

Verschillen peilingen en uitslag

In de grafiek hieronder is grafisch weergegeven hoe goed de peilers het verschil tussen de Conservatieven en Labour hebben voorspeld. De dikke blauwe punten geven de prognose van het verschil aan en de horizontale blauwe lijnstukken zijn de onzekerheidsmarges.

De meeste peilers voorspelden een overwinning voor de Conservatieven. De meeste verschillen zijn significant groter dan 0, en dat betekent dat de Conservatieven significant groter worden dan Labour. De rode verticale lijn is de werkelijke verkiezingsuitslag: de Conservatieven kregen 2,4% meer dan Labour. Het verschil tussen de twee partijen was dus significant kleiner dan voorspeld door bijna alle peilers. 8 van de 11 peilers zaten er dus naast.

Vreemde gevallen

Er zijn twee bijzondere gevallen. In de eerste plaats voorspelt Survation dat de Conservatieven en Labour ongeveer evenveel stemmen zullen krijgen. Er zit maar 1% verschil tussen de twee partijen. Het verschil tussen peiling en werkelijke uitslag is dus niet significant. Ook is het zo dat Survation de enige peiler is die een telefonische peiling heeft gedaan. Alle andere peilingen zijn online peilingen. Dit roept de vraag op of telefonische peilingen andere uitkomsten produceren dan online peilingen.  Zonder nader onderzoek kun je daar niet zoveel over zeggen.

Een andere vreemde eend in de bijt is Qriously. Dit bedrijf enquêteert personen via apps in smartphones. Alleen personen met een smartphone kunnen dus aan de peilingen meedoen. Je kunt je afvragen of dit niet een vertekening  geeft in de uitkomsten. Qriously zegt dit via een weging op te lossen. Het bedrijf claimt dat het ook de uitkomst van het Brexit-referndum en de Tweede Kamerverkiezingen in Nederland goed heeft voorspeld. Bij deze verkiezingen gaat Qriously echter de mist in. Deze peiler voorspelde een overwinning voor Labour, maar dat was dus een misser.

Bij de vorige parlementsverkiezingen in het VK in 2015 deden de peilers het niet goed. Door de British Polling Council (BPC) werd toen een uitgebreid onderzoek ingesteld. De belangrijkste conclusie was dat de gebruikte steekproeven niet representatief waren. Het lijkt erop dat de peilers hiervan niet zoveel hebben geleerd. Hun peilingen zaten er nog steeds vaak naast. Er blijft dus werk aan de winkel!