Prima peilingen in Noorwegen

Op 11 september 2017 waren er parlementsverkiezingen in Noorwegen. Ook bij deze verkiezingen was er weer sprake van een nek-aan-nek race. De verkiezingsstrijd ging tussen een rechts blok en een links blok. De grootste partijen in het rechtse blok waren de conservatieven (Høyre) en de anti-immigratiepartij (Fremskrittspartiet / Framstegspartiet). De leidende partij in het linkse blok was de sociaaldemocratisch partij (Arbeiderpartiet).  Het rechtse blok won de verkiezingen. De vraag is of de peilers de uitslag goed hadden voorspeld. Die prognoses bleken verrassend goed te zijn. Hoe kan het dat de Noorse peilingen beter waren dan de Nederlandse? Tijd voor een vergelijking.

De tabel hieronder bevat de uitkomsten van de peilingen die in de laatste week voor de verkiezingen zijn gehouden. De omvang van de steekproeven varieerde tussen ongeveer 1000 en 3000. Alleen de gegevens van de vier grootste partijen staan in de tabel (Ap = Arbeiderpartiet, H = Høyre, FrP = Fremskrittspartiet  en Sp = Senterpartiet).

Het eerste wat opvalt is dat de onzekerheidsmarges van de prognoses voor een partij elkaar overlappen. Daaruit kunnen we de conclusie trekken dat er geen systematische verschillen waren tussen de voorspellingen van de peilers.Hoe nauwkeurig waren de prognoses van de peilers?  Dat kunnen we aflezen uit onderstaande grafiek. De lengtes van de staven van het staafdiagram geven de prognoses weer van de peilers voor de vier partijen. De harkjes duiden de onzekerheidsmarges aan.

De verticale rode lijnstukken geven de werkelijke verkiezingsuitslagen weer. In bijna alle gevallen ligt de echte uitslag binnen de onzekerheidsmarges . Er is één peiler die het minder doet. Dat is InFakt. Deze peiler zit significant te laag bij de conservatieven (Høyre) en de anti-immigratiepartij (Fremskrittspartiet).

Het is duidelijk dat de Noorse peilers het goed hebben gedaan. Er zijn vrijwel geen significante afwijkingen tussen de prognoses en de echte verkiezingsuitslagen. In diverse landen zitten de peilers er echter wel vaak naast bij de verkiezingen. Hoe komt het dat de Noorse peilingen zo goed zijn? Op het internet is vrijwel geen informatie te vinden over die peilingen. Uiteindelijk kon een Noorse deskundige wat meer vertellen. Dat is Lars Øy. Hij is een van de mensen achter de Noorse versie van de Peilingwijzer (http://www.pollofpolls.no/ ). Deze poll of polls is een soort gemiddelde van alle peilingen.

Alle hier bekeken peilingen blijken telefonische peilingen te zijn. Dat is verrassend. Je zou verwachten dat in een land als Noorwegen, waarin 96% van de bevolking een internetverbinding heeft (volgens cijfers van Eurostat), er veel meer gebruik wordt gemaakt van online peilingen. Dit is dus niet het geval. De Noren geloven niet in online peilingen. Dit is in groot contrast met Nederland, waarin alleen maar online peilingen worden gebruikt.

Voor een telefonische peiling kun je op verschillende manieren een steekproef trekken. De meest voor de hand liggen manier lijkt een aselecte steekproef uit het telefoonboek. Dit dekt echter niet de gehele bevolking af. Veel mensen met een vaste telefoon ontbreken in het telefoonboek. En mobiele nummer staan er al helemaal niet in. Dus zo krijg je geen representatieve steekproef. Als alternatief zou je Random Digit Dialing (RDD) kunnen gebruiken. Hierbij laat je willekeurige telefoonnummers genereren door de computer. Dat levert een keurige aselecte steekproef op. Helaas is de non-respons erg groot. En dat tast ook de representativiteit aan.

De Noren deden het nog weer anders. Er is een commercieel bedrijf  dat een databank heeft met telefoonnummers van vrijwel alle Noren.  Die databank heeft dus een heel hoge dekking. Alleen personen met een echt geheim nummer ontbreken. Dat zijn er maar weinig. Het gaat om het Zweedse bedrijf Bisnode. Dit bedrijf kan een aselecte steekproef van telefoonnummers leveren. Er ziiten zowel vaste als mobiele nummers in de databank. Bij de meeste peilers bestaat de steekproef uit 80 tot 90 procent uit mobiele nummers. Dat is niet verwonderlijk want  bijna alle Noren hebben een mobiele telefoon.

Er zit één buitenbeentje tussen de peilers. Dat is InFakt. Deze peiler gebruikt een robopoll voor het verzamelen van de gegevens. Een robopoll is een volledig automatische telefonische peiling. De computer genereert automatisch willekeurige telefoonnummers en de computer handelt automatisch de gesprekken af zonder dat er interviewers aan te pas komen. Een robopoll is een goedkope manier om heel veel  belpogingen te doen. Het is echter nog maar de vraag of dit een representatieve steekproef oplevert. In Noorwegen werkte de roboboll in ieder geval minder goed dan traditionele telefonische peilingen.

Non-respons lijkt een steeds groter probleem te worden bij telefonische peilingen. Die non-respons neemt steeds meer toe. Dit kan de nauwkeurigheid van de prognoses ernstig aantasten.  Volgens een rapport van het Pew Research Center uit 2012 is de respons in Amerikaanse polls gedaald tot nog maar 9 procent. En Martin Boon, van de Engelse peiler ICM, meldt dat hij 30,000 belpogingen moet doen om 2,000 respondenten te krijgen. Dat is een respons van 7 procent. Volgens een zegsman van de Noorse peilers ligt de respons in hun peilingen zo tussen de 25 en 30 procent. Dat is ook niet erg hoog.

Bij bovenstaande cijfers moet je wel bedenken dat de Engelsen en Amerikanen Random Digit Dialing  gebruikten voor het trekken van steekproeven. De Noren trokken hun steekproeven uit een commerciële databank van de telefoonnummers.

Peilers voeren altijd een weging uit om hun uitkomsten te corrigeren voor een mogelijk gebrek aan representativiteit. Dat werkt alleen goed als je effectieve weegvariabelen gebruikt. De Noorse wegingen zijn niet opvallend anders dan die in andere landen. De Noren gebruiken geslacht, leeftijd, provincie (fylke) en stem bij de vorige parlementsverkiezingen.

Een van de peilers (Respons Analyse) meldt dat ze een gestratificeerde steekproef van telefoonnummers trekken. Ze stratificeren vooraf naar geslacht, leeftijd en provincie. Vooral de stratificatie naar leeftijd en geslacht lijkt tot betere uitkomsten te leiden. De weging achteraf leidt dan nauwelijks nog tot correcties.

Samenvattend lijkt het belangrijkste verschil tussen de Noorse en Nederlandse peilers te zijn dat de Noren het telefonisch doen en de Nederlanders online. Een belangrijke rol is daarbij weggelegd voor het bedrijf Bisnode dat kennelijk de beschikking heeft over een databank met telefoonnummers van alle Noren. Je vraagt je af of je zoiets ook in Nederland kan doen. Is er een bedrijf dat de beschikking heeft over alle telefoonnummers? Kun je daar een aselecte steekproef uit trekken?  En leidt dat dan tot een betere peiling? Het lijkt een interessant experiment.