PollWatch2014 brengt Europese peilingen in kaart; let op de foutmarges

Vandaag werd PollWatch 2014 gelanceerd, een website waarop recente peilingen voor de Europese verkiezingen in alle lidstaten worden samengebracht. De site maakt op basis van nationale en EP-peilingen een ‘voorspelling’ van de samenstelling van het nieuwe Europees Parlement. Voordat we dit tot de nieuwe ‘Waarheid’ (met een grote W) verheffen drie waarschuwingen:

1. De website maakt gebruik van peilingen voor het Europees parlement waar die beschikbaar zijn. Als er in een land alleen nationale zetelpeilingen beschikbaar zijn, dan worden die gecorrigeerd met een statistisch model, omdat in die peilingen middenpartijen meestal worden overschat. Die correctie werkt redelijk goed (90% goed voorspeld de dag voor de vorige verkiezingen), maar zorgt voor wat extra onzekerheid.
2. Het gaat hier alleen om peilingen. Die geven doorgaans een redelijk goed beeld van de electorale stand van zaken, maar natuurlijk dient men rekening te houden met de foutmarge en mogelijke structurele afwijkingen als gevolg van gebruikte onderzoeksmethodes.
3. De website claimt een ‘voorspelling’ van de uitslag te geven, maar het is in feite een samenvatting van de peilingen. De voor Nederland gebruikte peiling dateert van 11 januari van dit jaar. Gedurende de campagne kunnen nog heel wat zaken veranderen.

Met het in acht nemen van de foutmarges gaat het, in mijn ogen, meteen al mis. Het persbericht van de makers kopt ‘Socialists ahead of EPP in a more polarized parliament’. De sociaal-democraten zouden dus groter zijn dan de Europese Volkspartij. Wie iets verder leest, ziet echter:

“Using standard ways to estimate this uncertainty, the “confidence interval” around the current standing of S&D and EPP with 12 weeks until the election is about +/- 25 seats each. Also, given the situation of Socialists in France, Germany and Italy, the uncertainty is probably slightly larger for the Socialists than for the EPP and may also be lop-sided – where our current estimate is towards the upper end of the interval. Given these factors, the Socialists are likely will win between 190 and 230 seats while the EPP are likely to win between 180 and 225 seats. Put this way, there is a reasonable chance (approximately 40%) that the EPP might end up being larger than the Socialists come May.”

Het is niet geheel duidelijk of het hier gaat om de foutmarge van de huidige stand van zaken of de foutmarge van de voorspelling, maar de samenstellers lijken hier geen verschil tussen te maken. Als dit zo is, dan is de bewering dat de sociaal-democraten voorliggen op z’n minst zacht. Bij de Peilingwijzer nemen we bijvoorbeeld een 95% betrouwbaarheidsmarge in acht als we uitspraken doen als ‘PVV ligt voor op de VVD’.

Dit neemt natuurlijk niet weg dat de site op zich een mooi initiatief is die kiezers een zeker inzicht geeft in de electorale stand van zaken met betrekking tot de Europese verkiezingen. Bij de vorige verkiezingen bleken de voorspellingen van de auteurs behoorlijk accuraat. Een goed hulpmiddel dus, maar het blijven peilingen…