Parool verkoopt gebakken lucht na Amsterdamse burgemeesterspeiling

Ronkende koppen in het Parool. “Voormalig PvdA-leider Wouter Bos (54) moet de nieuwe burgemeester van Amsterdam worden.” “Amsterdam wil Wouter Bos (54) als nieuwe burgemeester, blijkt uit onderzoek van bureau I&O Research.” En op Twitter: “Voormalig PvdA-leider Wouter Bos (54) moet de nieuwe burgemeester van Amsterdam worden”.

Wat is het geval? Het Parool heeft met I&O Research een onderzoek opgezet. Want “waarom zouden de Amsterdammers er helemaal het zwijgen toe moeten doen nu de benoeming van een nieuwe burgemeester aanstaande is”. Parool maakte een lijstje van 12 (in het uiteindelijke onderzoek: 13) door de krant gekozen  kandidaten, legde die voor aan de kiezer. De uitkomst? 14,2% noemde Wouter Bos als eerste favoriet, zo’n 13,5% noemde Khadija Arib en 13,4% Femke Halsema. Too close to call zou iedereen zeggen. En bovendien werd elk van deze frontrunners niet genoemd door maar liefst 6 van de 7 respondenten. Maar dat weerhield Parool niet van het onzinnige frame dat Wouter Bos burgemeester moet worden, omdat 1 op de 7 respondenten dat zou vinden.

En dat werkte. Het jubelende frame over de burgemeesterspeiling is klakkeloos overgenomen door oa de NOS, het Algemeen Dagblad, en AT5. Zo kopt de NOS (veilig tussen haakjes):  ‘Amsterdammers willen het liefst Wouter Bos als burgemeester‘. AT5 verschuilt zich eveneens achter de citatie: “Wouter Bos favoriet voor burgemeesterspost”. En beide sites larderen de informatie met grote foto’s van de vermeende frontrunner.

Het is dan ook bijzonder triest dat dit nieuws gebaseerd is op drijfzand. De koppen kloppen niet. Parool en I&O – en vervolgens ook de NOS, AD, en AT5 – produceren non-nieuws dat zijn eigen werkelijkheid creëert. Wellicht had het Parool inderdaad de bedoeling het geluid van de Amsterdamse kiezer te laten horen in de benoemingsprocedure van de nieuwe burgemeester. Maar wat vandaag werd gepubliceerd is niet het geluid van de kiezer, maar bovenal het geluid van de foute keuzes van journalist en peiler.

Ik zoom hier in op drie keuzes.

1. Een horse race creëren rond mensen die zich wellicht niet kandideren

Eerst zetten Parool en I&O een horse race op tussen vooralsnog fictieve kandidaten. Daar zitten al behoorlijk wat dubieuze keuzes. Want waarom deze twaalf dertien (zie noot), en niet bijvoorbeeld de Amsterdamse wethouder van de VVD, of oud-premier Balkenende, of Gordon toegevoegd aan de lijst? De samenstelling van de lijst (de aanwezigheid van alternatieven met een overeenkomstig profiel) kan in een peiling als deze al een behoorlijke invloed hebben op de gemeten steun als favoriete burgemeester. Je stem is immers ondeelbaar in deze meting.

Bovendien is het een tikkeltje onethisch om deze vraag zo publiekelijk voor te leggen, omdat er een afbreukrisico zit aan peilingen als deze. Je vraagt immers naar steun voor personen die zich mogelijk/waarschijnlijk niet eens kandideren voor deze functie. Kortom, je laat mensen publiekelijk wegen die daar niet om hebben gevraagd en voor wie het ook geen evidente uitkomst is van de functie die ze nu hebben. Dat het Parool daar niet boven staat, blijkt uit de opmerking dat “dat vicepremier Kajsa Ollongren, in het vorige college het boegbeeld van D66, op de laatste plaats eindigt”. Ook dat is overigens totaal niet significant (zie hieronder).

Tot slot kan je je afvragen hoeveel kiezers al een inhoudelijke opvatting hadden over deze twaalf kandidaten, voordat ze de vraag gesteld kregen. De uitslag van een peiling zegt niet zo veel, als ze vooral een uiting zijn van non-attitudes die ter plekke worden gecreëerd. Respondenten worden dan getriggerd door omstandigheden, door eerdere vragen, of door cues in de antwoorden (als bekende namen). Het enorme aantal respondenten dat zegt ‘weet-niet’, is een indicatie dat hier sprake kan zijn van non-attitudes.

2. De grootste favoriet?

De uitslag van de peiling naar de favoriete burgemeester kijkt bovendien alleen naar de eerste voorkeur. Concluderen dat Wouter Bos burgemeester moet worden omdat 1 op de 7 respondenten hem noemt, is natuurlijk een farce. Sterker nog, de top 3 wordt gesteund door 1 op de 7 respondenten, en zouden ook gezamenlijk nog geen meerderheid hebben. Er zijn allerlei configuraties denkbaar dat de kandidaat die het minst impopulair is volgens de eerste voorkeur, toch niet het meest populair is wanneer we de volledige informatie meenemen.

Er is een merkwaardige parallel met het idee op nationaal niveau dat de grootste politieke partij (hoe klein die ook is, en hoe die ook ligt bij andere partijen) per definitie zou moeten meeregeren. Dit is een typisch voorbeeld van medialogica, waarin de journalistieke horse race zo centraal komt te staan, dat wordt verwacht dat het politieke systeem zich ernaar voegt.

Om hun conclusies over de favoriete kandidaat hard te kunnen maken (gegeven de problemen bij 1), hadden de peilers beter gebruik kunnen maken van een systeem met rangordes. Dit kon bijvoorbeeld via de Single Transferable Vote. Gelukkig heeft I&O ook gekeken naar de waardering voor de verschillende kandidaten, wat in elk geval een tegemoetkoming is aan dit probleem.

3. Foutmarges voor het gemak vergeten

Ten derde heeft het Parool voor het gemak de foutmarges vergeten. Als je een peiling houdt onder een deel van de bevolking, is er altijd sprake van een zekere meetonzekerheid. Die ruis treedt ook op onder de best mogelijke omstandigheden. De verschillen tussen Bos, Arib en Halsema zijn zo klein, dat ze ruim binnen die marge van onzekerheid vallen. Er is dus op basis van dit onderzoek op geen enkele wijze een verschil hard te maken tussen de drie zogenaamde kandidaten. De kop, het frame, en de tekst in Parool kloppen daarmee van geen kant. En dat geldt ook voor die van de NOS, het AD en AT5 die er blind op dachten te varen.

In geen van de teksten staat vermeld dat de verschillen niet-significant zijn. Soms verstoppen journalisten en peilers dit soort informatie. Dan staan eerst de prikkelende koppen welke partij of kandidaat de grootste is of het hardst groeit, om vervolgens in een slotregel aan te geven dat er een foutmarge is, waardoor alles dat daarvoor werd gelezen niet hard te maken valt. Dan is zo’n regel een schaamlap. Maar zelfs daar is hier geen sprake van.

De verantwoordelijke peiler, Peter Kanne, reageerde op Twitter dat deze informatie wel in het rapport staat. En inderdaad, op pagina 18 van het achterliggende onderzoeksrapport staat “de verschillen tussen deze drie zijn minimaal en niet significant”. Dat had de lezer dus moeten opmaken uit twee woordjes in een dik rapport waar het Parool oorspronkelijk niet naar linkte en zelf geen enkele rekening mee houdt in het verslag.

Wie is verantwoordelijk?

Peiler Peter Kanne reageerde op Twitter met een retorische vraag op mijn kritiek: “denk jij dat de lezer – die ziet dat Bos 14% krijgt en een 6,1, Arib 14% en een 5,7 en Halsema 13% en een 5,8 – niet begrijpt dat dat geen doorslaggevende cijfers zijn? Niet de lezer is dom, Tom”. Met andere woorden, is het niet gewoon de verantwoordelijkheid van de lezer om dit goed te snappen?

Dat is gewoon weglopen voor de eigen verantwoordelijkheid. We verwachten dus dat lezers zich verdiepen in de nuances. Dat ze een stevige beheersing hebben van statistiek. Dat ze massaal bereid zijn om onderzoeksrapporten op te zoeken waar de krant niet naar verwijst, om daar op pagina 18 de term ‘niet significant’ tegen te komen en deze te kunnen interpreteren. Zoals Peilingwijze Tom Louwerse reageerde: “Als de journalist het met rapport in de hand al niet begrijpt, zou ik niet te veel van de lezer verwachten…”

Dat is een wezenlijk probleem. De verantwoordelijkheid ligt primair bij peilers en media. We weten immers dat de framing van (identieke) peilinguitslagen aantoonbare, significante invloed heeft op de opvatting van kiezers (zie ook hier). Daarom is de reactie op dit stuk in Parool ook zo’n probleem. We zien op Twitter en in de newsfeeds (NOS, AD, AT5, TPO) dat journalisten die beter zouden moeten weten niet in staat zijn om door het stompzinnige frame van het Parool heen te prikken. Of daar niet toe bereid zijn.

Ik mag hopen dat in elk geval de gemeenteraad deze burgemeesterspeiling van het Parool volkomen links laat liggen.

1. De oorspronkelijke tekst schreef over twaalf kandidaten. Dat zijn er dertien. Na de aankondiging van het onderzoek is Jet Bussemaker nog toegevoegd.

Afbeelding van Jos van Zetten: Bron CC by 2.0