Ontwerp kieshulp maakt enorm uit voor advies

Kieshulpen als StemWijzer en Kieskompas zijn zeer populair in Nederland en worden in de aanloop naar verkiezingen door miljoenen kiezers geraadpleegd. Het ontwerp van zulke kieshulpen heeft grote invloed op het resultaat: veel kiezers krijgen een ander advies voorgeschoteld als een andere manier wordt gebruikt om het resultaat te berekenen. Dat is de belangrijkste conclusie van onze studie (paywall) naar de in kieshulpen gebruikte rekenmethodes. Daarom doen kiezers er goed aan om het advies van één stemhulp niet voor zoete koek aan te nemen.

Uit eerder onderzoek van collega’s van de Universiteit Antwerpen (paywall) was al gebleken dat de selectie van stellingen voor kieshulpen een groot verschil kan maken. Zij maakten uit een groslijst van 50 stellingen steeds een selectie van 36 stellingen en berekenden het advies voor 1.000 willekeurig geselecteerde deelnemers. De impact was groot: het percentage adviezen voor de sociaal-democratische SP.A variëerde van 20% tot 60%, afhankelijk van de selectie van stellingen. Uit ons nieuwe onderzoek blijkt dat zelfs met dezelfde stellingen de uitkomst heel verschillend kan zijn.

Verschillende methodes

Ons onderzoek kijkt naar de manier waarop kieshulpen het advies berekenen. Sommige kieshulpen, zoals de StemWijzer, tellen simpelweg het aantal keren dat de gebruiker bij de stellingen hetzelfde standpunt inneemt als een partij. De uitslag is dan een lijst partijen geordend naar de mate van overeenkomst. Andere tests, zoals Kieskompas, maken gebruik van een ruimtelijk model waarin de posities van partijen en de gebruiker worden weergegeven. Hoe dichter je bij een partij staat in dat plaatje, hoe meer je het met die partij eens bent. Weer andere hulpmiddelen, zoals het Zwitserse smartvote, maken gebruik van een ‘spider’, een soort spinnenweb, waarin de overeenkomst met een partij of kandidaat op zes of zeven thema’s zichtbaar is.

Maakt het nu wat uit welke methode wordt gekozen? Om dit te onderzoeken gebruikten we de antwoorden die 4,2 miljoen gebruikers van de StemWijzer in 2010 gaven. Hieruit trokken we een steekproef van 10.000 anonieme gebruikers en berekenden we het stemadvies op verschillende manieren. Onderstaande figuur laat de overeenkomst zien tussen de rekenmethode van de StemWijzer en vier alternatieven.[1] Het gaat hier om de vraag of het hoogste advies hetzelfde was.

Links-rechts

Het eerste model waarmee we de uitslag van de StemWijzer vergeleken is een zogenaamd één-dimensionaal model, de welbekende links-rechtsschaal. We bepalen eerst hoe links of rechts alle partijen zijn (op basis van hun antwoorden op de 30 stellingen) en vervolgens doen we hetzelfde voor de kiezers. De partij die op deze schaal het dichtst bij de kiezer staat is dan als het ware de geadviseerde partij. Met deze rekenmethode kwam minder dan 10% van de kiezers bij dezelfde partij uit als met de echte StemWijzer.

Het probleem met de links-rechts schaal is dat (vooral) kiezers vaak ‘links’ zijn bij sommige stellingen en ‘rechts’ bij andere. Daarom belanden ze ergens in het midden van de schaal. Partijen hebben doorgaans een coherenter programma en die vinden we dan meer richting de uiteinden. Het gevolg is dat veel kiezers het advies krijgen om op de meest gematigde partij te stemmen. Hierdoor kreeg 27 procent een ChristenUnie advies (iets links van het midden) en 53 procent een SGP advies (iets rechts van het midden).

Twee of meer dimensies

Eenzelfde fenomeen doet zich, in minder sterke mate, voor als we een tweedimensionaal model gebruiken. Als we deze rekenmethode toepassen op de antwoorden van de StemWijzer, komt ongeveer driekwart uit bij een andere partij. Dit betekent dat voor de meeste kiezers de partij die in het tweedimensionale plaatje het dichtst bij hen staat niet de partij is waar ze het bij de 30 stellingen het vaakst mee eens zijn. De oorzaak is dezelfde als bij links-rechts: door de manier waarop standpunten worden gecombineerd in zo’n model komen kiezers vaak in het midden van het plaatje te staan, maar het kan goed zijn dat ze bij andere onderwerpen linkse of rechtse, dan wel progressieve of conservatieve, standpunten hebben dan de partijen die in dat model dichtbij staan.

Wanneer we een drie- of zevendimensionaal ruimtelijk model gebruiken voor het advies is de overeenkomst met het daadwerkelijke resultaat van de StemWijzer groter, maar ook hier krijgt een meerderheid van de kiezers nog steeds een ander advies. Uit aanvullende analyses (correlaties van scores voor individuele partijen) blijkt dat het niet steeds gaat om het wisselen tussen twee partijen die beide hoog scoren in beide methoden en het dus om substantiële verschillen gaat.

Effecten voor partijen

De verschillen in uitkomst voor individuele kiezers werken door in het aantal adviezen voor elke partij. De PvdA was volgens de StemWijzer methode bijvoorbeeld voor 19% van de kiezers de meeste passende partij, maar in de één- en tweedimensionale modellen slechts voor respectievelijk 1% of 3%. D66 daarentegen deed het weer veel beter in een tweedimensionaal model (13%) dan in de echte StemWijzer (4%). Kortom, ook voor politieke partijen maakt het veel uit welke rekenmethode door een kieshulp wordt gehanteerd.

Adviezen voor de zwevende stemhulpgebruiker

De resultaten van dit onderzoek zijn voor zowel de makers als de gebruikers van kieshulpen van belang. Voor de makers is de belangrijkste les dat het gebruik van ruimtelijke modellen bij de rekenmethode, zoals bijvoorbeeld door Kieskompas worden toegepast, problematisch kan zijn. Nu waren de stellingen en antwoordcategorieën van de StemWijzer niet geselecteerd met het oog op een ruimtelijk model en daarom misschien minder geschikt hiervoor. In ieder geval moeten de makers van kieshulpen vooraf nagaan of een ruimtelijk model in een bepaalde situatie goed genoeg werkt.

Voor kiezers is de belangrijkste les dat zij zich niet blind moeten staren op het hoogste advies in één kieshulp. Kijk bijvoorbeeld naar de drie hoogste partijen en gebruik ook eens een andere stemhulp. En probeer erachter te komen bij welke onderwerpen je het eens en oneens bent met de meest passende partijen, want zulke informatie is bij de betere kieshulpen ook beschikbaar. Op die manier kunnen kieshulpen bijdragen aan een gefundeerde stemkeuze.

De volledige resultaten van deze studie zullen later dit jaar worden gepubliceerd in het wetenschappelijke tijdschrift Acta Politica, dat het op de website reeds beschikbaar heeft gemaakt (paywall): Louwerse, Tom, and Martin Rosema. “The Design Effects of Voting Advice Applications: Comparing Methods of Calculating Matches.” Acta Politica, forthcoming.