Deze week werd het Kieskompas gelanceerd, een belangrijke stemhulp die honderdduizenden mensen gebruiken. Kieskompas zegt bovendien te werken volgens “een beproefde wetenschappelijke methodiek“. En toch zijn er zwakke punten in het Kieskompas als we daar wetenschappelijk naar kijken. We richten ons hier op het ruimtelijk model dat het Kieskompas hanteert.
De ruimte van het Kieskompas
Eén van de belangrijke verschillen tussen het Kieskompas en de meeste andere stemhulpen is dat het gebruik maakt van een ruimtelijk model. Kiezers en partijen worden geplaatst in een tweedimensionale ruimte. Dat is op zich een goede keuze. De assumptie van zo’n ruimtelijk model is dat de antwoorden van kiezers en partijen op individuele items niet slechts iets zeggen over die items maar ook juist over diepere onderliggende tegenstellingen. Als we drie vragen stellen over economische onderwerpen en iemand antwoord consistent dat de overheid een grotere rol moet spelen in de economie dan kunnen we verwachten dat deze persoon dat óók op een vierde, vijfde en zesde item zal vinden.
Maar dat betekent wel dat deze dimensies zorgvuldig geconstrueerd moeten worden: de items moeten daadwerkelijk samenhangen. In eerder onderzoek hebben Tom Louwerse en ik al laten zien dat dat vaak niet zo is. Het Kieskompas is een bijzonder geval. Het is namelijk niet zo dat de individuele dimensies niet per sé zwak samenhangen, maar ze hangen juist té sterk met elkaar samen.
De makers van het Kieskompas gaan ervan uit dat de politieke ruimte bestaat uit een economische dimensie en een culturele dimensie. De economische dimensie scheidt economisch links van economisch rechts, de culturele dimensie scheidt progressieven van conservatieven. Nu weten we al langer dat partijen samenklonteren onder progressief én links en conservatief én rechts. Bij het Kieskompas 2021 is dit extreem. Praktisch alle partijen vallen op een lijn die PvdD scheidt van de FvD. De statisticus Casper Albers stelde merkte dit op Twitter al op. Waarom dan niet gewoon een enkele dimensie hanteren?
Een-dimensionaal of twee-dimensionaal
Als we kijken of de afzonderlijke items uit het model in één dimensie passen, dan gaat dat goed voor 27 van de 30 items.[1] Drie items vallen hier buiten: een over corona (en mogelijkheid om ongevaccineerden te weigeren), een over privacy (daar zo meer over) en een over de AOW-leeftijd (we weten al dat de AOW-leeftijd niet past in een traditioneel links-rechts model). Als we de 27 overgebleven stellingen, die gaan van Zwarte Piet via klimaat tot armoedebestrijding, samen nemen komt daar een mooie algemene links-rechts-dimensie uit.[2] Maar de overige drie items vormen opvallend genoeg ook een samenhangende dimensie.[3]
Daar komt de bovenstaande figuur uit. We zien hier een horizontale links-rechtsdimensie. Hier komen dus 27 van de 30 stellingen in terecht. De dimensie gaat van Partij voor de Dieren aan de linkerkant tot Forum voor Democratie aan de rechterkant. Hij komt ook zeer goed overeen met hoe experts (van de Chapel Hill Expert Survey) in Nederland links en rechts onderscheiden.[4]
De tweede dimensie scheidt partijen als FvD en PvdD van partijen als VVD en D66. Het is lastig om precies te duiden waar deze dimensie over gaat. Peter Lugtig vond op basis van een andere methode een zeer vergelijkbaar patroon in het Kieskompas: hij stelde zelf “genuanceerd-ongenuanceerd” voor en ook “establishment-protest”. Deze dimensie lijkt ook samen te hangen met partijen die zich in de Tweede Kamer kritischer en constructiever verhouden tot het kabinet, bijvoorbeeld in parlementaire stemmingen. De dimensie hangt ook sterk samen met de mate waarin partijen volgens politicologische experts anti-elitaire retoriek gebruiken. Je zou dus van een scheiding tussen constructief en kritisch kunnen spreken. Op basis van drie items die over heel verschillende onderwerpen gaan is het lastig te zeggen waar deze dimensie precies over “gaat”.[5] En uiteindelijk is de horizontale links-rechts dimensie sowieso belangrijker dan de verticale dimensie.
Goede items
Het Kieskompas heeft, als het goed is, een gedegen methode om partijen op items te plaatsen. Ze gebruikt de standpunten die partijen opgeven, maar deze zijn niet leidend. Deze standpunten worden gecheckt op basis van partijprogramma’s. Maar helaas schieten ook hier soms fouten in. Dat is heel zichtbaar in het privacy-item. Zo bevat Kieskompas het volgende item: “De privacy van burgers mag worden beperkt om de nationale veiligheid te vergroten”. Een aantal partijen zeggen “mee eens”, namelijk 50PLUS, CDA, SGP en VVD. Sommige partijen zeggen “neutraal”, namelijk Ja21, CU, GL, SP, D66 en de PvdA. Vier partijen zeggen “mee oneens” namelijk PvdD, FVD, PVV en DENK.
Het Kieskompas lijkt hier niet goed gekeken te hebben naar de standpunten van partijen. De PVV is niet meer pro-privacy dan de SP. De helaas niet heel recent geüpdate Privacybarometer laat dat zien: de PVV was bijvoorbeeld voor de nieuwe wet inlichtingen en veiligheidsdiensten (“sleepwet”) en voor het gebruik van passagiersgegevens voor opsporing, terwijl de SP daar juist tegen was. Het voorstel van de PVV uit hun programma van 2021 voor “digitale schandpaal voor daders van gewelds- en zedenmisdrijven” maakt een inbreuk op de privacy van burgers om de veiligheid te vergoten. Ook FvD is geen kampioen privacy: zij willen “cameratoezicht uitbreiden om criminaliteit en overlast te bestrijden.” Dit item geeft dus de opvattingen van partijen over privacy niet goed weer en zou beter uit het Kieskompas gehaald kunnen worden.
Kiezers of partijen
De bovenstaande figuur is echter gebaseerd op de plaatsing van partijen. Maar in het Kieskompas zou ruimte moeten zijn voor de meningen van kiezers. De meningen van kiezers zijn altijd diverser dan die van partijen en zijn vaak minder goed in een simpel links-rechtsmodel te vangen. Mening over migratie en economie hangen bijvoorbeeld niet per sé samen.[6]
Tegelijkertijd weten we ook dat een tweedimensionaal model zoals het Kieskompas dat hanteert niet voldoet voor kiezers. De horizontale economische dimensie gaat vaak redelijk (alhoewel we weten dat het weloverwogen eigenbelang van kiezers zorgt voor posities die niet in de economische links-rechtsdimensie passen). Maar de verticale dimensie klopt echt niet. Zeker niet in Nederland. Het Kieskompas gaat ervanuit dat kiezers die moreel conservatief zijn (bijvoorbeeld tegen euthanasie) ook conservatief zijn over culturele vraagstukken (bijvoorbeeld tegen de komst van vluchtelingen). Er is echter empirisch geen samenhang tussen deze items.[7] Hier voldoet het model dus ook al niet.
“If you want to measure change, don’t change what you measure“
Het Kieskompas pakt ook, tenslotte, groots uit met vergelijkingen door de tijd: partijen zouden naar links geschoven zijn. Alleen…dat kun je op basis van hun modellen écht niet zeggen. Als je verandering over tijd wil meten moet je dezelfde items gebruiken. Stel, in 2017 gebruik ik twee items om te meten hoe conservatief partijen zijn: “abortus moet makkelijker worden gemaakt” en “scholen mogen geen leerlingen weigeren op basis van geloof”. Een liberale partij als de VVD scoort dan progressief. Als we in 2021 twee andere items meten voor datzelfde concept: “Wietteelt moet legaal worden” en “Rechters moeten vaker gevangenisstraffen opleggen in plaats van taakstraffen” dan scoort de VVD plots heel conservatief. Komt dat omdat de VVD verschoven is? Nee, dat komt omdat er andere items gebruikt zijn.
Ieder jaar maakt het Kieskompas een nieuw model op basis van nieuwe items. Dat is heel begrijpelijk want zo passen de stellingen echt bij die verkiezingen. Maar het nadeel daarvan is dat je de modellen niet over tijd kan vergelijken. We weten niet of verschuivingen komen door een verandering van de stellingen of een verandering over tijd.
Pas op met het Kieskompas
Iedere stemhulp heeft voor- en nadelen en heeft aannames over hoe kiezers beslissingen zouden moeten nemen. Het Kieskompas gebruikt hier een ruimtelijk model bij maar dat bevat nogal wat aannames over de politieke ruimte die niet lijken te kloppen. Neem het advies van Kieskompas dus met een flinke korrel zout…
[1] H = 0.58 met drie items onder 0.3 (“Ondernemers moeten klanten kunnen weigeren die zich niet hebben laten vaccineren tegen corona”, “De privacy van burgers mag worden beperkt om de nationale veiligheid te vergroten” en “Om de pensioenen (AOW) betaalbaar te houden, mag de pensioenleeftijd omhoog als de levensverwachting stijgt”)
[2] Loevinger’s H=0.7
[3]Loevinger’s H=0.55
[4] Pearon’s R = 0.96
[5] Pearon’s R = 0.86
[6] Pearon’s R = -0.05 voor een stelling over inkomensverdeling en een over vluchtelingen in het NKO 2017 is -0.05. Inkomensverdelingstelling: Sommige mensen vinden dat de verschillen in inkomens in ons land groter moeten worden; anderen dat ze kleiner moeten worden. Natuurlijk zijn er ook mensen met een mening die daar tussenin ligt. Waar zou u uzelf plaatsen op een lijn van 1 tot en met 7, waarbij 1 betekent dat inkomensverschillen groter moeten worden en de 7 betekent dat ze kleiner moeten worden.
Stellingen over vluchtelingen: Nederland moet geen nieuwe vluchtelingen meer toelaten.
[7] Pearon’s R = -0.01 voor een stelling over euthanasie en een over vluchtelingen in het NKO 2017 is -0.01. Euthanasiestelling: Sommige mensen vinden dat euthanasie altijd verboden moet zijn. Anderen vinden dat euthanasie mogelijk moet zijn als de patiënt daarom vraagt. Natuurlijk zijn er ook mensen met een mening die daar tussenin ligt. Waar zou u uzelf plaatsen een lijn van 1 tot en met 7, waarbij de 1 betekent dat zij er voor staan dat euthanasie verboden moet worden en de 7 dat euthanasie mogelijk moet zijn?
Interessant, Simon. Ik vind ‘constructief-kritisch’ ongelukkig, want ‘constructief’ is nogal een normatief beladen woord. Het lijkt eerder te gaan om partijen die de status quo vertegenwoordigen tegenover uitdagers, o.i.d. Of zoals je zelf schrijft, simpelweg regering-oppositie.
Hoe dan ook, heb je een idee wat dit voor gevolgen heeft voor de adviezen die je krijgt door stemhulpen? Rolt er een ander advies uit als je dit allemaal meeneemt en hoe groot is het probleem precies?
Martin Rosema en ikzelf hebben een tijd geleden bekeken welke invloed het ontwerp van een stemhulp invloed heeft op het advies, met name of er een ruimtelijk model wordt gebruikt en welk model dan. Ons antwoord: die invloed is aanzienlijk, afhankelijk van hoe goed antwoorden schalen:
“A majority of the users of StemWijzer would have received another advice, if another spatial model had been used. At the aggregate level this means that how often a particular party is presented as best match depends strongly on the method used to determine the advice.”
Louwerse, T., Rosema, M. The design effects of voting advice applications: Comparing methods of calculating matches. Acta Polit 49, 286–312 (2014). https://doi.org/10.1057/ap.2013.30
26 pagina’s?!
Ok, speciaal voor jou dan:
https://stukroodvlees.nl/ontwerp-kieshulp-maakt-enorm-uit-voor-advies/
Man, wat is het toch een goed blog he.
Mooi overzicht, erg boeiend. Ik zou nog een probleem met Kieskompas willen toevoegen, dat misschien nog belangrijker is voor het nut dat Kieskompas heeft voor haar gebruikers. Gebruikers beantwoorden de stellingen vaak op een andere manier dan politieke partijen. Zij hebben meestal niet over álle stellingen een uitgesproken mening, gebruiken “neutraal” en “weet ik niet” door elkaar, en beantwoorden de stellingen minder vaak op een manier die consistent is met de dimensies die Kieskompas hanteert (zoals Simon hierboven ook opmerkt). Dit heeft als gevolg dat de posities waar gebruikers op uitkomen, sterk clusteren rond het gemiddelde van de links/rechts- en progressief/conservatief-dimensies (dit zie je terug in analyses die Kieskompas maakt op basis van haar eigen data). De partijen die daar door Kieskompas zijn geplaatst – 50 Plus, CU, CDA – worden zodoende het vaakst geadviseerd. Terwijl dezelfde kiezer in de Stemwijzer een overeenkomst van >90% kan hebben met D66 of VVD.
En dat raakt aan een tweede belangrijk probleem: een plaatsing in het Kieskompas-spectrum dicht bij partij X hoeft niet te betekenen dat je vaak dezelfde opvattingen hebt als partij X. Sterker nog: stel dat je op 50% van de “links/rechts”-stellingen een “linkse” mening invult, en op de andere 50% een “rechtse” mening, en het CDA heeft diezelfde stellingen precies andersom ingevuld, dan heb je 0% inhoudelijke overeenstemming maar kom je toch precies op het CDA uit.
Kortom, Kieskompas laat gebruikers een resultaat zien dat a) een bias heeft naar het midden van het spectrum en b) minder zegt over de inhoudelijke overeenstemming met de dichtstbijzijnde partijen dan de meeste gebruikers denken.
Leuke analyse Simon en relevant. Ik heb een vraag. De meeste kieshulpen die ik gezien heb zijn gebaseerd op de standpunten van partijen. Dat lijkt logisch, maar ik vraag me af of dat ook werkelijk zo is. Het gaat over het vraagstuk tussen precies-zijn maar toch fout zitten in vergelijking tot wat algemener zijn maar de richting wel precies goed hebben. Mijn vraag is mede geïnspireerd op jullie artikel over de ideologie van FvD en mijn eigen moeite die ik heb om te bepalen wat ik nou eigenlijk precies vind van al die issues die je krijgt voorgeschoteld in een stemwijzer en het knagende gevoel dat ik van nog toekomstige beleidsissues al helemaal niet weet hoe een partij daarover denkt. Zou het niet leuk en zinvol zijn, een stemwijzer te maken door de ideologieën van de partijen te ontleden in hun kernpunten en op basis daarvan stellingen voor te leggen aan de kiezer? Dan weet je natuurlijk nooit precies of je mening overeenkomt op een specifiek onderwerp, maar het wordt wel duidelijker bij welke partij je wat betreft je kijk op de wereld het beste past.
Er is een ideologiewijzer van de stemwijzer (de partijenwijzer) maar ook het kieskompas heeft de pretentie om ideologie te meten: de dimensies zijn meer dan het optellen van stellingen ze zouden een onderliggende ideologische dimensie moeten meten.
M.i. zijn er geen 100% rechtse en 100% linkse kiezers.
Per onderwerp kan je vanuit verschillende culturele aspecten oordelen. Je kan kiezen vóór extra belasting van multinationals en vermogenden t.b.v. ondersteuning van kwetsbaren én tegelijk tegen immigratie van economische vluchtelingen om culturele ontsporing in een land tegen te gaan.
Een probleem ontstaat als kiezers in dat achterhaalde keurslijf van rechts – links worden gedrongen dat ooit makkelijk was in een verzuilde politieke omgeving.
Verder gaat het niet erom wat partijen vinden, maar hoe partijen hun stem hebben gebruikt bij de relevante onderwerpen die met een stemwijzer kunnen worden afgevraagd. Dus ook onder invloed van coalitieafspraken en het niet nakomen van beloftes.