Grote ophef. De New York Times publiceerde een uitgebreid stuk over democratische deconsolidatie in westerse landen, gebaseerd op een recent verschenen artikel in het Journal of Democracy. Eén grafiek werd uitvoerig opgepikt op sociale media. Die grafiek suggereerde dat jongere generaties het nauwelijks nog essentieel vinden om in een democratie te leven. Steun voor de democratie zou eroderen. Helaas zijn de gegevens buitensporig selectief geanalyseerd om tot een alarmerende conclusie te komen.
Het gaat om onderstaande grafiek over de erosie van de democratie. De visualisatie zet alles in het werk om de schokkende boodschap voor het daglicht te brengen (kijk alleen al naar de heel uitgerekte verticale as), maar de basis ervan is boterzacht.
Op Twitter en daarbuiten kwamen veel politicologen snel in verweer tegen de onterechte conclusie dat de legitimiteit van de democratie in gevaar is. Het leidde tot fact-checks door onder andere de MonkeyCage (hier en hier) en de Volkskrant.
De problemen met het onderzoek zijn echter nog groter dan wat tot nu toe is opgesomd.
- De grafiek kijkt onterecht alleen naar een extreme score
Mijn voornaamste kritiek op het onderzoek is dat het uitsluitend kijkt naar een enkele antwoordcategorie (10) op een antwoordschaal die loopt van 1 tot 10. Er is geen vraag gesteld of mensen het essentieel vinden om in een democratie te leven met opties ‘ja’ of ‘nee’. Alleen in zo’n opzet is de rapportage in de NYT acceptabel. Wel is de vraag gesteld hoe belangrijk mensen het vinden met een schaal van 1 tot 10. Om zo’n schaal samen te vatten, pakken we normaliter eerder het gemiddelde. En wat zien we dan?
Ten eerste is het gemiddelde (een 9-) in Nederland erg hoog, zeker in vergelijking met andere landen. Larry Bartels en Christopher Achen tonen dit in hun recente boek Democracy for Realists.
Josje den Ridder en Paul Dekker (Sociaal en Cultureel Planbureau) hebben soortgelijke gegevens vorig jaar in hun onderzoek ‘Meer democratie, minder politiek’ op weer een andere manier inzichtelijk gemaakt: zij knipten de schaal (van 0 tot 10) op bij de 6. De 6 is immers in Nederland een logischer ijkpunt, gegeven de systematiek van rapportcijfers hier. En dan blijkt dat 95% een 6 of een hoger geeft.
Ten tweede krijgt ook onder de jongste generatie de democratie dan een ruime 8 als gemiddelde, slechts iets lager dan onder de oudste generatie. Dit is inzichtelijk gemaakt door Dimiter Toshkov (Universiteit van Leiden).
De focus op een extreme categorie is dus misleidend. Het leidt tot kunstmatig lage percentages die niet overeenkomen met de vraag die is voorgelegd. Het echte niveau van steun is veel hoger dan de grafiek suggereert, en de eventuele verschillen zijn veel kleiner. Bovendien zijn er volgens collega’s aanwijzingen dat jongeren minder snel gebruik maken van extreme antwoordcategorieën in onderzoeken als deze. Dat zou impliceren dat het gebruik van uitsluitend die extreme categorieën leidt tot niet-equivalente vergelijkingen.
Dit misbruik van gegevens is alsof je concludeert dat Nederland linkser wordt, als minder kiezers zich identificeren met extreem-rechts. Of alsof je concludeert dat Nederland dommer wordt, als er minder tienen worden uitgedeeld bij het eindexamen.
- Wat een generatie-effect wordt genoemd kan ook een leeftijdseffect of periode-effect zijn
Het onderzoek maakt een groot punt van de verschillen in democratische gezindheid tussen leeftijdscategorieën. De suggestie is steevast dat dit een generationeel probleem is, waardoor de steun voor de democratie afbrokkelt. Die suggestie kan deze studie echter helemaal niet hardmaken. Wat wordt voorgesteld als een verschil tussen generaties, kan simpelweg een leeftijdseffect zijn, waar je overheen groeit met tijd of met maatschappelijke transities (als samenwonen, trouwen, kinderen krijgen). Ook is het mogelijk dat er sprake is van een periode-effect, doordat jongeren in veel landen hard geraakt worden door de Grote Recessie.
Het punt is: met data over één punt in de tijd, kan je de verschillende verklaringen niet allemaal tegelijk uiteentrekken. In de sociale wetenschappen staat dit probleem bekend als het Leeftijd, Periode, Cohort (APC) dilemma. Het stuk in de New York Times negeert het dilemma grotendeels.
- Ander onderzoek komt tot een ander beeld
De World Values Studies is een van de eerste grootschalige internationale onderzoeken. Maar in Europa is er sinds 2002 een nog hoogstaander tweejaarlijks onderzoek, namelijk de European Social Survey. In 2012 is daarin een nagenoeg identieke vraag opgenomen. Alleen de schaal is net iets anders (van 0 tot 10). Wie de uitkomsten daarvan analyseert, komt tot net andere conclusies dan de New York Times. Benjamin Sack (Universiteit van Mainz) toont dat de zogenaamde daling van de extreme score dan in veel landen niet lineair is.
- Een analyse door de tijd suggereert continuïteit, geen verandering
De focus op generaties suggereert dat er sprake is van tijd. Veel verwarring op sociale media ontstond doordat lezers de grafiek lazen als een longitudinale analyse (met meetpunten tussen 1930 en 1990), en niet als de cross-sectie op één punt in de tijd die het eigenlijk is.
Nu heeft de World Values Survey dezelfde vraag ook vijf jaar eerder, kort voor het uitbreken van de recessie, gesteld. We kunnen dus kijken of de steun voor de democratie is gaan glijden. We kunnen bijvoorbeeld de online tool van de WVS zelf gebruiken. En dan zien we al snel dat van een trend in Nederland geen sprake is. Gemiddeld is er geen verandering in het gehechte belang aan democratie. In de jongste leeftijdscategorie (tot 30 jaar) is er een wel heel kleine daling (van 8,51 naar 8,36). In de categorie 30 tot 49 jaar is het gemiddelde nagenoeg constant (van 8,77 naar 8,74), en onder de oudste leeftijdscategorie (50+) zou het belang misschien een heel klein beetje zijn gestegen (van 8,85 naar 9,01). Dat kan een leeftijdseffect zijn, of een periode-effect, of een cohorteffect. Maar de verschillen zijn dusdanig klein, dat ze tamelijk betekenisloos zijn.
- Andere enquêtevragen tonen juist meer tevredenheid met democratisch functioneren
Bovendien moeten we het vraagstuk van democratische erosie niet baseren op een enkel item in een enkel onderzoek. Politicologen doen al decennia lang onderzoek naar legitimiteit, steun, en vertrouwen. Emeritus-hoogleraar Jacques Thomassen concludeerde in zijn afscheidslezing: “De twintigste eeuw wordt (…) met recht de eeuw van de democratie genoemd. Maar in diezelfde twintigste eeuw is er ook geen decennium te vinden waarin niet gesproken werd over een crisis van de democratie.”
Maar op andere vragen vinden we die zogenaamde vertrouwenscrisis niet terug. Sterker nog, de tevredenheid van Nederlanders met het functioneren van de democratie is in Nederland gestegen van 50 à 60 procent in de jaren 70 en 80 naar 70 à 80 procent in het afgelopen decennium.
Terechte kritiek?
De auteurs van het oorspronkelijke onderzoek, Yascha Mounk en Roberto Foa, houden vast aan hun conclusies en proberen eerdere kritiek te weerleggen. Dat doen ze primair door bewijs aan te dragen voor hun eigen standpunt, niet door de tegenargumenten daadwerkelijk serieus te nemen. Ze nemen alternatieve maten niet serieus, kijken niet naar alternatieve databronnen, blijven vasthouden aan een harde knip. Mogelijk hebben ze gelijk dat er – in de VS – sprake is van een democratische deconsolidatie onder de jongste generatie door een erosie van democratische waarden. Maar de eenzijdigheid waarmee ze bewijs bekijken is onvoldoende om dat te onderbouwen.
Maar een grote stelling vergt groot bewijs. En het NYT-onderzoek is een voorbeeld van een grote, alarmerende stelling waarvoor het aangedragen bewijs wel bijzonder mager is.
Geef een reactie
Je moet inloggen om een reactie te kunnen plaatsen.