Volkskrant-onderzoek naar partijen en gemeentelijk beleid maakt causale claims niet waar

4 Comments

Gisteren publiceerde de Volkskrant onderzoek (zie ook hier) naar de invloed van partijen op gemeentebeleid. De krant schrijft:

Op sommige thema’s lukt het een aantal partijen duidelijke accenten te leggen. Gemeentebesturen met VVD- of D66-wethouders hebben de afgelopen collegeperiode de belasting voor huiseigenaren, ozb, minder verhoogd dan gemeenten waarin deze partijen geen deel uitmaken van de coalitie. Deze twee partijen zitten ook relatief vaak met elkaar in een gemeentebestuur. In colleges met de VVD nam deze belasting met gemiddeld 11,5 procent toe, in colleges zonder de VVD met 17,3 procent.

 

Ook spreekt de krant over partijen die wel of geen “stempel weten te drukken” op beleid.

Hier wordt nadrukkelijk een causaal verband gelegd. Bepaalde partijen zouden een toegevoegde waarde hebben in termen van beleidsuitkomsten. Met andere woorden, als de VVD niet in gemeente X had meebestuurd, dan waren bepaalde belastingen hoger geweest. Het probleem is alleen dat deze causale conclusies in de verste verte niet volgen uit het onderzoek.

 

Appels met peren

In de onderzoeksverantwoording staat dat de onderzoekers hebben gekeken naar verschillen in beleidsuitkomsten (concreet: “bezuinigingskeuzes”) “tussen gemeenten waar een partij in het college deelneemt en gemeenten waar een partij niet in het college zit.” Het moge duidelijk zijn dat gemeentes op tal van andere relevante kenmerken verschillen dan alleen de samenstelling van het bestuur. Je kunt niet simpelweg een verschil in uitgaven waarnemen in gemeentes waar de PvdA wel of niet in het college zit en dan concluderen dat dat verschil wordt veroorzaakt door de PvdA.

Dit vormt een schoolvoorbeeld van wat in de statistiek ‘omitted-variable bias’ wordt genoemd. Politieke krachtsverhoudingen en beleidsuitkomsten kunnen beiden worden veroorzaakt door bijvoorbeeld structurele kenmerken van een gemeente (grootte, welvaart, bevolkingssamenstelling, enz.) waardoor het negeren van deze variabelen een vertekend beeld geeft van partijpolitieke effecten. De onderzoekers maken nergens melding dat zij hiervoor hebben gecorrigeerd, enkel dat zij hebben gekeken naar “significante verschillen.” Als zij die relevante verschillen wél hebben meegenomen, is de onderzoeksverantwoording hopeloos incompleet.

De Lokale Monitor Werk, Inkomen en Zorg van de FNV doet het aanzienlijk beter. In Bijlage 1 van het rapport (p. 47) onderzocht de FNV of de partijpolitieke samenstelling van de gemeenteraad samenhangt met talloze indicatoren op het gebied van werk, inkomen en zorg (zie Bijlage 2 voor deze indicatoren). Er blijken inderdaad wat significante verbanden te bestaan, maar de onderzoekers vermelden geheel terecht: “Om misverstanden te voorkomen, moet worden benadrukt dat de gevonden verbanden niet noodzakelijk iets zeggen over oorzaak en gevolg” (p. 47). Daarvoor zou je immers moeten controleren op de vele mogelijke omitted variables.

Tot slot nog dit over het Volkskrant-onderzoek: welke “uitschieters” zijn “buiten de analyse gehouden”? Als je verantwoording aflegt voor je onderzoek (wat ik heel erg toejuich), doe dat dan ook. Liefst met een linkje naar het databestand dat is gebruikt, zodat geïnteresseerden daar eventueel mee aan de slag kunnen gaan.

Partijen zijn natuurlijk direct aan de haal gegaan met de boterzachte causale claims uit het Volkskrant-onderzoek…

 

 


 

About the author

Armen Hakhverdian
Universitair hoofddocent politicologie aan de Universiteit van Amsterdam

Related Articles

4 Comments

  1. Gijs Schumacher

    Ze hadden op z’n minst ook wel mogen controleren voor het aantal wethouders dat een partij dan levert aan het college (of het aantal zetels van die partij in de raad). Het maakt nogal uit of je het Big Beast van het college bent of de minstreel.

  2. Edgar

    Is er eigenlijk nog een ‘onderzoeksjournalist’ die dat predicaat verdient? Ondeugdelijke onderzoek heeft wel invloed in campagnetijd. Heel jammer

  3. Kristof Jacobs
    Kristof Jacobs

    Mooi stuk, Armen! Schrale troost misschien, maar dat de partijen er mee aan de haal zijn gegaan en de boodschap meegeven ‘jouw stem doet ertoe’ (hoe onterecht ook) heeft misschien nog een kleine positieve impact op de voter turnout.
    En wie weet, misschien gaan de journalisten de volgende keer bij jou langs voor raad…

  4. Renate Dekker

    Ik vind het problematisch, dat je als leek niets of niemand meer kan/durft te vertrouwen. Doet de waarheid er nog toe? Is er een verborgen agenda of is het onkunde of gemakzucht? Alles wordt gehypet, populisme viert hoogtij; wat is mijn doelgroep en wat wil men horen.
    Is er nog iemand met een lange termijn visie?

Leave a Reply

Your email address will not be published. Required fields are marked (required)