Gisteren publiceerde de Volkskrant onderzoek (zie ook hier) naar de invloed van partijen op gemeentebeleid. De krant schrijft:
Op sommige thema’s lukt het een aantal partijen duidelijke accenten te leggen. Gemeentebesturen met VVD- of D66-wethouders hebben de afgelopen collegeperiode de belasting voor huiseigenaren, ozb, minder verhoogd dan gemeenten waarin deze partijen geen deel uitmaken van de coalitie. Deze twee partijen zitten ook relatief vaak met elkaar in een gemeentebestuur. In colleges met de VVD nam deze belasting met gemiddeld 11,5 procent toe, in colleges zonder de VVD met 17,3 procent.
Ook spreekt de krant over partijen die wel of geen “stempel weten te drukken” op beleid.
Hier wordt nadrukkelijk een causaal verband gelegd. Bepaalde partijen zouden een toegevoegde waarde hebben in termen van beleidsuitkomsten. Met andere woorden, als de VVD niet in gemeente X had meebestuurd, dan waren bepaalde belastingen hoger geweest. Het probleem is alleen dat deze causale conclusies in de verste verte niet volgen uit het onderzoek.
Appels met peren
In de onderzoeksverantwoording staat dat de onderzoekers hebben gekeken naar verschillen in beleidsuitkomsten (concreet: “bezuinigingskeuzes”) “tussen gemeenten waar een partij in het college deelneemt en gemeenten waar een partij niet in het college zit.” Het moge duidelijk zijn dat gemeentes op tal van andere relevante kenmerken verschillen dan alleen de samenstelling van het bestuur. Je kunt niet simpelweg een verschil in uitgaven waarnemen in gemeentes waar de PvdA wel of niet in het college zit en dan concluderen dat dat verschil wordt veroorzaakt door de PvdA.
Dit vormt een schoolvoorbeeld van wat in de statistiek ‘omitted-variable bias’ wordt genoemd. Politieke krachtsverhoudingen en beleidsuitkomsten kunnen beiden worden veroorzaakt door bijvoorbeeld structurele kenmerken van een gemeente (grootte, welvaart, bevolkingssamenstelling, enz.) waardoor het negeren van deze variabelen een vertekend beeld geeft van partijpolitieke effecten. De onderzoekers maken nergens melding dat zij hiervoor hebben gecorrigeerd, enkel dat zij hebben gekeken naar “significante verschillen.” Als zij die relevante verschillen wél hebben meegenomen, is de onderzoeksverantwoording hopeloos incompleet.
De Lokale Monitor Werk, Inkomen en Zorg van de FNV doet het aanzienlijk beter. In Bijlage 1 van het rapport (p. 47) onderzocht de FNV of de partijpolitieke samenstelling van de gemeenteraad samenhangt met talloze indicatoren op het gebied van werk, inkomen en zorg (zie Bijlage 2 voor deze indicatoren). Er blijken inderdaad wat significante verbanden te bestaan, maar de onderzoekers vermelden geheel terecht: “Om misverstanden te voorkomen, moet worden benadrukt dat de gevonden verbanden niet noodzakelijk iets zeggen over oorzaak en gevolg” (p. 47). Daarvoor zou je immers moeten controleren op de vele mogelijke omitted variables.
Tot slot nog dit over het Volkskrant-onderzoek: welke “uitschieters” zijn “buiten de analyse gehouden”? Als je verantwoording aflegt voor je onderzoek (wat ik heel erg toejuich), doe dat dan ook. Liefst met een linkje naar het databestand dat is gebruikt, zodat geïnteresseerden daar eventueel mee aan de slag kunnen gaan.
Partijen zijn natuurlijk direct aan de haal gegaan met de boterzachte causale claims uit het Volkskrant-onderzoek…
Jouw stem telt, blijkt ook maar weer uit onderzoek Volkskrant: http://t.co/oVMMp9c0Af ^M #GR2014 pic.twitter.com/RuT4cd6Dvx
— Partij van de Arbeid (@PvdA) March 13, 2014
“@VVD: Volkskrant: #VVD zorgt voor laagste lokale lasten http://t.co/ZTnu6jWLm3 #GR2014” pic.twitter.com/PN6uVxkofI
— VVD-Enschede (@VVD_ENSCHEDE) March 13, 2014
Ze hadden op z’n minst ook wel mogen controleren voor het aantal wethouders dat een partij dan levert aan het college (of het aantal zetels van die partij in de raad). Het maakt nogal uit of je het Big Beast van het college bent of de minstreel.
Is er eigenlijk nog een ‘onderzoeksjournalist’ die dat predicaat verdient? Ondeugdelijke onderzoek heeft wel invloed in campagnetijd. Heel jammer
Mooi stuk, Armen! Schrale troost misschien, maar dat de partijen er mee aan de haal zijn gegaan en de boodschap meegeven ‘jouw stem doet ertoe’ (hoe onterecht ook) heeft misschien nog een kleine positieve impact op de voter turnout.
En wie weet, misschien gaan de journalisten de volgende keer bij jou langs voor raad…
Ik vind het problematisch, dat je als leek niets of niemand meer kan/durft te vertrouwen. Doet de waarheid er nog toe? Is er een verborgen agenda of is het onkunde of gemakzucht? Alles wordt gehypet, populisme viert hoogtij; wat is mijn doelgroep en wat wil men horen.
Is er nog iemand met een lange termijn visie?