Scheefgroei in onderzoek achter Vogelaarbeleid

No Comment

Het is inmiddels alweer acht jaar geleden dat Ella Vogelaar roemloos aftrad als Minister van Wonen, Wijken en Integratie. Maar haar beleid leeft onverminderd voort. De omvorming van probleemwijken (in de volksmond ook wel Vogelaarwijken genoemd) naar ‘prachtwijken’ werd een hoofdpijndossier. Niet alleen binnen de politieke arena, maar ook in de confrontatie met bewoners en woningcorporaties.

Nu zijn de mediaoptredens van Ella Vogelaar en haar beleidskeuzes al vaak aan een kritisch voetlicht onderworpen. Maar dat er een zeer omvangrijk wetenschappelijk veld aan het wijkenbeleid ten grondslag ligt – dat tot op de dag van vandaag nog groeiende is – is minder bekend. Een recente overzichtsstudie zaagt aan de poten van het bewijs voor dit beleid.

 

Waar iemand woont, bepaalt de levenskansen. Of niet?

Het centrale idee achter het wijkenbeleid is het bestaan van ‘buurteffecten’: wonen in een achterstandsbuurt zou extra negatieve gevolgen hebben voor haar bewoners. En inderdaad, de levenskansen en toekomstperspectieven zijn minder rooskleurig voor mensen die binnen een concentratie van kansarmen wonen. Dit klopt zelfs wanneer je rekening houdt met het relatief lagere opleidingsniveau en inkomen dat inwoners hadden voordat ze de buurt inkwamen. Veel beleidsmakers en wetenschappers nemen aan dat als je mensen die lager op de sociaaleconomische ladder staan in een meer welvarende buurt laat wonen, zij vanzelf meer kansen zullen krijgen. Dit zou komen door de positieve invloed van rolmodellen in de betere buurten, maar ook doordat er in deze buurten meer informatie over banen beschikbaar is. Kortom, het devies is: waar iemand woont, bepaalt de kansen die zich voordoen. Kansen op een betere arbeidsmarktpositie, op onderwijsuitkomsten, op sociaal kapitaal, op probleemgedrag, op criminaliteit en op gezondheid.

Althans, dat is de theorie. Het wetenschappelijk veld komt niet tot unanieme conclusies. Toch zijn er – ondanks gebrek aan sluitend bewijs – al miljarden besteed om sociaaleconomisch gemengde buurten te creëren. Het beleid bestaat enerzijds uit de sloop of verkoop van sociale huurwoningen, met als gevolg de gedwongen verhuizing van kansarmere huishoudens, en anderzijds uit het scheppen van woningaanbod voor welvarendere bewoners door de nieuwbouw van koophuizen en vrije sector huurwoningen. Het wijkenbeleid heeft inmiddels geleid tot herhuisvesting van duizenden huishoudens. In een meta-analyse vraagt Jaap Nieuwenhuis (postdoc bij de Technische Universiteit Delft) zich af hoe het kan dat Vogelaar en andere beleidsmakers steeds geneigd zijn om beleid te maken gestoeld op het idee van buurteffecten, terwijl er geen eenduidig bewijs voor wordt gevonden.

 

Valkuilen

Er zitten namelijk verschillende methodologische valkuilen in dit soort onderzoek. De belangrijkste is het bestaan van selectie-effecten: personen komen niet zomaar willekeurig in een buurt terecht, maar kiezen voor bepaalde buurten op basis van voorkeuren en financiële mogelijkheden. Critici stellen dat het gevonden verband tussen de kwaliteit van de buurt en de kansen van haar inwoners hier slechts een reflectie van zijn. Mensen met minder kansen verhuizen naar bepaalde buurten; de buurt zelf voegt niets toe aan de perspectieven van haar bewoners. Doordat de echte buurteffecten tot nu toe niet goed gescheiden zijn van selectie-effecten, is de invloed van de buurt overschat. Daarnaast houdt men over het algemeen geen rekening met het gegeven dat de invloed van de buurt anders is voor mensen in een verschillende levensfase en met een andere verhuisgeschiedenis.

 

Publicaties in de onderste la: het file drawer probleem

Jaap Nieuwenhuis voegde recent een nieuwe dimensie toe aan de controverse rond buurteffecten: het bestaan van een publication bias, het verkiezen van significante bevindingen boven insignificante resultaten ter publicatie. Volgens zijn argument is de bron van de scheefgroei aan bevestiging van de buurteffecten-theorie tweeledig. Wetenschappelijke tijdschriften hebben veelal de voorkeur om significante resultaten te publiceren; het valideren van een theorie wordt veelal als interessanter gezien. Daarnaast zijn wetenschappers – door de toenemende publicatiedruk binnen de academische wereld – geneigd om artikelen af te leveren die goedgevuld zijn met de welbekende significantiesterren, die worden namelijk wel gepubliceerd.

Om te testen of het veld van buurteffecten onderhevig is aan deze publication bias, selecteerde Jaap Nieuwenhuis samen met Pieter Hooimeijer van de Universiteit Utrecht zorgvuldig 88 wetenschappelijke publicaties die buurteffecten op onderwijsuitkomsten onderzochten. De nadruk lag op de zogenaamde p-waarden – kort gezegd, de waarschijnlijkheid dat een resultaat zich door toeval zou voordoen als er in werkelijkheid niets aan de hand is. Wat vaak vergeten wordt, is dat de veelgebruikte p-waarde van 0.05 (z=1.96) slechts een arbitraire scheidslijn is tussen wel en niet significant. De p-waarde is enkel een indicatie van de kans dat de nulhypothese (volgens welke er geen verband is) ten onrechte aanvaard zou worden. De waarde van 0.05 is dus geenszins een harde grens tussen het wel of niet bestaan van een effect. De kans om net boven of net onder deze scheidslijn te vallen zou bij een evenwichtig publicatie-systeem dus gelijk moeten zijn (onder de aanname dat de geselecteerde artikelen een willekeurige greep uit het veld zijn).

Jaap Nieuwenhuis vindt echter dat aanzienlijk meer studies zich net boven de z-score van 1.96 bevinden dan net eronder, wat erop duidt dat de keuze voor de 5%-grens het uitgeven van publicaties wel degelijk beïnvloedt (deze test wordt voor verschillende bandbreedtes rond de 1.96 uitgevoerd). Vele studies die er net onder zitten, en dus geen significant bewijs vinden, halen de tijdschriften niet en blijven in de kast liggen (ook wel het file drawer effect).

Juist in velden waar er nog geen overeenstemming is over de richting en mate van aanwezigheid van het effect lijkt er een vertekening te zijn in het voordeel van artikelen die een significante relatie aantonen, in tegenstelling tot gevestigde wetenschappelijke velden waar een niet-significant resultaat juist een verfrissende noot kan zijn.

 

Beleidsvorming op basis van sterretjes

Deze meta-analyse naar publication bias in het betwiste onderzoeksveld van buurteffecten heeft twee belangrijke implicaties. Allereerst leidt het tot een opeenstapeling van artikelen die slechts het topje van de ijsberg weergeven. Jaap Nieuwenhuis pleit dan ook voor het loslaten van de scheidslijn bij 0.05 en roept wetenschappers op om de exacte p-waarde weer te geven zodat de lezers zelf de sterkte van het bewijs kunnen beoordelen. Door het loslaten van de grens zullen zowel onderzoekers als tijdschriften minder geneigd alleen resultaten net onder p=0.05 respectievelijk in te dienen dan wel te accepteren.

Maar zo’n publication bias heeft nog een ander groot gevolg. Bij beleidsgevoelige onderwerpen kan een dergelijke vertekening in publicaties met sterke effecten grote invloed hebben op hoe het beleid wordt ingevuld. Beleidsmakers zullen zich baseren op het leeuwendeel van de gepubliceerde onderzoeken, niet wetende dat de resultaten veelal meer omstreden zijn.

De American Statistical Association kwam daarom deze week met een hoogst opmerkelijke stap. Ze publiceerde een policy statement over het gebruik van p-waarden. De ASA beargumenteert onder andere dat beleidsbeslissingen niet genomen moeten worden op basis van de arbitraire scheidslijn van  p=0.05. De Amerikaanse statistici benadrukken dat de omgevingsfactoren, het onderzoeksontwerp, meting van de belangrijkste concepten en de assumpties die ten grondslag liggen aan de analyses ook moeten worden meegenomen worden in de besluitvorming. Significantie-sterren moeten dus niet de maat worden voor publicatie van onderzoeken, zodat deze beleidsmakers ook niet kunnen verblinden bij het aanbesteden van miljardenprojecten.

 

Afbeelding: Hoefkade Schilderswijk Den Haag door Tasja (license)

Related Articles

Leave a Reply

Your email address will not be published. Required fields are marked (required)