Waarom leven hoger opgeleiden langer? De wondere wereld van de causaliteit

Talloze studies wijzen op een sterke samenhang tussen opleiding en gezondheid. Hoger opgeleiden leven gezonder, hebben minder gezondheidsklachten en leven dus uiteindelijk ook langer dan lager opgeleiden. Volgens het Centraal Bureau voor de Statistiek is de levensverwachting van hoger opgeleiden (HBO of universiteit) zes tot zeven jaar hoger dan die van lager opgeleiden (enkel basisonderwijs). De economen Gabriella Conti, James Heckman en Sergio Urzua schrijven dan ook (p. 234): “A positive correlation between health and schooling is one of the most well-established findings in the social sciences” (zie ook hier).

Maar is deze betere gezondheid wel een direct gevolg van scholing? Kun je letterlijk iemands leven verlengen door hem hoger op te leiden? Ik stuitte toevallig op een recent gepubliceerd artikel van de economen Damon Clark en Heather Royer (zie hier [paywall], eerdere gratis versie hier) waar dat opleidingseffect in twijfel wordt getrokken.

‘Balance wheel of social machinery’

De problematiek omtrent het aantonen van causaliteit uit een correlatie is welbekend. Er bestaan hoogstwaarschijnlijk andere factoren die samenhangen met zowel opleiding als gezondheid. Het negeren van deze factoren zorgt ervoor dat schattingen van het causale effect foutief zullen zijn (in het jargon spreekt men van omitted variable bias). Wanneer bijvoorbeeld een matig te kwantificeren begrip als ‘persoonlijke discipline’ een verklaring vormt voor zowel iemands mate van scholing als voor diens gezondheid, dan kun je deze variabele niet zomaar weglaten. Doe je dit wel, dan resulteert dit in een overschatting van het effect van opleiding op gezondheid.

Dit mag dan klinken als een abstract academisch dilemma, maar niets is minder waar. Het is van het grootste belang voor beleidsmakers om te weten of de relatie tussen opleiding en tal van belangrijke uitkomsten – niet alleen gezondheid, maar bijvoorbeeld ook politieke participatie ­– causaal van aard is of niet. De 19e-eeuwse Amerikaanse onderwijshervormer Horace Mann noemde opleiding dan ook ‘beyond all other devices of human origin, the great equalizer of the conditions of men – the balance wheel of social machinery’. Gelijkheid dóór scholing dus.

Maar mocht opleiding zelf een symptoom zijn van dieper liggende sociale structuren en tamelijk stabiele persoonlijke kenmerken van individuen, dan zal expansie van onderwijs wat de bovengenoemde gunstige neveneffecten betreft in gebreke blijven.

Quasi-experimenten

Door de levensverwachting van hoger opgeleiden met die van lager opgeleiden te vergelijken worden we dus niet veel wijzer over een al dan niet opgetreden opleidingseffect. Er zijn tal van factoren waarop deze groepen van elkaar verschillen, los van hun scholing. Sterker nog, die verschillende eigenschappen zijn waarschijnlijk de reden waarom sommigen besluiten verder te studeren en anderen niet.

Normaliter maken onderzoekers gebruik van de experimentele methode om causaliteit zo goed mogelijk aan te tonen. In een experimentele studie verdelen we de onderzoekseenheden in tenminste twee groepen. De toekenning van eenheden aan één van deze groepen is op basis van kans waardoor de groepen equivalent zijn voor aanvang van het experiment. Vervolgens ondergaat één van de groepen een interventie (de experimentele groep). Aangezien de groepen in de voormeting equivalent waren, kan het verschil tussen de groepen in de nameting worden herleid tot de interventie van de onderzoeker. Causale effecten kunnen niet overtuigender worden aangetoond dan met de experimentele methode, maar je kunt nou eenmaal niet een groep 6-VWO’ers nemen en per scholier een muntje opwerpen of ze richting hoger onderwijs of richting arbeidsmarkt moeten gaan…

Sociale wetenschappers gebruiken dan ook steeds vaker zogenaamde ‘quasi-experimentele’ methoden om toch meer over variabelen te kunnen zeggen dan dat zij louter samenhangen. De bovengenoemde economen Damon Clark en Heather Royer passen één van deze technieken (regression discontinuity) toe om te onderzoeken of scholing een causaal effect heeft op gezondheid.

Royer en Clark onderzoeken twee wijzingen in het Britse onderwijsstelsel in 1947 en 1972. In beide gevallen ging het om een verlenging van de leerplicht met één jaar (in 1947 van 14 naar 15 jaar en in 1972 van 15 naar 16 jaar). Royer en Clark laten zien dat deze hervormingen geen effect hebben gehad op sterftecijfers van de direct relevante cohorten noch op allerlei concrete gezondheidsvariabelen. Zoals zo vaak bij dit soort onderzoeken is de gebruikte onderzoeksstrategie minstens zo boeiend als de inhoudelijke conclusies.

Cum laude

De logica achter regression discontinuity is eigenlijk heel intuïtief. Stel dat we willen onderzoeken of het predicaat ‘cum laude’ op een diploma toegevoegde waarde heeft voor de arbeidsmarkt, bijvoorbeeld in de zin dat ‘cum laude’ leidt tot een hoger salaris. Het zou onverstandig zijn om botweg het gemiddelde salaris onder cum laude-studenten te vergelijken met die van ‘normale’ studenten. Gemiddeld genomen verschillen cum laude-studenten op tal van factoren (talent, motivatie, etc.) van reguliere studenten en dat zijn nou net die factoren die hoogstwaarschijnlijk ook dat hogere salaris verklaren.

Maar stel nou dat we studenten vergelijken die heel dicht tegen dat magische gemiddelde van een 8,0 zitten. Met een 7,99 heb je domweg pech, maar met een 8,01 zit je gebakken. De studenten aan weerszijden van die drempel verschillen nauwelijks wat betreft talent, intelligentie of motivatie, maar de één krijgt wél de volle mep (‘cum laude’) en de ander niet. Uiteindelijk zijn het willekeurige factoren die een gemiddelde van 7,99 naar een 8,01 stuwen (of juist van een 8,01 naar een 7,99 doen zakken): ziekte bij dat ene tentamen, een moeilijke scriptiebegeleider, pech met de indeling voor een groepsopdracht, en ga zo maar door. Het is dus net alsof we voor die studenten dicht bij de drempel op basis van kans dat predicaat ‘cum laude’ toewijzen.

Rondom die discontinuity van een 8,0 benaderen we dus de context van een klassiek experiment. Het verschil in salaris van studenten die net onder de drempel van een 8,0 zitten en studenten die er net boven zitten is dan onze schatting van het causale effect van een ‘cum laude’ op dat salaris.

Clark en Hoyer vertalen deze logica naar de onderwijshervormingen in het Verenigd Koninkrijk. Ze vergelijken cohorten die net wel of net niet in aanmerking komen voor dat extra jaar scholing. Als je net een maand te vroeg of te laat geboren bent, kan dit een vol jaar scholing schelen. Hoyer en Clark laten zien dat de hervorming wél effect heeft op de mate van scholing die mensen volgen (nogal wiedes). Daarnaast heeft deze zelfde hervorming wél een causaal effect gehad op het latere inkomen van mensen die net aan weerszijden van de drempel vallen. Maar Clark en Hoyer vinden geen bewijs, noch voor 1947 noch voor 1972, dat toegenomen scholing mensen ook daadwerkelijk gezonder heeft gemaakt.

Small is beautiful?

Regression discontinuity is een fantastische strategie voor het blootleggen van causale effecten (zie hier voor een overzicht). In tegenstelling tot het tenenkrommende dédain dat sommige economen etaleren over anderen die zich met ‘hun’ vakgebied bezighouden, vind ik het een verademing om studies van economen, sociologen en psychologen te lezen over ‘mijn’ onderwerp. Economen zijn buitengewoon creatief in het vertalen van een inhoudelijk onderwerp naar een causale onderzoeksstrategie (zie hier zo’n voorbeeld over de gevolgen van Tea Party-activisme). Ik heb de laatste jaren wat onderzoek gedaan naar de politieke verschillen tussen opleidingsgroepen (hier en hier) en vraag me na het lezen van studies als die van Clark en Hoyer hardop af in hoeverre deze toe te passen zijn op ‘mijn’ onderwerpen. Maar daar wringt ook de schoen.

Er kleeft namelijk ook een nadeel aan de nauwe focus van studies als die van Clark en Hoyer: in hoeverre zijn de resultaten te generaliseren naar 1) andere vormen van scholing en 2) andere landen. Inzichten uit één studie zouden moeten leiden tot inzichten over het zelfde onderwerp in andere settings. Regression discontinuity-achtige studies vertrouwen op heel specifieke casussen (bijvoorbeeld Britse onderwijshervormingen in 1947) om zo precies mogelijk een causaal effect te kunnen schatten. Small is beautiful.

Maar wat nou als we niet ingrijpen op de middelbare school, maar op andere plaatsen in het curriculum (bijvoorbeeld op de basisschool of in het beroepsonderwijs)? Of wat als dergelijke hervormingen worden doorgevoerd in een land waar geen universele gezondheidsvoorzieningen bestaan? We weten allemaal dat de tv-serie Breaking Bad, waar een scheikundeleraar moet bijverdienen als methamfetamine-dealer om z’n kankerbehandeling te kunnen financieren, niet gemaakt had kunnen worden in Canada. Ligt het dan niet voor de hand dat scholing wél een effect heeft op gezondheid in een land waar inkomen meer uitmaakt voor de kwaliteit van de zorg die mensen krijgen dan in het Verenigd Koninkrijk? Hoyer en Clark besteden ze hier wel erg weinig aandacht aan, dus er zit niets anders op dan te speuren naar soortgelijke hervormingen in andere landen om het geheel te gaan repliceren…