Ik heb iets verschrikkelijk stoms gedaan. Ik heb een scatterplot gepost op een veelgelezen opiniesite. Je kunt beter een grapje maken over de Holocaust of Mohammed dan een scatterplot posten en dan het gore lef hebben om wat voorzichtige conclusies te trekken over het verband en (slik) causaliteit.
Intolerantie jegens homo’s en inkomensongelijkheid
Mijn eerste post op Stuk Rood Vlees van een paar maanden terug ging over publieke opinie over het homohuwelijk. Er bestaan enorme verschillen tussen Europese landen in de mate waarin men een verbod op het homohuwelijk steunt. In sommige landen (Denemarken, Nederland) wil nog geen tien procent het homohuwelijk verbieden, in andere landen (Roemenië, Letland) steunt driekwart van de bevolking een dergelijk verbod. Toch zitten we in dezelfde politiek-economische Unie, maar dat terzijde.
Volgens een interessant artikel van Robert Andersen en Tina Fetner is intolerantie jegens homoseksuelen te verklaren door economische factoren als welvaart en ongelijkheid. Zij tonen aan dat gecontroleerd voor religieuze, geografische, en tal van andere relevante factoren, welvaart en ongelijkheid onafhankelijk van elkaar samenhangen met intolerantie jegens homoseksuelen. Het enige wat ik heb gedaan is het verband repliceren met een andere (kleinere) dataset.
Feeding the trolls
De eerste reactie op Joop.nl was meteen een verwijzing naar Diederik Stapel. Bingo! Want u weet dat naarmate een internetdiscussie over sociale wetenschappen voortduurt, de kans dat iemand een verwijzing maakt naar Stapel gelijk is aan 1. Maar dat de eerste comment al een voltreffer zou zijn overtreft mijn stoutste verwachtingen.
Volgens deze ‘Koos Werkeloos’, die het oorspronkelijke verband een ‘echt Stapeltje’ noemt, krijg je andere resultaten als je kijkt naar een subset van landen. Ja, dank je de koekoek, Koos, maar het cherry-picken van een subset van landen is eerder een ‘Stapeltje’ dan gebruik maken van zoveel mogelijk datapunten om een verband aan te tonen. De bovengenoemde Andersen en Fetner vinden een soortgelijk verband met meer landen, gemeten over een langere periode, dan de scatterplot die ik op Joop heb geplaatst.
Speciaal voor Koos (en om een excuus te hebben om nóg een scatterplot te plaatsen) heb ik het verband tussen economische ongelijkheid en attitudes jegens homoseksualiteit in kaart gebracht voor 70 landen op basis van data verzameld door Pippa Norris (dit is een fantastische dataset voor scatterplot-junkies als ikzelf met meer dan duizend variabelen voor een groot aantal landen). De publieke opinie data van Norris komt uit de World Values Survey waar aan respondenten is gevraagd of homoseksualiteit te rechtvaardigen is of niet op een schaal van 1 (“never justifiable”) tot 10 (“always justifiable”). Inkomensongelijkheid is gemeten aan de hand van de welbekende gini-coëfficiënt.
De sterkte van het verband is duidelijk zwakker dan voorheen (r = 0.30), maar nog steeds ruimschoots statistisch significant en dus tamelijk robuust over een groot aantal landen. Kunnen we hieruit concluderen dat inkomensongelijkheid intolerantie veroorzaakt? Nee, natuurlijk niet, maar het begin is er. Dat je niets zou kunnen afleiden uit een correlatie is misschien nog wel een grotere misvatting dan dat je geen causale conclusies kunt trekken uit een correlatie.
Schijnverbanden?
Naast kritiek op het verband zelf maakte men zich zorgen of het verband overeind blijft na rekening te hebben gehouden met andere relevante factoren. Andersen en Fetner controleren voor geografische en religieuze factoren op landenniveau en opleiding, leeftijd, beroep, religie etc. op individueel niveau. Dat je verwijst naar het artikel en deze controles expliciet noemt is blijkbaar onvoldoende.
Joop-reaguurder ‘viva vida’ excelleert in het maken van dergelijke verwijten (naast vele andere waardoor ik mij afvraag of hij wel echt plezier in het leven heeft zoals zijn naam lijkt te suggeren). Hij komt met de hypothese dat een ‘mannencultuur’ zowel ongelijkheid als intolerantie jegens homoseksuelen verklaart, waardoor het oorspronkelijke verband een schijnverband zou zijn.
U vraagt, wij draaien, ‘viva vida’. Ik word als universitair docent niet voor niets betaald uit publieke middelen dus dat heb ik even voor je nagezocht. Mannencultuur (een index opgebouwd uit vijf vragen die percepties meten dat mannen beter zouden zijn in allerlei taken dan vrouwen, zie de variabele ‘sexequal’ in het codebook van Norris) in een land blijkt inderdaad samen te hangen met intolerantie jegens homo’s en niet zo’n beetje ook (r = 0.68). Maar er bestaat totaal geen verband tussen de mate van inkomensongelijkheid in een land en mannencultuur (r = –0.015).
Het verband tussen intolerantie jegens homo’s en ongelijkheid blijft dus overeind na rekening te hebben gehouden met relevante factoren. Kunnen we hieruit concluderen dat inkomensongelijkheid intolerantie veroorzaakt? Nee, nog niet, maar we zijn weer een stapje verder.
Het aantonen van causaliteit
Het overtuigend aantonen van oorzaak en gevolg is een bijzonder lastige opgave. De experimentele methode is hiervoor het meest geschikt, maar de toepasbaarheid is simpelweg beperkt. Onderzoekers kunnen niet at random in landen interveniëren en dan maar registeren wat er voor en na zo’n interventie gebeurt. De overgrote meerderheid van de onderwerpen waar sociale wetenschappers in geïnteresseerd zijn kunnen niet experimenteel worden onderzocht.
Dus moeten we het doen met observationele situaties waar de onderzoeker niet willekeurig kan interveniëren. Er zijn inmiddels geavanceerde statistische technieken voorhanden – naast de alomtegenwoordige regressietechnieken – om toch het één en ander over oorzaak en gevolg te kunnen zeggen buiten de klassieke experimentele context. Een fascinerend voorbeeld van dergelijk quasi-experimenteel onderzoek is dit artikel van Andrew Eggers en Jens Hainmueller over de financiële gevolgen van een parlementaire carrière. Door individuen die net wel verkozen zijn in de House of Commons te vergelijken met mensen die nipt verloren hebben brengen Eggers en Hainmueller de causale effecten van kamerlidmaatschap in kaart. Ze concluderen dat MP’s voor de Conservatieven na hun parlementaire carrière hun vermogen bijna verdubbelen terwijl voor Labour MP’s geen effecten worden gevonden.
Causale mechanismen
Beetje bij beetje brengen we als sociale wetenschappers de puzzelstukjes bijeen die tezamen een verklaring vormen voor een bepaald fenomeen. Zo kun je bijvoorbeeld toetsen langs welke weg en onder welke voorwaarden oorzaak en gevolg tot elkaar komen. Neem het bovengenoemde voorbeeld over intolerantie en ongelijkheid. Het is allerminst triviaal dat ongelijkheid zou moeten leiden tot intolerantie, maar volgens Andersen en Fetner zou vertrouwen een veronderstelde schakel in de causale keten zijn. Dat is empirisch te toetsen. Mocht dit een valide argument blijken te zijn, dan zijn we weer een stapje verder. Zo niet, dan loopt het causale argument over ongelijkheid en intolerantie een aanzienlijke deuk op.
De meer zinnige kritieken op het werk van Andersen en Fetner wijzen op de mogelijkheid van omgekeerde causaliteit. Maar als de causaliteit andersom loopt, van tolerantie naar gelijkheid, dan bestaan hier ook weer de nodige tussenstapjes die men zowel kwantitatief als kwalitatief kan toetsen. Elk causaal verband veronderstelt een bepaald mechanisme. In afwezigheid van een overtuigend mechanisme is het hele fundament van het verband krakkemikkig en moeten we ons heil elders zoeken.
De studie van Anderson en Fetner (en mijn zeer bescheiden replicatie van een deel van hun bevindingen) vormt een minuscuul puzzelstukje in een heel onderzoeksveld over economische context en publieke opinie. Eén studie vormt sowieso nooit sluitend bewijs voor of tegen een bepaalde hypothese. Alleen door studies te repliceren wordt het kaf van het koren gescheiden op empirische gronden en worden theoriëen verworpen, verfijnd en verder ontwikkeld. Na verloop van tijd hoop je dat er binnen sociaal-wetenschappelijke disciplines en subdisciplines naast een kakafonie van uiteenlopende en soms ronduit contradictoire bevindingen ook weldegelijk patronen naar boven komen drijven. Sommigen nemen de taak op zich om verbanden in andere context verder te toetsen, anderen om veronderstelde mechanismen uit te diepen maar uiteindelijk ontstaat alleen op deze wijze systematische kennis over allerlei belangrijke maatschappelijke fenomenen en hun oorzaken.
Speciaal voor Koos Werkeloos en viva vida zal ik afsluiten met een scatterplot waar ze zich wel over kunnen opwinden (om tal van redenen): een verband tussen IQ en economische welvaart.
Als je naar het geheel van de scatterplot kijkt, en dus niet alleen naar de ‘best fit’, dan krijg ik het gevoel dat een kleine inkomensongelijkheid eerder ‘enabling’ werkt voor een tolerant klimaat dan causaal. Alle landen, met uitzondering van ons eigen Nederland, lijken zich tussen 2 redelijk welgedefinieerde lijnen te bevinden: Een horizontale rond attitude=1 en een diagonale van linksboven naar rechtsonder. Homoseksualiteit-intolerante landen komen onder alle inkomensverdelingen voor, maar homoseksualiteit-tolerante alleen bij kleine inkomensverschillen.
Ik heb lang zitten turen naar die scatterplot en wat het nou betekent, en wat het niet betekent.
Betekent het nu dat de homotolerantie afneemt, naarmate de inkomensongelijkheid afneemt? Dat is historisch bezien niet waarschijnlijk: landen die een grote inkomensongelijkheid kennen, kenden die meestal al honderden jaren, en landen waar de onkomensongelijkheid laag is (veelal Westerse en vooral Noord-Europese landen) hebben die vorderingen gemaakt in de tweede helft van de 20e eeuw. Het terugdringen van inkomensongelijkheid is dus een relatief nieuw verschijnsel.
Betekent het dan andersom dat de homotolerantie toeneemt naarmate de inkomensongelijkheid afneemt? Dat ligt al meer voor de hand (en dit zou een causaal verband suggereren), maar wat dat tegen lijkt te spreken is een aantal landen dat linksonder in de scatterplot bungelt: die hebben wel een lage inkomensongelijkheid, maar tevens een lage homotolerantie. Dit strookt niet met een causaal verband.
Betekent het dan dat een lage inkomensongelijkheid in sommige landen hand in hand gaan (of voortkomen uit) op egalitaire waarden die de samenleving doordesemen, en dat het die egalitaire waarden zijn die maken dat mensen vinden dat homoseksuelen net zoveel recht hebben op geluk en te bepalen met wie men het bed en/of het leven wil delen als heteroseksuelen?
Wat mij opvalt is echter dat de landen die linksonder in de scatterplot bungelen over het algemeen meer autoritaire, patriarchale samenlevingen zijn dan de landen die linksboven in de scatterplot zijn te vinden: liberale democratische samenlevingen, waar individuele autonomie en zelfontplooiing belangrijke culturele waarden zijn.
Kan dat een antwoord op het raadsel zijn? Wellicht. Maar er is nog iets anders: kijk je naar de groepen landen met weinig inkomensongelijkheid, dan valt op dat de twee clusters (nl. homotolerant ‘boven’ en het cluster homo-intolerante landen ‘onder’) qua welvaartsniveau en bestaanszekerheid opvallend van elkaar verschillen.
Landen waar de homotolerantie hoog is en de inkomensongelijkheid laag zijn over het algemeen tevens landen met hoge welvaart/levensstandaard en een sociaal vangnet (=inkomenszekerheid); terwijl de landen die weliswaar weinig inkomensongelijkheid kennen, maar qua homotolerantie laag scoren, tevens landen zijn waar de welvaart een stuk lager ligt dan in Canada, Australië en Noord/West-Europa.
Dat roept de vraag op of het wel gaat om ‘inkomensgelijkheid’ of dat het eigenlijk om wat anders gaat: namelijk dat een hoge welvaart/levensstandaard in combinatie met een lage inkomensonzekerheid (door een goed sociaal vangnet) liberaal-progressieve culturele waarden in de hand werken, terwijl andersom een lage welvaart/levensstandaard en bestaansonzekerheid meer autoritaire en patriarchale structuren in de hand werken…
Ik pretendeer niet dat dit het definitieve antwoord is: ik geef hier slechts mijn gedachtegang weer, welke werd getriggerd door de groep landen linksonder in de grafiek die zowel laag scoren t.a.v. inkomensongelijkheid als op homotolerantie.
André, dat lijkt inderdaad het geval te zijn, dus het zou heel goed kunnen dat inkomensongelijkheid wellicht onder bepaalde voorwaarden samenhangt met intolerantie. De hamvraag is natuurlijk wat die voorwaarde dan is…
Tjerk, dank voor je lange reactie. Het werkt op een bepaalde manier ook louterend om naar zo’n scatterplot te turen. Althans, op deze manier borrelen inderdaad ideeën op die dan weer een uitvoeriger test waard zijn.
Welvaart speelt inderdaad een grote rol in het verhaal van Andersen en Fetner, maar misschien is het wel zo dat welvaart en ongelijkheid niet onafhankelijk van elkaar een effect hebben maar elkaar ook versterken. Dus dat de meest homotolerante landen zowel rijk als egalitair zijn. Dat zou kunnen verklaren waarom er een groepje landen ‘linksonder’ en ‘rechtsonder’ zijn (één van de twee voorwaarden aanwezig), maar niet ‘rechtsboven’ (geen van de twee voorwaarden aanwezig). Wellicht bewaar ik de empirische toets hiervan voor een volgende post 😉
Overigens heb je helemaal gelijk dat het causale argument van Andersen en Fetner dat ik hier weergeef zou impliceren dat een verandering van ongelijkheid binnen een land op termijn een verandering in homotolerantie teweeg zou moeten brengen.
Een interessante vraag is of dit verband in 2013 nog zou bestaan.
De attitudes over homoseksualiteit veranderen op dit moment snel in in sommige delen van de wereld, bijvoorbeeld in Zuid-Amerika. In Argentinië, Brazilië, Uruguay (delen van) Mexico is inmiddels het homohuwelijk ingevoerd, en het zou niet onwaarschijnlijk zijn dat daar de attitude over homoseksualiteit omhoog is gegaan, daarmee de grafiek gelijk trekkend.
Zuid-Afrika hoort ook in dit rijtje thuis, maar daar vraag ik me af of de invoering van het homohuwelijk wel samen gaat met veranderingen in attitude over homoseksualiteit, omdat daar de rechters en niet de politiek verantwoordelijk zijn voor dat besluit.
“De uitkomsten! Kijk nou naar de uitkomsten!”
Als er iets is wat ik nou net niet vertrouw, zijn het ‘de uitkomsten’. Allemaal getalletjes in een hocuspocusprogramma (Lees: SPSS) gooien, welke mij een resultaat geeft welke ik ga interpreteren. Omdat de programmeurs van IBM mij bezweren dat hun rekenmodellen juist zijn..
Ik concludeer slechts en alleen op basis van waarnemingen. Mijn eigen waarnemingen, wel te verstaan, waarbij ik er ook nog maar vast gemakshalve vanuit ga dat mijn waarnemingen ‘flawed’ zijn, zodat ik niet zal generaliseren.
‘Wetenschap’…YUK!
“Allemaal getalletjes” – inhoudelijke antwoorden met een overzichtelijk label (“getalletje”) op tientallen inhoudelijke vragen door vaak vele (tien)duizenden burgers die op zeer zorgvuldige wijze willekeurig gekozen zijn.
“in een hocuspocusprogramma (lees: SPSS)” – het veelgebruikte, veelgetoetste programma dat dezelfde uitkomsten geeft als Excel, Stata, R, SAS, zeker bij de meestgebruikte typen analyses.
“welke mij een resultaat geeft welke ik ga interpreteren” – op basis van heldere toetsbare hypothesen èn toetscriteria die je als het goed is van tevoren hebt opgesteld.
“omdat de programmeurs van IBM mij bezweren dat hun rekenmodellen juist zijn” – en omdat vele van de collega’s dat zijn nagegaan (zoals zelfs mijn oude eerstejaars studenten in Leiden die op college handmatig dezelfde uitkomsten uitrekenden als “de programmeurs van IBM”) èn omdat dezelfde uitkomsten worden verkregen (en conclusies worden getrokken) in verschillende andere modellen en in andere programma’s (als opnieuw Excel, Stata, R, SAS, bijvoorbeeld)
“Ik concludeer slechts en alleen op basis van waarnemingen” – wat dus elk empirisch onderzoeker doet, inclusief dit onderzoek, ongeacht of je die waarneming een labeltje (cijfer) geeft of niet.
“Mijn eigen waarnemingen, wel te verstaan” – waarmee je de wetenschappelijke revolutie van de laatste 500+ jaar zou kunnen terugdraaien, die immers gebaseerd is op de toetsbaarheid van theorie, op indirecte waarnemingen, en op heranalyse van elkaars data en replicatie op nieuwe gegevens, en zonder welke we een discussie als deze in elk geval niet op deze manier gevoerd zouden kunnen hebben.
“waarbij ik er ook nog maar vast gemakshalve vanuit ga dat mijn waarnemingen ‘flawed’ zijn” – QED
“zodat ik niet zal generaliseren. ‘Wetenschap’…YUK!” En pas hier snap ik dat je hele post een parodie moet zijn. Toch?
Hoi Ruben. Sterkte voor de rest zou ik zeggen…
PS fijn dat je niet van generaliseren houdt en toch afsluit met “‘Wetenschap’…YUK”