Nate Silver en Paul Krugman maken ruzie. And we are all witnessess.
Nate Silver beleefde een paar weken geleden de doorstart van zijn immens populaire website FiveThirtyEight, nu onder auspiciën van sportimperium ESPN. Silver maakte na een paar omzwervingen in online poker en honkbalstatistiek furore als voorspellingsgoeroe tijdens de Amerikaanse presidentsverkiezingen van 2008.
Hij waagde vervolgens de overstap naar de New York Times waar hij binnen korte tijd de meest gelezen online auteur werd. Na de verkiezingen van 2012 besloot hij de New York Times te verlaten en zijn onweerstaanbare mix van statistiek en politieke verslaggeving uit te breiden naar andere vakgebieden, waaronder economie, sport en wetenschap. In zijn eigen woorden: “It’s time for us to start making the news a little nerdier.”
‘Tarnished Silver’
Paul Krugman, gevierd econoom, Nobelprijswinnaar en columnist van de New York Times heeft de afgelopen weken venijnig uitgehaald naar Silver en diens FiveThirtyEight. In één van zijn columns spreekt hij zelfs van tarnished silver (aangetast zilver). Krugman verwijt Silver simpele opiniegerichte stukjes te schrijven, hier en daar aangezet met oppervlakkig kwantitatief geneuzel: “For all the big talk about data-driven analysis, what it actually delivers is sloppy and casual opining with a bit of data used, as the old saying goes, the way a drunkard uses a lamppost — for support, not illumination.”
Silver sloeg terug in een post waarin hij naar eigen zeggen laat zien dat Krugman’s negatieve houding over FiveThirtyEight samenvalt met de overstap van de Times naar ESPN. In de onderstaande figuur staan de 33 columns waarin Krugman verwees naar Silver. De claim van Silver is helder: Krugman valt hem aan vanwege de overstap, niet vanwege de inhoud. Silver noemt het verschil in toon tussen de Times-periode en de ESPN-periode “highly statistically significant”. En dat lijkt ook zo te zijn op basis van de onderstaande figuur.
Bron: FiveThirtyEight, For Columnist, a Change of Tone
Al gauw reageerde econoom Justin Wolfers met een eerste kritiek. Wolfers heeft blijkbaar de data geanalyseerd en constateert dat die significante resultaten een stuk minder robuust zijn wanneer je rekening houdt met de tijdafhankelijkheid van de waarnemingen.
Is Krugman’s changing view about @NateSilver538 stat. significant? Despite this http://t.co/I3RY77YSOK, probably not. pic.twitter.com/yzMdJJIWtj
— Justin Wolfers (@JustinWolfers) March 27, 2014
Daar kwam een mogelijk nog vernietigender stuk bovenop van de socioloog Kieran Healy, die nazocht (Godzijdank zijn er mensen die zoiets uitzoeken) wat het onderwerp was van die 33 columns van Krugman en of Silver in die stukken waar Krugman naar verwees een kwantitatief model presenteerde of niet:
Bron: Kieran Healy, Silver vs Krugman
De resultaten laten zien dat Krugman’s evaluatie van het werk van Silver net zo goed te maken kan hebben met de inhoud van die stukken als met de overstap naar ESPN. Een klassiek gevalletje ‘omitted variable bias’. Krugman is nou eenmaal negatief over die stukken van Silver waar geen kwantitatieve onderbouwing aan ten grondslag ligt. Dat is misschien ook niet zo verwonderlijk aangezien datagerichte journalistiek toch de kern van Silver’s reputatie vormt.
Zijn nerds niet schattig als ze onderling kissebissen?
Dat model van Wolfers vind ik erg raar. Hij bouwt een autoregressief component in, daarmee houd je er rekening mee dat de mening van Krugman in een bepaalde “flow” kan zitten: als hij vandaag lyrisch is over Silver, zal hij morgen niet snel superkritisch zijn. Klinkt aannemelijk. Probleem is de manier waarop hij het inbouwt: hij moet de aanname maken dat Krugman’s columns equidistant in de tijd geschreven zijn. Die aanname gaat duidelijk mank: de laatste vier columns waren steeds vlak na elkaar, maar die daarvoor was meer dan een half jaar eerder. Het is zot om te denken dat het “in een flow zitten”-effect tussen de column van 5 augustus en die van 18 maart hetzelfde is als het effect van 18 maart en nogmaals 18 maart. De gouden regel is dat je alleen kritiek moet leveren op iemands methodologische aanpak als je het zelf aantoonbaar beter doet. (Want uiteindelijk is elk statistisch model een vereenvoudigde weergave van de werkelijkheid en dus niet perfect.) Healy’s column is dan wel ijzersterk: een prachtig voorbeeld dat een significant correlationeel verband echt niet causaal hoeft te zijn, zelfs niet als je denkt er een verklaring voor te hebben.
Helemaal mee eens, Casper. Het is een quick and dirty manier om ‘iets’ te doen met tijdafhankelijkheid, maar er valt een hoop op af te dingen. Overigens kun je sowieso in twijfel trekken of die verschillende kritieken van Krugman post-NYT niet allemaal dezelfde kritiek zijn, verspreid in verschillende columns.
Noem me een naïeve wiskundige, maar ik krijg hieruit de indruk dat Silver bij ESPN domweg een ander soort stukken is gaan schrijven en dat Krugman dat soort artikelen (al dan niet terecht) niet zo goed vindt.
Jup. Having said that: leave Nate alone!