• Spring naar de hoofdnavigatie
  • Door naar de hoofd inhoud
  • Spring naar de eerste sidebar
StukRoodVlees

Politicologie en actualiteit

  • OVER SRV
  • AUTEURS
  • CATEGORIEËN
  • ARCHIEF
  • CONTACT

Gaat politicologie (ook) de verkeerde kant op?

door Gijs Schumacher 24/10/2013 9 Reacties

Het gaat de verkeerde kant op met de wetenschap, aldus de kop van de Economist afgelopen week. Teveel experimententele bevindingen kunnen niet worden gerepliceerd. Een studie van Amgen, een Amerikaans medicijnenbedrijf, vond slechts in 6 van de 53 studies naar kanker hetzelfde resultaat. Sandy Pentland, een computerwetenschapper, beweert dat in het veld van machine learning maarliefst 3/4 van de papers onzin is. Artikelen waarin bewust fouten zijn gemaakt worden door vaktijdschriften geaccepteerd voor publicatie. En dan zijn er natuurlijk nog de Diederik Stapels. Produceert de politicologie ook teveel artikelen die bogus zijn, met andere woorden gaat politicologie ook de verkeerde kant op?

Replicatie

Laat ik vooropstellen dat ik zeker niet het definitieve antwoord hierop heb. Ik ben erg benieuwd hoe anderen hier over denken, vandaar deze blogpost. De problemen van politicologie zijn enerzijds anders dan het onderzoek dat de Economist noemt, want 99% van het politicologische onderzoek is niet experimenteel, maar de onderliggende factoren die de Economist noemt als veroorzakers van de problemen zijn natuurlijk wel aanwezig. Zij noemen, ten eerste, de confirmation bias als probleem. We richten ons teveel op positieve bevindingen, waarvan logischerwijs een aantal false positives zijn. Ten tweede, we zijn daarom minder geinteresseerd in replicatie studies. Het is moeilijk en duur om experimenten te repliceren, maar een groot gedeelte van het onderzoek in de politicologie gebruikt openbare datasets. Replicatie is dus makkelijk, maar gebeurt weinig. Overigens worden alle studies in het nieuwe tijdschrift Political Science Research and Methods gerepliceerd door een assistent van het tijdschrift voor publicatie.

Carrière

Het derde punt is denk ik het belangrijkst: carrière. Je moet veel en goed publiceren. Publicatiedruk zorgt wellicht voor artikelen met meer fouten. Om goed te publiceren, dat is in een top journal, moeten ook bepaalde regels gevolgd worden. Het is mijn ervaring dat bijna elk paper in zo’n journal een nieuwe theorie presenteert, getest met nieuwe en unieke data. Replicatiestudies of negatieve bevindingen zijn simpelweg taboe. Erger nog, elke paper formuleert een nieuwe theorie en vergeet daarbij vaak dat anderen min of meer hetzelfde hebben beweerd. In de drang naar innovatie wordt weleens vergeten dat het wiel al eerder is uitgevonden. Op deze manier is er niet echt sprake van een cumulatieve wetenschap, maar eerder van een proliferatie van allerlei min-of-meer gerelateerde ideetjes.

Overfitting

Een vierde probleem dat de Economist noemt is “overfitting”. In veel observationele studies in de politicologie gebruikt men doorgaans een flinke batterij controle variabelen. Soms wordt nauwelijks gemotiveerd waarom die variabelen worden gebruikt. Het zou mij niks verbazen als de resultaten van sommige papers als sneeuw voor de zon verdwijnen wanneer iets andere controle variabelen worden gekozen.

Transparantie in de vorm van het online aanbieden van de dataset en de analyses kan hierbij helpen. Maar dan moet replicatie wel lonen, en daarom is het bemoedigend dat een ander nieuw tijdschrift – Research and Politics – dit expliciet aanmoedigd. Kortom, ik ben zelf wat optimistischer dan The Economist, ik zie dezelfde problemen, maar ook mooie initiatieven om die problemen te adresseren.

Categorie: Politicologie en Methodologie

Over de auteur

Gijs Schumacher
Gijs Schumacher (1982) is Universitair Hoofddocent Politicologie aan de Universiteit van Amsterdam. Zijn onderzoek gaat over politiek gedrag van kiezers en van elites. In het specifiek richt hij zich op emoties, partij organisaties, vertegenwoordiging, populisme en persoonlijkheid. Hij is tevens (co-) directeur van het Hot Politics Lab.
Website: http://gijsschumacher.nl
  • Sociale media links 

Lees Interacties

Reacties

  1. Armen Hakhverdian zegt

    24/10/2013 om 17:50

    Hoi Gijs, het nieuwe tijdschrift over experimentele politicologie doet nadrukkelijk ook aan nulbevindingen (zie http://stukroodvlees.nl/politicologie/experimentele-politicologie-gemende-gevoelens-over-een-nieuw-wetenschappelijk-tijdschrift/).

    Ook interessant, de American Journal of Sociology heeft specifiek een nummer in planning over nulbevindingen, zie http://egrollman.files.wordpress.com/2013/04/670647.pdf

    Login om te reageren
  2. Kristof Jacobs zegt

    24/10/2013 om 19:07

    Interessant en belangrijk thema. Het is goed dat jullie de focus van The Economist opentrekken naar kwantitatief onderzoek in het algemeen en de zaken die je neerschrijft zijn herkenbaar. Ik ben ook niet pessimistisch.

    Blijft de vraag hoe het zit met kwalitatief onderzoek. Ook daar kan confirmation bias en data massage spelen. Collega’s van me hebben eens een keertje alle archiefstukken van één van de meest invloedrijke stukken in de Europese Integratieliteratuur nagezocht: http://www.mitpressjournals.org/doi/abs/10.1162/1520397042350900. Het was monnikenwerk, maar zij vonden dat het gros van de quotes uit de archiefstukken fout, verkeerd geïnterpreteerd dan wel verkeerd vertaald was. De conclusie van de auteur was niet houdbaar. Het manuscript van mijn collega’s werd eerst vele malen afgewezen vooraleer het uiteindelijk in een obscuur journal kon verschijnen. Later werd bekend dat de originele auteur van het invloedrijke werk meermaals reviewer was en het stuk poogde tegen te houden.

    Archiefstukken, interviews en kwalitatief onderzoek in het algemeen worden bijna nooit gecheckt. Ook dat is best wel onthutsend.

    Login om te reageren
  3. Rense Corten zegt

    25/10/2013 om 11:04

    Mooi stuk. Wat betreft het punt replicatie: wat meestal met replicatie bedoeld wordt is dat een bevinding onafhankelijk bevestigd wordt, dus liefst ook met nieuwe data. Anders vang je potentieel alleen fouten in de analyse, en niet in de dataverzameling. Die strenge manier van replicatie is in de politicologie (en sociale wetenschap in het algemeen) juist helemaal niet makkelijker of goedkoper, omdat de veelal grote surveyprojecten moeilijk te herhalen zijn.
    In bijvoorbeeld de sociale psychologie is (poging tot) replicatie door het herhalen van experimenten in principe juist relatief makkelijk. Als men dat meer had gedaan (maar hier komt jouw punt “carrière” om de hoek kijken), was Stapel waarschijnlijk nooit zo ver gekomen.

    Login om te reageren
  4. Gijs Schumacher zegt

    25/10/2013 om 11:06

    Goed punt Rense, bedankt!

    Login om te reageren
  5. Koen Vossen zegt

    25/10/2013 om 13:50

    Als geesteswetenschappelijke grensarbeider heb ik met belangstelling dit stuk gelezen. Mooi dat hier met dit prima stuk aandacht wordt besteed aan een thema dat, naar ik verwacht, de komende jaren alleen maar belangrijker zal gaan worden en waaraan geen enkele wetenschapper, van welke discipline dan ook, zich kan onttrekken. Voor de sociale wetenschap is de hele kwestie nog klemmender en wel vanwege de grotere wetenschappelijke pretentie die zij altijd heeft gehad. De in de jaren vijftig/zestig op gang gekomen scientifisering heeft veel opgeleverd: politicologie werd meer dan veredelde parlementaire journalistiek, psychologie meer dan pastorale zorg en culturele antropologie meer dan een gekke hobby van missionarissen en zendelingen. Helaas heeft zij ook geleid tot een zeker gebrek aan bescheidenheid en een superioriteitsgevoel die veel niet sociaal-wetenschappers op zijn minst bevreemdt maar toch vaak ook irriteert. De betawetenschappers lachen om de hardheid van sociaal-wetenschappelijk onderzoek, terwijl de geesteswetenschappers zich uit angst om als slodderwetenschapper te worden gedesavoueerd hebben teruggetrokken in hun eigen domein. De term kwalitatief onderzoek werd gemunt om te redden wat er te redden viel en methodes als discours-analyse en thick description moesten een schijn van wetenschappelijkheid geven aan de studie der letteren. . Niet vreemd dat hier dan ook veel leedvermaak is dat de sociale wetenschappen in de kuil lijken te vallen die men toch voor de geesteswetenschappen had gegraven! Dat zoals een der reaguurders opmerkt kwalitatief onderzoek eveneens moeilijk repliceerbaar is, is vast en zeker waar maar doet toch stukken minder pijn. Na jaren van wetenschapsfilosofische (zelf)kastijding is de pretentie daar ook stukken minder groot en heeft zich onder sommige postmodernistisch angehauchten zelfs een algehele scepsis breed gemaakt. Die scepsis gaat ver, te ver vaak, maar biedt juist nu ook een aanknopingspunt. Na de decennia dat sociale wetenschappers de betawetenschappen als leidsman hebben gebruikt om hun methodes aan te scherpen, zullen zij een les moeten leren van de geesteswetenschappen die niet zozeer gaat om methodes maar om een houding. En die houding is er een van bescheidenheid, zelftwijfel en relativering.

    Login om te reageren
    • Rense Corten zegt

      25/10/2013 om 15:02

      Koen: mooi gesproken, maar wat in Gijs’ betoog wijst erop dat de (vooralsnog hypothetische) problemen in de politicologie het gevolg zijn van een te “wetenschappelijke” benadering? Volgens mij is het argument eerder het tegendeel: streven naar replicatie, cumulatie van kennis, en deugdelijke statistische modellen zijn bij uitstek “klassieke” wetenschappelijke waarden.

      Overigens lijken de geesteswetenschappen ook steeds meer de kwantitatieve kant op te gaan de laatste jaren…

      Login om te reageren
  6. Koen Vossen zegt

    25/10/2013 om 15:18

    Zeker waar. Mijn punt moet veel als een aanvullend argument worden gelezen, namelijk dat sociale wetenschappers de betrekkelijkheid van hun eigen bevindingen wat weer mogen benadrukken. Op deze door mij overigens gewaardeerde blog bespeur ik soms ook de neiging om het domme journaille en onwetende politici de les te lezen wat ‘de Waarheid’ is. Laat onverlet, ik herhaal het voor de zekerheid nog eens, dat ik de opzet en invulling van dit blog over het algemeen zeer waardeer.

    Login om te reageren
  7. Gijs Schumacher zegt

    25/10/2013 om 15:26

    Ik ben het met Koen eens wat betreft die betrekkelijkheid en bescheidenheid. In de huidige situatie is nuance een manco van een artikel in plaats van een kwaliteit…

    Login om te reageren
  8. Kristof Jacobs zegt

    26/10/2013 om 13:04

    Interessante discussie. Koen, ik ben het met je eens dat de methodologische discussies in kwalitatief onderzoeksland vaak gewoon een technificatie zijn van common sense. Dat is weinig zinvol. Sterker nog, het kan misbruikt worden om zwakheden te verbergen en nodigt niet uit tot replicatie. Je moet immers eerst al proberen te begrijpen wat er nu juist bedoeld wordt. Omdat je me al gehonoreerd hebt met het label reaguurder, hoef ik woord ‘geblaat’ hier niet gebruiken.

    Los daarvan zijn sommige recente methodologische bijdragen wel goed. Net zoals een politierechercheur fouten kan maken in een perfect intern consistente narratief (de kwalitatieve variant van overfitting), zijn ook sommige case studies incorrect hoewel ze logisch lijken. Vernieuwingen in hoe je dat kan beoordelen (en dus niet enkel naar de interne consistentie moet kijken) vind ik persoonlijk zeer zinvol.

    Die technificatie-kritiek geldt wellicht ook voor kwantitatief onderzoek: als een techniek door slechts een handvol mensen wordt beheerst, is dat ook niet handig. Dat laatste kan ook leiden tot een zeker significantiefetisjisme bij reviewers (iedereen begrijpt sterretjes).

    Begrijp me niet verkeerd: er is niets mis met geavanceerde statistische technieken, alleen ben ik voorstander van het gebruik van ‘de simpelst mogelijke techniek’. Dat leidt trouwens weer tot de discussie wat die ‘mogelijk’ moet inhouden. Ik zou zeggen iets à la ‘makkelijkst interpreteerbare toepasselijke techniek’ (al zijn hier natuurlijk ook mitsen en maren bij te bedenken).

    Login om te reageren

Geef een reactie Reactie annuleren

Je moet ingelogd zijn op om een reactie te plaatsen.

Primaire Sidebar

Volg ons

  • Facebook
  • Twitter
  • RSS Feed

Populaire berichten

De ideologie van Forum voor Democratie

De ongemakkelijke realiteit van de antivaccinatie-beweging

Wat als… Nederland het Britse kiesstelsel zou hebben?

Willekeurige berichten

De schizofrene relatie tussen opiniepeilers, media en wetenschappers

Hoe realistisch is de ambitie voor een beknopt regeerakkoord?

Hernieuwde roep om kiesdrempel

Podcast

Aflevering 133 – Wilders blaast het kabinet op, met Henk van der Kolk en Simon Otjes

Geert Wilders heeft zijn steun aan het kabinet ingetrokken. En zoals het een extraparlementair … [Lees verder...]

Episode 132 – The 2025 German elections, with Tarik Abou-Chadi

We are joined by Tarik Abou-Chadi (Oxford) to discuss the dystopian reality of the 2025 German … [Lees verder...]

Aflevering 131 – Het regionale kiesstelsel van Pieter Omtzigt, met Henk van der Kolk en Simon Otjes

De Stuk Rood Vlees podcast is terug, en wel met een gortdroge aflevering over kiesstelsels! In het … [Lees verder...]

Populisme

Wie is er bang van ‘het volk’? Politiek elitisme in vier Europese landen

Het succes van populisme leidde de afgelopen jaren tot een omvangrijke literatuur rond de vraag wie … [Lees verder...]

Aflevering 127 – Waardenloze politiek (en een stukje formatie), met Tom van der Meer

Tom van der Meer (UvA) schuift aan om te vertellen over zijn nieuwste boek 'Waardenloze politiek: … [Lees verder...]

Plaatjes van de electoraatjes 2023: de PVV

Op 22 november zijn er verkiezingen voor de Tweede Kamer. In deze serie gaan wij aan de hand van een … [Lees verder...]

Blogroll

  • Andrew Gelman
  • Ballots & Bullets
  • Fight Entropy
  • FiveThirtyEight
  • The Monkey Cage
  • The Upshot
  • Wonkblog
  • OVER SRV
  • AUTEURS
  • CATEGORIEËN
  • ARCHIEF
  • CONTACT

© 2025 StukRoodVlees

Copyright © 2025 · SRV Theme op Genesis Framework · WordPress · Log in