Hoe ontstaat succes in de wetenschap? Een prominente verklaring voor ongelijkheid tussen wetenschappers staat bekend als het Mattheüseffect, geïntroduceerd door socioloog Robert Merton. Gebaseerd op een vers uit het evangelie van Mattheüs stelt Merton dat gevestigde wetenschappers disproportioneel veel status en erkenning krijgen voor hun prestaties, waardoor bestaande ongelijkheden zullen blijven groeien. Volgens Merton is het voor beroemde wetenschappers makkelijker om te publiceren in toptijdschriften vanwege hun status en niet zozeer omdat ze betere artikelen schrijven. Eén toppublicatie leidt tot een tweede toppublicatie, een tweede tot een derde, enzovoorts: het wordt een zelfversterkend proces.
Een groot probleem in het onderzoek naar deze Mattheüseffecten is dat het vaak onmogelijk is om status en kwaliteit te scheiden: misschien schrijven beroemde wetenschappers wel gewoon hele goede artikelen…
De Veni-beurs
In een artikel dat gisteren gepubliceerd is in PNAS hebben Mathijs de Vaan, Arnout van de Rijt en ik onderzocht of er Mattheüseffecten optreden bij het verkrijgen van NWO-beurzen. Een groot gedeelte van het onderzoeksbudget van NWO wordt verdeeld onder wetenschappers via persoonlijke beurzen onder de zogenaamde ‘vernieuwingsimpuls’: de Veni (tot drie jaar na PhD), Vidi (tot acht jaar na PhD), en Vici (tot vijftien jaar na PhD). In het artikel onderzoeken we of het binnenhalen van een Veni-beurs de kans op het winnen van vervolgbeurzen vergroot, en zo ja, waarom.
Is een vroeg succes (het winnen van een Veni) zelfversterkend, waardoor het gat tussen Veni-winnaars en -verliezers met de jaren alleen maar groeit?
In onze analyse maken we gebruik van de harde grens die NWO gebruikt bij de toekenningsprocedure van de Veni. Tussen 2002 en 2008 werden aanvragen in acht NWO-domeinen beoordeeld op de kwaliteit van de kandidaat, de kwaliteit van het voorstel en meer recent ook kennisbenutting. Na de laatste ronde (de interviews) krijgen alle aanvragen een definitieve score en wordt er een ranglijst gemaakt. In ons onderzoek vergelijken we de kandidaten net boven de harde grens met kandidaten er net onder in een regression discontinuity design. Deze benadering is uitermate geschikt om causale effecten bloot leggen. Immers, rondom de streep is het voor commissieleden lasting (zo niet onmogelijk) te bepalen wie er kwalitatief beter is. Toeval spelt dan een belangrijke rol bij welke kan het dubbeltje valt en wie er dus net wel en net niet een felbegeerde onderzoeksbeurs toegekend krijgt. Door aanvragers net boven de streep te vergelijken met aanvragers net onder de streep omzeilen we een belangrijk probleem in eerder onderzoek: dit zijn aanvragers die qua kwaliteit op het moment van aanvragen niet of nauwelijks te onderscheiden zijn van elkaar.
De effecten van het winnen van een Veni
Wat is het effect van het winnen van een Veni op het winnen van een Vidi? In Figuur 1 (links) wordt duidelijk dat de net-winnaars (1 of 2 plaatsen boven de streep) een 2.5 keer grotere kans hebben om een Vidi te winnen dan de net-verliezers (1 of 2 plaatsen onder de streep). Terwijl gemiddeld maar 10% van de aanvragers net onder de streep een Vidi toegekend krijgt is dit ongeveer 25% voor degenen net boven de streep. Kandidaten die op het moment van de Veni-aanvraag nog extreem vergelijkbaar waren, hebben 5 jaar later een totaal andere kans op het winnen van de Vidi. Gedeeltelijk komt dit doordat net-verliezers aanzienlijk minder vaak een Vidi-aanvraag indienen dan net-winnaars (Figuur 1, rechts). Zelfselectie speelt een belangrijke rol: wetenschappers van vergelijkbare kwaliteit maar met een andere status (wel of geen Veni) schatten hun eigen kansen verschillend in.
Figuur 1: Vidi-winst en Vidi-aanvrager
Een mogelijke verklaring voor de grotere Vidi-winstkans is dat de aanvragers misschien wel heel vergelijkbaar waren ten tijde van de Veni, maar niet meer tijdens de Vidi-aanvraag. Veni-winnaars hebben meer middelen dan niet-winnaars: ze kunnen zich bijvoorbeeld gedeeltelijk uitkopen uit onderwijs. Misschien zijn degenen net boven de streep dus wel beter gaan publiceren als gevolg van de Veni-winst. Analyse van publicatiegegevens van net-winnaars en net-verliezers laat zien dat dit niet het geval is. Aanvragers rond de toekenningsgrens zijn lastig van elkaar te onderscheiden en dat blijft zo. Het linkerpaneel in Figuur 2 laat het aantal publicaties, citaties en de h-index zien vóór de Veni-aanvraag, het rechterpaneel dezelfde gegevens vijf jaar ná de aanvraag – rond de tijd van een mogelijke Vidi-aanvraag. Elke rang omhoog doet het nét iets beter qua publicaties, maar het verschil tussen de winnaars en verliezers blijft hetzelfde tot vijf jaar na de Veni. De 2.5 keer grotere Vidi-kans voor net-winnaars kunnen we niet verklaren doordat deze wetenschappers beter zijn gaan publiceren dan degenen onder de streep. Het is dus waarschijnlijk dat de status die gepaard gaat met het winnen van een Veni een grote rol speelt bij het verwerven van verder onderzoeksgeld.
Figuur 2: wetenschappelijke output voor en na de Veni-aanvraag
De bevindingen in Figuur 1 en 2 geven een duidelijke indicatie dat er een zelfversterkend proces is bij het binnenhalen van onderzoeksgeld. Figuur 3 brengt dit nog duidelijker in kaart. Hier laten we zien hoeveel onderzoeksgeld van NWO (Vidi, Vici) en de ERC (Starting Grant en Consolidator Grant) de Veni-aanvragers gemiddeld verkrijgen. Het wordt duidelijk dat in de jaren volgend op de Veni-aanvraag het gat tussen net-winnaars en net-verliezers blijft groeien. Na acht jaar hebben degenen net boven de streep meer dan twee keer zoveel geld (180k euro) opgehaald dan degenen net onder het afkappunt van de Veni-ranglijsten – exclusief het initiële verschil van 250 duizend euro als gevolg van de Veni.
Figuur 3: Gemiddelde beursopbrengst van NWO en ERC
Dat de consequenties van het winnen van de Veni niet alleen beperkt blijven tot het winnen van andere beurzen blijkt uit Figuur 4. Begin 2018 hebben de net-winnaars van de Veni-rondes uit 2000-2008 een 1.5 keer groter kans om hoogleraar te zijn dan de net-verliezers. Met het winnen van beurzen verkrijg je dus niet enkel nog meer beurzen, het leidt ook tot meer structurele voordelen in de academische wereld. Een decennium na de Veni-aanvraag zijn de aanvragers die het geluk hadden de beurs te krijgen op een compleet ander pad beland dan de aanvragers die de pech hadden net te verliezen.
Figuur 4: Hoogleraren onder de Veni-aanvragers van 2000-2008
Wat te doen?
Ons onderzoek laat zien dat er sterke Mattheüseffecten optreden bij het verkrijgen van onderzoeksgeld. Een arbitraire beslissing net na de promotie leidt vergelijkbare wetenschappers naar totaal afwijkende carrièrepaden. Succes creëert succes, en dit verklaren we door twee processen. Enerzijds hebben net-winnaars een grotere kans op vervolgwinst dan net-verliezers doordat het winnen van beurzen status met zich meebrengt, wat hun positie versterkt bij andere beurscompetities. Anderzijds vragen goede kandidaten die net aan de verkeerde kant van de streep zijn geëindigd minder vaak vervolgbeurzen aan. Dit alles wordt niet verklaard door betere wetenschappelijke output van winnaars ten opzichte van verliezers.
Wat kan hieraan gedaan worden?
Ten eerste is het de vraag of eerdere beurswinst als criterium gebruikt moet worden voor de score van de kwaliteit van de aanvrager. Dit leidt namelijk per definitie tot Mattheüseffecten: beurswinst is iets positiefs, ongeacht wat je er mee gedaan hebt. Ten tweede kan het nuttig zijn om goede aanvragers die net pech hebben gehad aan te sporen om toch een vervolgbeurs aan te vragen. Een simpele brief waarin NWO laat weten dat je erg goed bent maar door een gebrek aan geld net buiten de boot bent gevallen en dat je toch echt een Vidi moet aanvragen is de moeite waard. Natuurlijk verhoogt dit de aanvraagdruk, maar het verhoogt de druk met zeer getalenteerde onderzoekers die nu van de radar van NWO verdwijnen.
Het meer structurele probleem dat op de achtergrond speelt is het gebrek aan onderzoeksgeld voor een steeds groter wordende groep goede jonge onderzoekers. Talentvolle wetenschappers kunnen door het huidige systeem hun ideeën niet tot uitvoering brengen. Als er geen extra geld beschikbaar komt voor fundamenteel onderzoek ligt het voor de hand dat NWO meer kleinere beurzen gaat uitreiken. Dat de Veni 250 duizend euro bedraagt staat niet vast. Wanneer dit bijvoorbeeld zou worden verlaagd naar 150 duizend euro, zouden veel meer talentvolle aanvragers hun ideeën tot uitvoering kunnen brengen. Bovendien neemt de status van de Veni af wanneer meer onderzoekers er één ontvangen, waardoor het wel of niet winnen ervan hopelijk minder doorslaggevend wordt dan nu.
Paul 't Hart zegt
Hoewel ik een ‘pre-VENI’ dinosaurus ben, heb ik min of meer hetzelfde traject doorlopen, maar dan met de KNAW Academie-onderzoekersbeurs als ‘opstap’, en vervolgens een vergelijkbare reeks subsidies tot en met de ERC Advanced. Natuurlijk heb ik hard gewerkt voor wat mij is toegevallen, maar tegelijkertijd voel ik mij ook gegeneerd door het almaar sterker worden van dat Mattheus-effect. Het voelt zelfs voor iemand die aan de ‘goede kant’ van deze institutionele bias zit niet alleen als fundamenteel unfair, maar ook als een potentieel innovatie-blokkerend mechanisme (er wordt defacto immers uit een kleinere pool van ideeën gevist). En je laat je er ook zelf inzuigen: ALS je dan een gooi wilt doen naar een consortiumaanvraag dan ga je vanzelf denken en handelen in termen van de ’track records’ van potentiële coalitiepartners. Overwegingen van intellectuele synergie en creativiteit spelen natuurlijk een rol, maar binnen een door ‘strategisch denken’ bepaalde set van spelers. Zie verder de discussie tussen Rosanna Hertzberger en Hans Clevers nav eerstgenoemde’s kritiek op de financiering van het kankeronderzoek.
Dus dit artikel is zeer welkom; ik hoop dat het brede verspreiding krijgt, ook in de ‘mainstream media’. Alleen denk ik dat er echt heel wat meer nodig is om deze bias te doorbreken dan de brave aanbevelingen waarmee de auteurs besluit. We moeten het ‘level playing field’ in de wetenschap opnieuw uitvinden en met nieuwe spelregels beschermen. Natuurlijk, idealiter wordt de financiële koek vergroot, maar daarop te wachten lijkt me een zwaktebod.
Ronald zegt
Er zou maar één toewijzingsmethode moeten zijn:
Op basis van kwaliteit en de daarbij behorende harde criteria. Beoordeeld door neutrale experts, met zo nodig een positieve wegingsfactor voor veelbelovende jonge mensen.
Marco zegt
Stukje aan gewijd: https://eco.nomie.nl/2018/05/van-een-veni-word-je-lui/
Annemieke zegt
Interessant. Misschien ligt een deel van de verklaring er ook in dat Veni-winnaars meer ervaring hebben als projectleider na het succesvol afronden van hun project wat ze vervolgens weer aantrekkelijker maakt bij de verdeling van nieuwe beurzen?