Volgens Spits krijgt de Nederlandse kenniseconomie “een gevoelige tik“, omdat het zakt op een van de vele ranglijstjes. In plaats van 12 hebben we nog maar 11 Universiteiten bij de beste 200 van de wereld staan. Zo is Nederland nu nog ‘maar’ vierde van de wereld. Met een bevolking van 17 miljoen. Duitsland heeft juist 1 extra universiteit bij de top 200 gekregen en is nu derde. Met 80 miljoen inwoners.
Universiteiten staan veelal dubbelzinnig tegenover universiteitsrankings: Enerzijds erkennen ze het random element ervan, anderzijds zijn ze zich ervan bewust dat een positieve uitkomst wel degelijk goed is voor de aanmeldingen in het volgende jaar.
Nederlandse media en beleidsmakers lijken verslaafd aan ranglijstjes. Of het nu gaat om de Universiteits-indices, om de Nationale Studenten Enquête, of de CITO-ranglijstjes: steeds halen ze de media. Ze worden zelfs gebruikt om beleid op te baseren.
Meten is weten, zo lijkt het. Helaas geldt dat alleen maar als je weet wat je meet. En daar lijken media en beleidsmakers al te graag aan voorbij te gaan. Ranglijstjes zijn clickbait.
Universitaire ranglijstjes
Nederland doet het op alle ranglijsten goed, maar voor individuele universiteiten maakt het wel degelijk uit naar welke je kijkt. De Universiteit van Amsterdam is de beste van Nederland (58e in de wereld) volgens de QS World University Rankings. Utrecht scoort het best van Nederland op de Shanghai Ranking. Leiden is de Nederland’s beste volgens de eigen Leiden Ranking en volgens de World University Rankings van deze week.
Wat zegt dat allemaal? Het zegt dat Nederlandse universiteiten als groep goed scoren. Maar het zegt weinig tot niets over de relatieve kwaliteit van individuele universiteiten binnen Nederland. Criteria – en de weging ervan – lopen te veel uiteen. Bovendien zijn sommige criteria gevoelig voor misbruik: wie op papier een Nobelprijs-winnaar aan zich bindt, kan een hele grote sprong maken.
Nationale Studenten Enquête
Ook de NSE wordt misbruikt. Het meet slechts de tevredenheid van die studenten die deelnemen aan het onderzoek. De respons is nationaal ongeveer een derde, en in bijvoorbeeld Amsterdam slechts een kwart van de studenten. Vergelijk dat eens met de internationale norm bij enquête-onderzoek dat een respons vanaf 70% pas acceptabel is.
Bovendien wordt de respons sterk bepaald door zelf-selectie (en is de ‘steekproef’ dus geen afspiegeling van de studenten): vooral enerzijds gezagsgetrouwe en anderzijds de meest tevreden en ontevreden studenten zullen reageren. Die afspiegeling verschilt bovendien weer van opleiding tot opleiding.
Sowieso is de NSE niet geschikt voor vergelijkingen omdat de studenten van verschillende universiteiten en opleidingen simpelweg niet inwisselbaar zijn. Een student die in Nijmegen of Middelburg gaat studeren is niet gelijk aan een student die in Rotterdam of Utrecht gaat studeren. De basishouding (tevredenheid, verwachtingen) van een aankomende student Technische Bedrijfskunde in Eindhoven is niet vanzelfsprekend gelijk aan die van aankomende student Filosofie in Amsterdam.
De NSE is een aardig middel voor docenten om te reflecteren op de eigen opleiding(en), maar niet geschikt om opleidingen of universiteiten werkelijk mee te vergelijken. Toch is dat precies wat er gebeurt. Niet alleen door Elsevier, maar ook door de staatssecretaris. De NSE wordt mede gebruikt in de prestatie-afspraken tussen het ministerie en de universiteiten. Universiteit en ministerie baseren zich dus op tamelijk problematisch onderzoek.
CITO
Dat lijkt op de toenemende aandacht voor CITO-scores van basisscholen. Ze worden in toenemende mate beschouwd als prestatie-indicatoren, terwijl ze evident ook sterk afhankelijk zijn van de instroom. De CITO-scores meten (een deel van) de prestaties van leerlingen, maar niet de invloed die de school heeft gehad op die prestaties.
Pogingen van met name Jaap Dronkers om uit de stroom informatie alleen de ’toegevoegde waarde’ van scholen te filteren zijn te prijzen, maar komen uiteindelijk tekort. Ten eerste zal het filter altijd incompleet zijn. Ten tweede is het filter – gebaseerd op statistiek – per definitie ongeschikt om de prestaties van individuele scholen te bepalen. Zulke statistiek gaat immers over groepen, niet over individuele gevallen.
Ze vormen een goede spiegel voor beleidsmakers op nationaal niveau, maar geen middel om de kwaliteit van individuele scholen te openbaren.
Toch worden de uitkomsten wel degelijk zo geïnterpreteerd. De openheid van CITO-scores die staatssecretaris Dekker nastreeft, en de uniforme eindtoets die hij wil invoeren, zijn daar nu typische voorbeelden van. Dat maakt het des te merkwaardiger dat CITO nu samenwerkt met een bedrijf dat leerlingen in staat stelt te trainen op de toets.
Verslaving
We lijken steeds meer verslaafd aan malle ranglijstjes van ons onderwijs die veelal zelf niet voldoen aan tamelijk basale kenmerken van valide en betrouwbaar onderzoek. De rankings, de NSE, en de CITO-scores kunnen beleidsmakers en docenten een spiegel voorhouden.
Maar gebruik ze alsjeblieft niet om universiteiten en scholen mee te vergelijken. En al helemaal niet om universiteiten en scholen te belonen die het goed doen. Daar zijn die onderzoeken niet geschikt voor.
Waarom laten we ons (gemiddeld) hoogstaande onderwijs en onderzoek toch onderwerpen aan de tucht van dit soort quasi-informatieve lijstjes?
In Ierland gaan er naar aanleiding van dit soort universiteitsrankingen zelfs stemmen op om universiteiten maar te laten fuseren. Terwijl lage scores op deze lijstjes niet zozeer komen door gebrek aan onderzoeks- en onderwijsoutput, maar lage student-stafratio’s (zeker in Arts, Humanities & Social Sciences) en relatief lage financiering. Daarmee zak je automatisch in sommige lijstjes.
Zo’n fusie kan ook makkelijk op papier. Richt de University of The Netherlands op en verklaar dat alle huidige universiteiten afzonderlijke ‘schools’ van die University zijn. Zo doen ze het in Londen en Oxbridge ook – met succes. Nog beter is het natuurlijk om dit soort ranglijstjes met de nodige scepsis ter kennisneming terzijde te leggen en gewoon verder te gaan met onderzoeken en onderwijzen.