Bindend Studie Advies: Hoe hoog moet de lat liggen?

Maandag maakte minister Van Engelshoven haar besluit over het bindend studieadvies (BSA) wereldkundig. Dit besluit behelst dat universiteiten en hogescholen maximaal 40 van de 60 studiepunten (EC) mogen eisen. Niet iedereen bij hogescholen en universiteiten was blij met deze eenzijdig opgelegde bemoeienis uit Den Haag. Het heeft wel de discussie over het nut over het BSA en over de ideale hoogte van de grens tussen een positief en negatief advies nieuw leven ingeblazen.

Naar de ideale hoogte van de BSA-lat heb ik een jaar of vijf geleden, samen met collega’s Taco de Wolff, Carlien Vermue en Hans Beldhuis van de Educational Support & Innovation-afdeling van de Rijksuniversiteit Groningen, onderzoek gedaan. [Soms is wetenschap tenenkrommend traag. Het paper ligt al sinds sinds april 2015 ter review bij een tijdschrift; hopelijk krijgen we binnenkort uitsluitsel.] In deze blogpost zal ik beschrijven wat we gevonden hebben; voor de formules en overige statistische details verwijs ik naar het ooit-te-verschijnen paper.

Ons model berekent de kans voor verschillende groepen studenten om het BSA te halen; goed dus voor beleidsmakers om de keus voor een eerlijke grens te bepalen. Hoewel de (vorige) minister een voorloper van dit onderzoek gebruikt heeft voor de beantwoording van Kamervragen, lijkt ze in haar besluit van vandaag geen rekening meer met dit onderzoek te houden. Hoewel een verhoging van de BSA-norm met enkele studiepunten voor het cohort als geheel slechts een klein effect heeft, worden bepaalde groepen studenten onevenredig hard getroffen. En dit zijn zeker niet de lapzwansen waarvan je hoopt dat ze over het BSA struikelen maar juist de gemiddelde – en soms zelfs gewoon goede – studenten.

BSA aan banden

Achtergrond van ons onderzoek was hoe de RUG met de BSA-grens omging. In 2010-2011 en 2011-2012 lag deze grens op 40 studiepunten, vanaf het jaar 2012-2013 werd deze verhoogd naar 45 EC. Bij de verhoging heeft het College toegezegd te laten onderzoeken of dit niet tot een te strenge grens leidde, en dat onderzoek vat ik nu samen. Het is belangrijk om je te realiseren dat de eerlijkheid van een bepaalde grens afhangt van de overige spelregels. In Rotterdam hebben ze onder het motto Nominaal is Normaal de grens op de volle 60 punten gelegd. Om het programma studeerbaar te houden, delen ze daar echter ook studiepunten uit als je een onvoldoende voor een vak gehaald hebt, mits je op een ander vak wel een voldoende gehaald hebt. Dan is het natuurlijk opeens een stuk makkelijker alle punten te halen (met zo’n systeem had ik ook mijn propedeuse in 1 jaar gehaald). Daarnaast is het belangrijk om een onderscheid te maken tussen een drempel en een norm: als een werknemer een keertje beneden verwachting presteert, wordt deze niet op staande voet ontslagen. Als een student net onder de norm presteert, hoeft deze ook niet meteen verbannen te worden.

Voor de RUG en andere onderwijsinstellingen ligt de hoofdreden van het BSA in het financieringssysteem uit Den Haag: kort door de bocht gesteld krijgen instellingen alleen financiering voor de eerste vier jaar dat een student ingeschreven is voor een bacheloropleidingen. Langzamere studenten kosten de instellingen geld en dat is een luxe die zij, dankzij jarenlange verschraling van het hoger onderwijs, zich niet kunnen veroorloven. Een BSA-systeem maakt de aanname dat de snelheid waarmee een student door het eerste jaar gaat informatief is over de snelheid waarmee de rest van de opleiding afgerond wordt. We kennen allemaal wel uitzonderingen, maar in de regel is de correlatie tussen studiepunten per jaar in jaar 1 en in de latere jaren vrij hoog.

Niet alleen kwaliteit bepaalt de kans het BSA te halen

Gegeven dat de keuze dat de RUG met het BSA ging werken al gemaakt was, was de overgebleven vraag hoe hoog je de lat dan moet leggen. Het basisidee is dat de lat hoog genoeg ligt om ‘slechte studenten’ er uit te filteren (danwel aan te moedigen een tandje bij te zetten) zonder dat de gemiddelde en goede studenten groot risico lopen per ongeluk te weinig punten te hebben.

Of een student de BSA-grens haalt, hangt grotendeels af van zijn/haar ‘kwaliteit’ (een onmeetbare mix van intelligentie, motivatie, etc.), maar niet volledig: andere factoren spelen ook een rol. Denk aan of het de student gelukt is een kamer met fijne huisgenoten te vinden, of de student niet toevallig verkouden was op een tentamen of verkeerd gegokt heeft bij een meerkeuzetoets.

Hulpmiddel voor beleidsmakers

Het exact aantal behaalde studiepunten hangt dus af van een mix van kwaliteit en toeval. De kwaliteit zelf is niet te meten, maar wel als zogenaamde latente variabele in het model op te nemen. Wij hebben kwaliteit geoperationaliseerd op de schaal van 0 tot 1: iemand met kwaliteit 0 kan letterlijk niks, iemand met score 1 is perfect. Echte mensen zitten er ergens tussen in.

Als er geen toeval in het spel was, was het effect van de BSA helder: zet je deze op bv. 75% van het maximum dan krijgt elke student met een kwaliteitsscore boven de 0.75 een positief advies, de rest een negatieve. Indien je de beleidskeuze maakt dat je enkel studenten met een score boven de 0.75 in je tweede jaar wilt, is de keuze voor de hoogte van de BSA-grens simpel.

Maar er is wel toeval in het spel, en dus geen zekerheden meer. Er zijn twee mogelijke fouten die gemaakt kunnen worden:

• Vals positieven: studenten met een te lage kwaliteitsscore die toch doorgelaten worden;
• Vals negatieven: studenten met een voldoende hoge kwaliteitsscore die toch worden weggestuurd.

We hebben een model ontwikkeld dat, gegeven een bepaalde kwaliteitsscore, voor een student berekent wat de kans is om een positief advies te ontvangen. Tevens berekent het model voor een cohort studenten de proportie studenten die de grens zal halen. Het is vervolgens aan beleidsmakers (en niet aan wetenschappers) om te bepalen wat een eerlijke grens is; ons model geeft daar een handig hulpmiddel voor.

Onderzoeksopzet

Voor ons model hebben we gebruik gemaakt van drie cohorten (2010-2011 t/m 2012-2013) met alle voltijdsstudenten aan de RUG. Zo’n 5% van de studenten hoefden om speciale redenen (ziekte, overlijden van familielid, enz.) niet aan de BSA-grens te voldoen, zij zijn buiten beschouwing gelaten. We weten van 13234 studenten, verspreid over 743 verschillende vakken bij een kleine 60 bacheloropleidingen van (destijds) 9 faculteiten, hoeveel EC zij in het eerste jaar behaald hebben. We weten, om privacyredenen, niet welke vakken door welke studenten gehaald zijn. Ingewikkelde IRT-modellen zijn daardoor niet te gebruiken.

De verdeling van behaalde EC per cohort, per opleiding hebben wij gemodelleerd met de zogenaamde beta-binomiale verdeling. Dit is een veralgemenisering van de bekende binomiale verdeling. Deze binomiale verdeling zou geschikt zijn als alle studenten in een cohort dezelfde kwaliteit hebben, maar dit is duidelijk een onrealistische aanname. De beta-binomiale verdeling levert extra flexibiliteit op. Per cohort levert het model ons twee waarden op: α en p. Hier is p het gemiddelde kwaliteitsniveau van het cohort, en α de ‘dispersie’ van de studenten: als α klein is, zijn er grote kwaliteitsverschillen binnen een cohort, bij grote α is dit niet het geval. (Voor de techneuten: het schatten van deze waarden gebeurt via de momentenmethode, waarbij een Monte Carlo-achtige aanpak gebruikt is om iteratief tot de optimale schatters te komen.) Dat dit model goed werkt, is aan onderstaand figuur te zien. In dit figuur hebben we gekeken naar de opleiding Accounting (omdat dit alfabetisch gezien de eerste opleiding is) in het cohort 2010-2011. We zien aan de data (de zwarte vierkantjes) dat een hogere BSA-grens (vanzelfsprekend) samengaat met een lager percentage studenten dat een positief advies ontvangt. We zien ook dat het binomiale model voor geen meter past, maar het beta-binomiale model (BBM) wel. Dat het model goed past hebben we ook formeler gevalideerd, maar die technische details laat ik hier achterwege.

We kunnen nu voor verschillende opleidingen modelleren hoe een bepaalde BSA-grens zich vertaalt in een cohort. De drie figuren hieronder laten zien hoe het is voor respectievelijk Accounting, Geschiedenis en Wiskunde. (In 2012/2013 zijn verschillende economische bachelors opgegaan in een brede bachelor, vandaar dat deze curve ontbreekt).

Uit deze grafieken vallen een paar dingen op:

• Er zijn flinke verschillen tussen opleidingen. Waar bij Accounting een BSA van 40 EC tot wel 50% negatieve studieadviezen zal leiden, ligt dit bij Wiskunde op zo’n 15%;
• Er zijn ook aardig wat verschillen tussen cohorten, zelfs als de opleiding niet of nauwelijks veranderd;
• Een verhoging van de BSA-grens met 5 EC leidt op zich maar tot een relatief klein beetje extra uitval: een paar procentpunt.

Dat laatste punt was een argument voor verschillende decanen en andere personen ‘high in the food chain’ om te pleiten voor een verhoging van de grens naar 50 EC. Als het toch maar een paar procentpunt scheelt, kunnen de risico’s immers niet zo groot zijn, was de gedachte.

Matige, gemiddelde, en goede studenten

Die gedachte is echter niet correct. De kracht van het model ligt in de mogelijkheid om verschillende typen studenten te bekijken. We hebben voor elke opleiding drie studentprofielen uitgewerkt:

1. Een ‘matige’ student; d.w.z. een student met een kwaliteitsscore zodanig dat twee-derde van zijn/haar medestudenten beter scoort, en een-derde slechter;
2. Een ‘gemiddelde’ student; waarbij de helft van het cohort beter en de andere helft slechter stuurt (eigenlijk dus een mediaan-student, de betaverdeling kan asymmetrisch zijn);
3. Een ‘goede’ student; die beter scoort dan twee-derde van zijn/haar cohortgenoten.

Merk op dat matig/mediaan/goed relatieve contexten zijn binnen een cohort: de matige geneeskundestudent haalt nog steeds meer studiepunten dan de goede rechtenstudent – simpelweg omdat bij geneeskunde zeer strenge selectie aan de poort is.

Voor wederom de opleiding Accounting, cohort 2010-2011, zien die profielen er als volgt uit.

Een goede accounting-student, hoeft zich bij een BSA-grens van 40 EC nauwelijks zorgen te maken, terwijl een matige student bij die grens zo goed als kansloos is. De mediaan-student hangt er wat tussen. Wat hier vooral opvalt is dat de curves veel steiler verlopen. Een verhoging van de BSA-grens met 5 EC kan voor een individuele student tot wel 15 procentpunt meer risico op een negatief advies leiden. Dit geldt niet alleen voor de matige studenten (waarbij je het als opleiding mogelijk niet erg vindt dat die grotere kans hebben te moeten vertrekken – dat is zelfs het doel van het BSA), maar ook de gemiddelde en zelfs de goede student loopt grote risico’s.

De verklaring voor het verschil tussen cohort- en individuele curves is als volgt. Neem bijvoorbeeld een verhoging van 35 naar 40 EC. Voor de ‘matige’ student (en de 33% nog slechtere studenten) heeft dit nauwelijks gevolgen: die waren toch kansloos. Voor de beste 33% zijn de gevolgen ook minimaal: die haalden het toch wel. Die 5 procentpunt daling op cohortniveau komt bijna volledig voor rekening van de studenten die kwalitatitief gezien in het midden zitten. Zo’n cohortgrafiek geeft dus een vertekenend beeld: specifieke studenten kunnen (onevenredig) hard geraakt worden door een BSA-verhoging (en tevens hard geholpen worden met een BSA-verlaging).

‘Wat als’-analyses voor beleidsmakers

Geaggregeerd op RUG-niveau, zien we voor de mediaan-student en het cohort als geheel de volgende schattingen voor de kans op een positief advies, voor de grenzen B = 40, 45 en 50 die overwogen waren voor het BSA:

De stijging van de succeskans over de jaren heen is deels te verklaren door de verhoging van de BSA-grens: als de lat hoger ligt, doen studenten beter hun best. Voor het grootste deel is de stijging echter toe te wijzen aan verbeteringen (dan wel vergemakkelijkingen) in de onderwijsprogramma’s.

In essentie is ons model een beschrijvend model: het vat de complexiteit van alle tentamen- en studentenresultaten van een opleiding samen in twee parameters: gemiddelde kwaliteit p en dispersie α. Dit kan gebruikt worden voor ‘wat-als’ analyses: wat zijn de consequenties voor een bepaalde opleiding/faculteit/de hele universiteit als de BSA-grens verandert? Elke keuze voor de BSA-grens zal onherroepelijk leiden tot vals positieven en vals negatieven. Ons model helpt om die fouten te kwantificeren. De beleidsmakers kunnen daarmee een afweging maken. Mede dankzij ons model heeft de RUG afgezien van een voorgenomen BSA-verhoging naar 50 EC: de proportie onterecht weggestuurden zou te hoog geworden zijn.

BSA-norm en financieringsmodel

De minister verdedigt haar nieuwe beleidsregel met de opmerking “Wie twee derde van zijn eerste jaar haalt kan nooit op de verkeerde plek zitten of kansloos zijn”. Dat is makkelijk gezegd en in een ideale wereld zou je iedereen zo lang mogelijk de kans geven om te studeren. Maar als iemand op twee derde snelheid studeert, zal deze gemiddeld vier en een half jaar over de studie doen. Als de minister vindt dat dat de norm moet kunnen zijn (ik ben het daar niet mee oneens), zou het haar sieren om dan op z’n minst ook vier en een half jaar te financieren.

Enerzijds universiteiten dwingen om studenten die soms vijf, zes jaar over hun driejarige bachelor doen te accepteren, en anderzijds zeggen dat die universiteiten het allemaal maar zelf moeten betalen, sluit niet goed aan bij alle mooie woorden over hoger onderwijs van deze coalitie.

Afbeelding: Bron