Kansrijk Onderwijsbeleid: De economische tunnelvisie van het CPB

Het Centraal Planbureau publiceerde gisteren Kansrijk Onderwijsbeleid, een literatuurstudie naar de effecten van allerlei onderwijsmaatregelen op de leerwinst van leerlingen en studenten. Het rapport omvat vele verschillende maatregelen, maar één kreeg in de media de meeste aandacht: het zou verstandig zijn om leerlingen al in de basisschool te plaatsen in verschillende klassen op basis van hun leerprestaties (zie bijvoorbeeld de Volkskrant). Dit zou de gemiddelde prestaties ten goede komen.

Het is alleen nogal stuitend dat het rapport zich liever baseert op één experimentele studie uit Kenia dan uit een rijke verzameling onderzoeken uit de onderwijskunde en sociologie in Westerse landen. Bovendien heeft het CPB-rapport niet gekeken naar de werkelijke reden waarom vroege selectie hoog op de politieke agenda staat: grotere ongelijkheden.

Voordat we de stelling over selectie op de basisschool en het rapport in algemene zin kritisch bespreken, vinden we het belangrijk om gezegd te hebben dat dit soort literatuurstudies erg verstandig zijn. We hebben twee algemene bezwaren tegen de werkwijze van het CPB: (1) het gebrek aan contextualisering en (2) de selectie van studies. Deze twee algemene bezwaren illustreren we aan de hand van de resultaten over selectie op de basisschool.

Het belang van context

In Kansrijk Onderwijsbeleid wordt een veelheid aan studies besproken zonder expliciet rekening te houden met de context waarin deze studies zijn uitgevoerd. De assumptie is dus dat voor de evidentie van een beleidsmaatregel het niet uitmaakt of de studie is gedaan in de Verenigde Staten, Kenia of in Nederland. Evenmin speelt de periode waarin de beleidsmaatregel is geëvalueerd een grote rol. Dit is een sterke assumptie, die tot vreemde conclusies kan leiden.

Laten we als voorbeeld kijken naar de bevinding dat selectie al tijdens de basisschool effectief is. Deze conclusie is gebaseerd op twee studies die de toets van het CPB konden doorstaan: één in Kenia en één in Zuid-Korea. De Zuid-Koreaanse studie gaat echter helemaal niet over het basisonderwijs maar over middle schools en high schools (grade 7 en hoger; dat is dus vanaf eerste klas voortgezet onderwijs [VO] in Nederland). De resultaten van deze studie gaan niet over selectie in het basisonderwijs, wat betekent dat de conclusies hierover gebaseerd zijn op één studie: een experimentele studie van Esther Duflo en collega’s. Zoals de auteurs van deze Keniaanse studie schrijven, kenmerkt het Keniaanse onderwijssysteem zich door ‘weak incentives’ voor leerkrachten. Zo is één van de bevindingen dat de experimentele introductie van selectieve klassen ertoe bijdroeg dat docenten vaker daadwerkelijk in de klas te vinden waren. Dat dat leerwinst oplevert is niet verwonderlijk. De vraag is natuurlijk wat het experiment in Kenia voor evidentie heeft voor de Nederlandse context.

Selectie van de geraadpleegde studies

Zijn er dan echt maar twee studies gedaan naar de gevolgen van selectie in het basisonderwijs? Nee, natuurlijk niet. De selectiviteit van het CPB ten aanzien van opgenomen studies komt voort uit de wens om uitsluitend studies te bespreken die uitblinken in het aantonen van causale effecten. Dat zijn studies met een experimenteel of quasi-experimenteel onderzoeksdesign. Het argument van het CPB is dat we met puur experimentele studies tenminste zeker weten of er sprake is van causaliteit.

Terug naar selectie in het basisonderwijs: zijn de effecten die gevonden worden echt causaal? De Koreaanse studie gebruikt een difference-in-difference-design en gebruikt regionale verschillen in beleidsmatig gemengde versus selectieve VO-scholen om effecten te schatten. Dit betekent dat er alsnog geen random toekenning aan experimentele of controlegroepen is toegepast, wat toch de goudstandaard vormt als het gaat om het aantonen van causaliteit. Het CPB is blijkbaar toch bereid om causale modellen te accepteren die met enkele belangrijke ongetoetste assumpties gepaard gaan, zoals de assumptie dat gezinnen hun verhuisgedrag niet aanpassen aan het regionale beleid van gemengde versus selectieve scholen.

Wij staan hier achter: laten we vooral niet alleen focussen op volledig gerandomiseerde experimenten. Maar dan is het toch verwonderlijk dat studies uit aanverwante disciplines, die ook naar regionale verschillen kijken maar wel op het niveau van de basisschool, niet worden behandeld door het CPB (deze studie uit Australië bijvoorbeeld, waarin geen effect werd gevonden van parallelklassen op de basisschool). Blijkbaar wenst het CPB zich nauwelijks te verhouden tot het onderwijskundig en sociologisch onderzoek naar ability grouping.

Dat dit een probleem is in het gehele rapport is te zien in de bovenstaande figuur: van de 310 literatuurverwijzingen zijn er 222 gepubliceerd in economische tijdschriften. Je zou bijna denken dat onderwijskundigen geen onderzoek doen naar onderwijs of dat sociologen eigenlijk niets zinnigs te zeggen hebben over vroege selectie. Het is alarmerend dat de auteurs weigeren om evidentie uit andere vakgebieden serieus te nemen. Dat is onaanvaardbaar voor een invloedrijk instituut als het CPB.

Economische tunnelvisie

Het is natuurlijk de verantwoordelijkheid van de media, niet van het CPB, welke kop er in de krant staat. Maar de vraag is wel of we op basis van die ene Keniaanse (maar wel streng causale) studie meer te weten komen dan op basis van een rijke verzameling studies waar misschien geen randomisatie heeft plaatsgevonden. Er bestaan meerdere (Westerse) longitudinale studies naar de effecten van ability grouping op de basisschool waarbij rekening wordt gehouden met eerdere leerprestaties: de conclusie is meestal dat het ‘leerverlies’ van degenen die in de minst presterende groep zitten groter is dan de leerwinst aan de bovenkant (zie bijvoorbeeld het literatuuroverzicht en de empirische analyse van deze studie uit de VS). Als we ‘leerwinst’ beschouwen als een vorm van efficiëntie, kwamen wij in een literatuurreview tot de conclusie dat er weinig helderheid is over de samenhang tussen tracking en efficiëntie in leerprestaties. Er bestaat meer helderheid over de relatie tussen tracking en ongelijke kansen. Vroege selectie gaat gepaard met grotere ongelijkheden naar sociaal milieu, en juist om die reden staat vroege selectie weer hoog op de politieke agenda. Maar daar heeft het CPB-rapport niet naar gekeken.

De causaliteitskramp van economen is niet iets waar alleen het CPB last van heeft – het vakgebied houdt zich maar al te graag bezig met het identificeren van een causaal effect. Dat leidt zeker tot mooie studies; de studie van Duflo is schitterend ontworpen, en de roep om een strengere visie op causaliteit maakt andere vakgebieden, waaronder de onze, scherper ten aanzien van de gebruikte onderzoeksdesigns.

Tegelijkertijd wordt causaliteit op een zeer eenzijdige manier bekeken.  Kleinschalige, puur-experimentele studies hebben sterke aannames als het gaat om context (werkt een maatregel ook in een andere context of werkt het ook als het grootschalig wordt ingevoerd?). Zijn die studies dan minder problematisch dan longitudinale, nationaal-representatieve analyses van schoolloopbanen waarin mogelijke selectie-effecten bestaan? Wij vragen het ons af. Het gaat om de combinatie. Er is een hypothese, en het is zaak om de hypothese met zoveel mogelijk data en designs te onderzoeken. Juist in een literatuurstudie van een nationaal adviesorgaan verwacht je dat deze diversiteit aan vakgebieden en designs aan bod komt. Alleen met veelzijdige informatie uit verschillende disciplines kan het CPB tot degelijke conclusies komen voor het beleid.

Afbeelding: Werkplaats Kindergemeenschap Klaslokaal door Onderwijsgek (license).