Arnold reageert op de kritiek van Jaap Dronkers op de onderwijsinspectie.
Het is op zichzelf verfrissend om beschuldigd te worden ‘te soft’ te zijn. Het grootste deel van mijn dagen besteed ik aan het idee dat wij als onderwijsinspectie juist te streng zouden zijn. Maar hoe verfrissend ook, er klopt weinig van het artikel van professor Dronkers.
Combinatie van criteria
De inspectie hanteert een combinatie van criteria om tot een oordeel over de kwaliteit van een school te komen. Grofweg een combinatie van resultaat en procescriteria. Dat doen we al enige jaren en hierin is de laatste jaren geen verandering opgetreden.
We gebruiken een combinatie om de nadelen die een eenzijdige focus op resultaten of proceskenmerken met zich meebrengen te ondervangen. Er zijn landen waar een sterke focus op resultaten bestaat, de Verenigde Staten bijvoorbeeld, met breed gedocumenteerde (perverse) effecten. Het tegenovergestelde komt ook voor in landen waar heel weinig inzicht in onderwijsresultaten beschikbaar is. Ook dat is niet zonder nadelen. Nederland neemt per saldo een gematigde positie in.
Hoe doen we dat? Dronkers geeft voorbeelden uit het basisonderwijs, dus laat ik dat aan de hand daarvan illustreren. De inspectie beoordeelt de resultaten van een basisschool als onvoldoende, als deze drie keer achter elkaar onder de ondergrens waren. De ondergrens voor een school wordt bepaald op basis van het percentage ‘gewichtenleerlingen’. In de onderstaande grafiek is dat zichtbaar.
Deze grafiek is al enige jaren gefixeerd, en is gebaseerd op de daadwerkelijke resultaten van basisscholen van een aantal jaar geleden. De ondergrens ligt dus (één standaardafwijking) onder de gemiddelde resultaten van vergelijkbare scholen.
Het oordeel
Veel scholen hebben soms een cohort dat onder de ondergrens uitkomt. Grafiek 1.3b uit het onderwijsverslag van dit jaar laat dat zien. In tegenstelling tot Dronkers neemt de inspectie trouwens geen gemiddelde over drie jaar om stabiliteit, die er in onvoldoende mate is, te suggereren.
Overigens is het gemiddelde dat de inspectie gebruikt niet het simpele gemiddelde van alle leerlingen die de eindtoets maken. Als een school risico’s in de resultaten kent, vindt er onderzoek plaats en worden een aantal categorieën leerlingen niet meegenomen in de bepaling van het gemiddelde. Leerlingen die de Nederlandse taal niet machtig zijn bijvoorbeeld, sommige zorgleerlingen, of leerlingen die nog maar net op de school zitten. Zo zijn er een aantal categorieën, die voor scholen veel uitmaken.
Dit is dan de manier (in hoofdlijn) waarop we het oordeel over de resultaten bepalen. Daarmee is er nog geen oordeel over de school, want daarvoor volgt eerst onderzoek op de school zelf naar de kwaliteit van het lesgeven, de leerlingenzorg, etc.
Toegevoegde waarde
Dit is een heel andere methode dan de methode-Dronkers. Veel arbeidsintensiever, en met expertoordelen op de school zelf. Dat kan mijn inziens niet anders. Scholen verschillen in heel veel opzichten van elkaar, hebben verschillend beleid en verschillende omstandigheden. Dit uit zich ook in verschillende leerlingpopulaties, verschillen die je niet direct kunt aflezen uit de postcode of het percentage gewichtenleerlingen.
Het is daarom bijzonder dat Dronkers de uitkomsten van onze werkwijze vergelijkt met die van hemzelf, en verschillen denkt te moeten verklaren door fouten in het werk van de inspectie. Dit terwijl iedere wetenschapper en iedereen die werkzaam is in het onderwijs (methodo-)logische gaten kan aanwijzen in de berekening van ‘toegevoegde waarde’ zoals Dronkers die deed die groot genoeg zijn om er een vrachtwagen doorheen te rijden.
Toegevoegde waarde is een belangrijk concept voor de ontwikkeling van het onderwijs. Pilots laten zien dat hier kansen liggen. Allereerst voor scholen zelf natuurlijk. De vraag of en, zo ja, op welke manier ’toegevoegde waarde’ een rol kan spelen in externe verantwoording is wat mij betreft nog onbeantwoord.
Te soft?
Komen we tot slot bij de vraag: is de inspectie softer geworden de laatste jaren? Nee.
Wat er wel is gebeurd, is dat de laatste jaren heel veel zwakke scholen zich verbeterden. Dat is prachtig. We zien dat scholen die (zeer) zwak zijn geweest, nu gemiddeld sterker zijn dan andere scholen. Meer en meer voorkomen scholen dat ze zwak worden. We zien dat niet alleen in het basisonderwijs, en het is ook niet alleen omdat eindtoetsen beter worden gemaakt. Dit jaar is het aantal zwakke scholen in het speciaal onderwijs bijvoorbeeld enorm gedaald, een sector waar resultaten niet apart beoordeeld worden.
Vorig jaar schreven we in het onderwijsverslag dat heel veel van de verbeterenergie van scholen en besturen in de zwakke scholen is gaan zitten. De scholen boven onze normen voor basiskwaliteit verbeterden zich (alles bij elkaar) niet of nauwelijks. Individuele scholen natuurlijk wel, maar daar stond ‘op stelselniveau’ terugval bij andere scholen tegenover. Het is één van de redenen waarom het onderwijstoezicht de komende jaren zal veranderen.
Wat niet zal veranderen, is dat het oordeel over de kwaliteit van een school altijd een combinatie van resultaat en proceskenmerken zal zijn. De kwaliteit van een school op afstand tot een getal terugbrengen zal de inspectie in ieder geval niet doen. Ook wetenschappers zouden dat niet moeten willen doen.
Ik ben Arnold Jonk dankbaar voor zijn bijdrage en wel om vier redenen:
1. Zijn bijdrage illustreert mooi het centrale punt in mijn blog: het gebrek aan transparantie in de totstandkoming van het oordeel van de onderwijsinspectie over zwakke scholen.
2. Zijn bijdrage illustreert waarom twee tegenstrijdige zaken tegelijkertijd waar kunnen zijn: a. De daling in het aantal zwakke scholen in Amsterdam volgens de onderwijsinspectie; b. Het achterblijven van de kwaliteitsverbeteringen bij zwakke Amsterdamse scholen in vergelijking met die bij zwakke scholen in de rest van het land. Zie verder http://stukroodvlees.nl/opleiding/het-cpb-rapport-over-het-kwaliteitsprogramma-voor-zwakke-amsterdamse-basisscholen-doorgelicht/#more-3077.
3. De smalle basis bij de meting van de leerlingenpopulatie door de inspectie: alleen het percentage laaggeschoolde ouders (de zgn. gewichten). Daardoor blijven bij de inspectie zwakke scholen met veel hooggeschoolde ouders vaker buiten het zicht. Dat vermindert de validiteit van het inspectieoordeel want het voordeel van hooggeschoolde ouders is mogelijk nog groter dan het nadeel van laaggeschoolde ouders.
4. De sterke modelaanname door de inspectie, met name het kromlijnig verband tussen het percentage laaggeschoolde ouders en cito score (figuur1). Daardoor hebben scholen met veel laaggeschoolde ouders een grotere kan op een negatieve toegevoegde waarde en nauwelijks kans op een positieve toegevoegde waarde (zie verder voetnoot 21 van mijn toelichting bij de berekening van toegevoegde waarde: http://www.schoolcijferlijst.nl/basis/Toelichting_2013b.pdf)