De onderwijsinspectie is inderdaad te soft

Te softe inspectie?

In een eerder blog betwijfelde ik of er wel slechts 5% van de basisscholen het predikaat ‘zwak’ zou verdienen, zoals in het Onderwijsverslag 2012/2013 wordt gesteld. De hoofdinspecteur Arnold Jonk bestreed in zijn repliek dat de onderwijsinspectie te soft zou zijn.  Hij beschreef daarin de criteria die de onderwijsinspectie toepast. Onderstaande figuur uit zijn blog is daarbij cruciaal.[i]

Hij zegt daarover in zijn blog: “De inspectie hanteert een combinatie van criteria om tot een oordeel over de kwaliteit van een school te komen. Grofweg een combinatie van resultaat en procescriteria. Dat doen we al enige jaren en hierin is de laatste jaren geen verandering opgetreden. (…) De inspectie beoordeelt de resultaten van een basisschool als onvoldoende, als deze drie keer achter elkaar onder de ondergrens waren. De ondergrens voor een school wordt bepaald op basis van het percentage ‘gewichtenleerlingen’.”

Zwakke school volgens inspectiecriterium

Ik gebruik nu precies hetzelfde criterium als de onderwijsinspectie: de cito-scores van 2011, 2012 en 2013.[ii] Ook pas ik dezelfde ondergrens toe voor de bepaling van een school met te lage cito-scores voor alle drie de jaren.[iii] Als ik de regel toepas dat de cito-score alle drie de jaren onder de ondergrens ligt, kom ik tot 4,4% zwakke scholen, net als het onderwijsverslag. Als ik de regel toepas dat de drie cito-scores van dezelfde drie jaren gemiddeld onder de ondergrens liggen, kom ik tot 20,2% zwakke basisscholen. Dat gemiddelde over drie jaar lijkt mij een beter criterium voor een zwakke school dan alle jaren onder de grens: het ‘alle drie jaren’-criterium zet een bonus op een enkel goed jaar, terwijl het gemiddelde over drie jaar juist uitschieters naar boven of beneden dempt. Tabel 1 laat ook zien dat zwakke scholen bij alle percentages gewichtenleerlingen voorkomen.

Verschil door speciale leerlingen?

De hoofdinspecteur zegt vervolgens in zijn blog: “Overigens is het gemiddelde dat de inspectie gebruikt niet het simpele gemiddelde van alle leerlingen die de eindtoets maken. Als een school risico’s in de resultaten kent, vindt er onderzoek plaats en worden een aantal categorieën leerlingen niet meegenomen in de bepaling van het gemiddelde. Leerlingen die de Nederlandse taal niet machtig zijn bijvoorbeeld, sommige zorgleerlingen, of leerlingen die nog maar net op de school zitten. Zo zijn er een aantal categorieën, die voor scholen veel uitmaken.”

Tabel 1 laat zien dat die speciale categorieën niet de oorzaak kunnen zijn van de 20% zwakke scholen als het drie-jarengemiddelde wordt gebruikt. Scholen met 0 procent gewichtenleerlingen zullen weinig leerlingen hebben die niet meegenomen zouden moeten worden in de bepaling van het gemiddelde en toch zijn 13,6% of 32,2% van deze scholen zonder laag opgeleide ouders zwak.

De combinatie van resultaat en procescriteria

De hoofdinspecteur schrijft ook in zijn blog: “De inspectie hanteert een combinatie van criteria om tot een oordeel over de kwaliteit van een school te komen. Grofweg een combinatie van resultaat en procescriteria.” Deze mogelijke combinaties van resultaat en procescriteria staan omschreven in bijlage 1 van het ‘Toezichtkader 2011, primair onderwijs en voortgezet onderwijs’. Scholen met voldoende resultaten maar met vier onvoldoende procescriteria krijgen het predicaat ‘zwak’: onvoldoende resultaten zijn dus geen noodzakelijke voorwaarde voor het predicaat ‘zwakke school’. Maar scholen met onvoldoende resultaten krijgen altijd het predicaat ‘zwakke school’, ongeacht of hun procesindicatoren voldoende zijn of niet. Een onvoldoende resultaat (onder de ondergrens van figuur 1) is dus wel een voldoende voorwaarde voor het predicaat ‘zwakke school’. Tussen deze twee extreme combinaties van resultaten en procesindicatoren zijn er allerlei tussenvormen, waarbij onvoldoende resultaten geen noodzakelijke voorwaarde is en die kunnen leiden tot het predicaat ‘zwakke school’.[iv]

Het bestaan van deze laatstgenoemde ondoorzichtige combinaties verklaart waarom twee tegenstrijdige zaken tegelijkertijd waar kunnen zijn: enerzijds de sterke daling in het aantal zwakke scholen in Amsterdam volgens de onderwijsinspectie, anderzijds het achterblijven van de kwaliteitsverbeteringen bij zwakke Amsterdamse scholen in vergelijking met die bij zwakke scholen in de rest van het land (volgens het CPB).

Onderschatting door alleen gewichtenleerlingen

In mijn eerdere reactie op het blog van de hoofdinspecteur wees ik er op dat door uitsluitend het percentage gewichtenleerlingen te gebruiken voor de vaststelling van de leerlingpopulatie de inspectie de grote variantie in sociale achtergrond van scholen zonder of weinig gewichtenleerlingen onderschat. Daardoor verliest de inspectie het zicht op zwakke resultaten bij deze scholen. Tabel 2 laat zien hoe groot de variantie in leerlingpopulatie is bij deze scholen zonder of weinig gewichtenleerlingen. Ook daardoor zal het percentage scholen met te zwakke leerresultaten ook hoger zijn dan de 4,4% volgens het onderwijsverslag of de 20% volgens het drie-jarengemiddelde.

De daling van het % zwakke scholen

Het onderwijsverslag 2012-2013 zegt op p. 46: “Vooral in het basisonderwijs, het speciaal basisonderwijs en het (voortgezet) speciaal onderwijs is het aantal zwakke en zeer zwakke scholen verminderd (figuur 10).” Als ik echter de veranderingen in het percentage zwakke scholen met een valide cito-toets vergelijk tussen de jaren 2010-2012 en 2011-2013 vind ik helemaal geen daling, maar eerder een lichte stijging. Bij het bovengenoemde drie-jarencriterium stijgt het percentage zwakke scholen van 3,8% naar 4,4% en van 11,1% naar 13,6% bij scholen met nul gewichtenleerlingen.

Bij het drie-jarengemiddelde is er een vergelijkbare stijging: van 18,2% naar 20,2% en van 29,0% naar 32,2%. Het aantal scholen met een valide cito-toets is toegenomen (van 5063 naar 5122), maar het lijkt weinig waarschijnlijk dat dit het ontbreken van de daling kan verklaren. De resultaten uit tabel 1 zijn dus in strijd met het gestelde in het onderwijsverslag.

Een mogelijke verklaring is dat een onvoldoende resultaat geen noodzakelijke voorwaarde is voor het predicaat zwakke scholen, maar dat het predicaat ook gegeven werd op grond van ondoorzichtige combinaties van resultaat en procesindicatoren.  Tabel 3 illustreert de laatstgenoemde verklaring. Ten minste één zeer zwakke school is niet onvoldoende op zowel het gemiddelde over drie jaar als drie-op-een-rij-criterium en drie zeer zwakke scholen zijn alleen ‘resultaat-zwak’ op het gemiddelde over drie jaar, maar niet zwak op het drie-op-een-jaar-criterium.

Tot slot

Ik dank de hoofdinspecteur voor zijn blog. Het maakte het mogelijk om hem na te rekenen en te laten zien dat de inspectie inderdaad te soft is geweest. Ook heeft hij in zijn blog toegegeven dat de inspectie zich niet meer houdt aan haar eigen toezichtskader, maar eigen combinaties van resultaat en procescriteria toepast. Dat betekent dus ook dat de daling van het percentage zwakke scholen veroorzaakt kan zijn door dit loslaten van het toezichtskader. Zijn blog heeft het mogelijk gemaakt mijn vermoeden over een groter percentage zwakke scholen en de afwezigheid van de daling van dit percentage steviger te onderbouwen.

P.S. Inge de Wolf van de Onderwijsinspectie attendeerde mij op een rekenfout in een eerdere versie van deze blog, waarvoor ik haar dank. Oorspronkelijk vond ik een hoger percentage zwakke scholen, maar dat bleek op een syntax-fout van mij te berusten. In deze herziene versie van het blog besteed ik meer aandacht aan het volgende probleem: de drie-op-een-rij eis. Mijn eerdere kritiek op de inspectie dat zij het percentage zwakke scholen te laag hadden ingeschat bleek dus ongegrond. Ook verwees ik in de eerdere versie door een fout op de website van de inspectie naar een inmiddels verouderd toezichtskader van 2005. Tenslotte heb ik een sectie over de daling van het percentage zwakke scholen toegevoegd.