Onlangs werden voor de tweede keer prijzen voor excellente scholen uitgereikt door de regering. Op zich is er niets op tegen dat de overheid erkent dat er goede en slechte scholen bestaan. Pas tijdens het eerste decennium van de 21ste eeuw gaf de overheid toe dat er slechte bestonden: daarvoor werd dat ontkend onder verwijzing naar de gelijke financiering van alle scholen.
Toch is de keuze van die excellente scholen door de overheid niet zonder problemen. Ik ga hier voorbij aan het principiële punt of het kiezen van excellentie een taak van de overheid is. Zelfs in Frankrijk worden de Michelinsterren voor restaurants toegekend door een private organisatie (een bandenfabriek) en niet door de minister van Toerisme.
Ik beperk mij nu hier tot de procedure:
- Scholen moeten zich zelf aanmelden of zij voor het predicaat ‘excellent’ in aanmerking willen komen.
- Een jury kiest op grond van een breed aantal (mijns inziens onduidelijke) criteria uit de aangemelde scholen de excellente scholen uit.
‘Excellente basisscholen’
Ik laat het in deze analyse bij de basisscholen, omdat de uitkomsten daarvoor redelijk makkelijk te vergelijken zijn. De gegevens die ik bij de vergelijking gebruik zijn gebaseerd op mijn analyse van de eindtoets-scores van 2013, die ik ten behoeve van de RTL heb verricht.
In totaal hebben 141 scholen (basis, secundair, speciaal) zich aangemeld voor de excellentie prijs. Even terzijde: ook dit is ook een afwijking van de Michelinsterren, die zo vaak als voorbeeld worden gebruikt. Restaurants melden zich immers niet aan voor een ster. De lijst van deze aangemelde scholen is geheim, ook na de uitreiking. Mogelijk speelt daarbij een rol dat in bepaalde regio’s scholen afgesproken hebben om zich niet aan te melden en dat sommige koepelorganisaties de daarbij aangesloten scholen geadviseerd hebben zich niet aan te melden. De aanmelding is dus sowieso niet erg transparant. Ik weet dus ook niet hoeveel van de ruim 7000 basisscholen zich hebben aangemeld: de helft van de 141 lijkt mij een bovengrens.
In tabel 1 staan de basisscholen die dit jaar het predicaat kregen. De quasi-Citoscore is de score op de door de school gebruikte eindtoets, door mij ongerekend in de meest gebruikelijke eindtoets, de Citotoets. De toegevoegde waarde is de mate waarin een basisschool het beter of slechter doet dan verwacht mag worden, gegeven de sociaaleconomische achtergrond van de leerlingen (leerling gewichten, landen van herkomst, status postcodes leerlingen).
Voor data en indicatoren, zie hier.
Over het algemeen zijn de ‘excellente scholen’ scholen met een substantiële positieve toegevoegde waarde, behalve de twee Friese scholen (Buitenpost, Tzummarum) en de enige islamitische school (Gouda). Onduidelijk is hoe de jury de toegevoegde waarde van de vijf excellente scholen heeft vastgesteld die in tabel 1 geen toegevoegde waarde hebben. Ik kon die zelf niet berekenen door gebrek aan overheidsgegevens. Hoe is de jury dan toch in staat geweest dit uit te rekenen? Of gold dit criterium niet bij deze scholen? Uiteindelijk valt er dus wel wat af te dingen aan de omschrijving van de jury en de staatssecretaris (“over de gehele linie goed”), want niet alle scholen hebben een substantieel positieve toegevoegde waarde, of hebben een onbekende toegevoegde waarde.
Hoe ‘excellent’?
Wanneer we de scholen met het predicaat ‘excellent’ vergelijken met scholen zonder een dergelijk predicaat zien we het volgende:
Voor data en indicatoren, zie hier.
Mijn conclusies uit tabel 2 zijn als volgt:
- Het minimum en het gemiddelde van de sociaal-economische compositie van excellente en niet-excellente scholen zijn min of meer gelijk, maar het maximum van de excellente scholen (32,2) ligt bijna 6 punten lager dan die van de niet-excellente scholen (38,1).
- Het minimum en het gemiddelde van de toegevoegde waarde van de excellente scholen liggen hoger dan die van de niet-excellente scholen, maar het maximum van de excellente scholen (7,3) ligt ruim 5 punten lager dan die van de niet-excellente scholen (13,9).
- Het minimum en het gemiddelde van de quasi-Citoscore van de excellente scholen liggen hoger dan die van de niet-excellente scholen, maar het maximum van de excellente scholen (544,5) ligt 5 punten lager dan die van de niet-excellente scholen (549,1).
De uitgekozen ‘excellente’ scholen zijn dus een subtop en niet de echte top in toegevoegde waarde. Dit kan komen door de beperkte aanmelding, maar ook door de toegepaste criteria door de jury. Het gebrek aan transparantie van de toekenning van de prijzen maakt het niet mogelijk één van de beide verklaringen te kiezen.
‘Excellente scholen’ als subtop
Een groot aantal basisscholen heeft een substantieel hogere toegevoegde waarde dan de hoogste van de excellente scholen (7,29), en het betreft hier niet alleen scholen in regio’s of bij koepels die niet wensten zich aan te melden (zie tabel 3; rood afgedrukte scores zijn hoger dan de hoogste quasi-cito score van de excellente scholen 544,5). Of hebben al deze scholen zich niet aangemeld? In dat laatste geval betekent het dat alleen een subtop meedoet aan de uitverkiezing van excellente scholen. Of hebben deze scholen zich wel aangemeld, maar waren zij op de andere criteria, die de commissie gebruikt zegt te hebben, slecht, en waaruit blijkt dat dan? Ook binnen specifieke zuilen bestaan scholen die beter scoren op toegevoegde waarde dan de prijswinnaar. Waarom zijn de islamitische scholen Al Wafa (Amsterdam) en El Habib (Maastricht) niet ‘excellent’ en Al Qalam (Gouda) wel? Of waarom De Peggebult in Donkerbroek (Friesland) niet ‘excellent’, maar wel twee Frieze scholen zonder positieve toegevoegde waarde?
Voor data en indicatoren, zie hier.
Interessante analyse. In elk geval voer voor debat, zeker gegeven de vraag of de overheid deze ‘excellentie’ moet en kan toetsen.
Maar ik betwijfel of de ’toegevoegde waarde’ wel een juiste maat is, zelfs om mee te vergelijken zoals hier gebeurt. Je kan statistiek (over groepen en groepsverdelingen) niet zomaar gebruiken om individuele cases mee te classificeren.
De toegevoegde waarde is immers vastgesteld op basis van statistiek; dat wil zeggen, op basis van groepsgemiddelden en groepsvarianties. Bovendien is het model waarmee de toegevoegde waarde wordt bepaald incompleet (er is onverklaarde variantie) en wordt de lineariteit van verschillende (deel)effecten verondersteld.
Zo zeggen ook de minima en maxima in Tabel 2 mij niet zoveel: met een veel grotere populatie niet-‘excellente’ scholen, zal de spreiding uiteraard veel groter zijn.
Dat neemt niet weg, dat het goed is dat dit predikaat ‘excellent’ in dit blog kritisch onder de loep genomen wordt. Dank hiervoor!
De jury heeft nadrukkelijk rekening gehouden met het aannamebeleid van een school. De Klokbeker uit Ermelo bijvoorbeeld staat bekend als expertschool voor dyslexie en trekt daardoor (aantoonbaar) veel kinderen met lees- en spellingproblemen uit de hele regio. Dat dit het CITO gemiddelde drukt, moge duidelijk zijn. Desondanks skoort de school jaarlijks boven de bovengrens die de inspectie hanteert. Met een strikter aannamebeleid zou de school nog veel hoger kunnen skoren en daarmee in het lijstje van topscholen van de heer Dronkers kunnen komen. Dat de school het niet doet en toch hoog skoort, maakt dat de resultaten als excellent worden gewaardeerd. De jury geeft hiermee blijk van een bredere kijk op resulaten in het onderwijs dan de heer Dronkers lijkt te hebben.
Ik ben het met André Guijs eens dat een expertschool voor dyslexie die toch jaarlijks boven de bovengrens van de inspectie scoort een excellente school kan zijn. Zelfs als je niet rekening kan houden met het % leerlingen met dyslexie, dan nog scoort de Klokbeker school in Ermelo bovengemiddeld, ook volgens mijn berekeningen (zie tabel 1). Menig basisschool zou willen dat zij gemiddeld over 3 jaren een toegevoegde waarde van 3 punten op de CITO-toets zouden hebben.
Daarom zou de jury er goed aan doen met dergelijk criteria (zoals %leerlingen met dyslexie) systematisch rekening te houden. Maar juist het gebrek aan systematiek en transparantie is mijn bezwaar tegen de werkwijze bij het toekennen van de excellentieprijzen door OC&W. Zijn er geen andere basisscholen dan de Klokbeker die fungeren als regionale centra voor leerlingen met problemen? Waarom zijn zij dan niet uitgekozen? Deden zij het allemaal slechter dan de Klokbeker of waren zij op andere criteria slechter dan de Klokbeker? Het blijkt niet uit de jury rapporten per school, noch uit de verantwoording van de selectie van excellente scholen. Of hebben alle andere basisscholen die fungeren als regionale centra voor leerlingen met problemen zich niet opgegeven? Wij zullen het niet weten, want de lijst met aangemelde scholen is meer geheim dan menig Haags staatsgeheim.
Door dit gebrek aan systematiek en transparantie hebben de uitgereikte excellentie-prijzen iets toevalligs, en dat vermindert de betekenis daarvan. Over dat gebrek aan systematiek en transparantie gaat mijn Stuk Rood Vlees bijdrage.
Bovendien ben ik zelf een voorstander om aantoonbare resultaten van basisscholen te betrekken in hun beoordeling, te beginnen met wereldoriëntatie. En niet alleen cognitieve resultaten, maar ook aantoonbare niet-cognitieve resultaten. Ik heb al in 1999 laten zien dat dat mogelijk zou zijn: Dronkers, J. & M. F. Warnaar, 1999. ‘Ze leren er niks maar er is een waanzinnig goede sfeer op deze school’. Over de samenhang tussen kwaliteiten van scholen’. VBSchrift 25:7-16. (http://www.eui.eu/Personal/Dronkers/articles/VBSchrift1999.pdf)