Het recente Onderwijsverslag 2012/2013 stelt: “in het primair en voortgezet onderwijs zitten steeds minder leerlingen op een (zeer) zwakke school. (…) Vooral in het basisonderwijs, het speciaal basisonderwijs en het (voortgezet) speciaal onderwijs is het aantal zwakke en zeer zwakke scholen verminderd.” Ik betwijfel echter of dit klopt. Ik denk dat de inspectie én te soft geworden is én de verkeerde kwaliteitsindicatoren is gaan gebruiken, en dat daardoor het aantal zwakke en zeer zwakke scholen is afgenomen. Hieronder draag ik de argumenten aan voor deze stelling.
Criteria voor zwakke scholen
Hoe hard zijn de criteria van de inspectie voor de beslissing of een school zwak of zeer zwak is? Het beslisschema van de inspectie is niet simpel. Er zijn twee groepen indicatoren: leeropbrengsten en het onderwijsleerproces.
De kern van de eerste groep indicatoren is dat de resultaten van de leerlingen tenminste liggen op het niveau dat op grond van de kenmerken van de leerlingenpopulatie verwacht mag worden. Met andere woorden: de toegevoegde waarde van de betrokken school is nul of hoger (voor een eerdere discussie op dit blog over problemen rond de vaststelling van toegevoegde waarde, zie hier, hier en hier). De tweede groep indicatoren gaat over het aanbieden van leerinhouden, een taakgerichte werksfeer, duidelijk uitleggen, actief betrokken leerlingen, een goed leerlingvolgsysteem, en planmatige zorg.
Een school is ‘zeer zwak’ als zowel de leerresultaten als twee leerprocesindicatoren onvoldoende scoren. Een school is alleen ‘zwak’ als zowel de leerresultaten als één leerprocesindicator onvoldoende scoren, of alleen de leerresultaten onvoldoende scoren. De eerste groep indicatoren meet de inspectie aan de hand van examen- en toetsresultaten, de tweede groep indicatoren stelt de inspectie ter plekke vast door observatie.
Zwakke Basisscholen
Dankzij RTL Nieuws zijn de eindscores van alle basisscholen nu beschikbaar. Ik gebruik de eindscores uit 2011, 2012 en 2013 (zie de toelichting op deze scores en de berekening van toegevoegde waarde) en beperk mij hier tot het reguliere basisonderwijs. Volgens de onderwijsinspectie zijn er per 1 april 2014 nog maar negentien zeer zwakke basisscholen en is 5% van de basisscholen zwak (Onderwijsverslag 2012/2013, p. 46). Is dit een geloofwaardig resultaat?
De onderwijsinspectie noemt geen precieze maat voor wat een te lage leeropbrengst zou moeten inhouden, maar ik neem als criterium dat de toegevoegde waarde van een school substantieel negatief moet zijn. De leeropbrengst op die school moet flink lager zijn dan de gemiddelde leeropbrengst van alle scholen met dezelfde leerlingenpopulatie, gemiddeld meer dan drie punten lager op een CITO-eindtoets.[i]
Van de 6658 basisscholen waarvoor ik de toegevoegde waarde kan uitrekenen, hebben 865 scholen een negatieve toegevoegde waarde kleiner dan -3 en zouden dus volgens het beslisschema van de onderwijsinspectie alvast als zwak gekenmerkt moeten worden. Volgens deze berekening is 13% van de basisscholen zwak in plaats van de 5%, die de inspectie noemt. Alleen als wij het criterium verzwaren en een negatieve toegevoegde waarde van 4,5 punten op een CITO-eindtoets hanteren, zijn er 351 basisscholen met een te lage leeropbrengst. Dat aantal correspondeert min of meer met de 5% zwakke scholen volgens de inspectie. Let wel, een negatieve toegevoegde waarde van 4,5 punten op de CITO-toets is heel wat anders dan de eerste indicator van de inspectie voor zwakke scholen (“de resultaten van de leerlingen liggen tenminste op het niveau dat op grond van de kenmerken van de leerlingenpopulatie verwacht mag worden”).
De inspectie is dus veel te soft: een basisschool kan drie jaar achtereen een substantiële negatieve toegevoegde waarde hebben (tussen de 0 en -4.5) zonder dat het door de inspectie als zwak wordt gekenmerkt.
De toegevoegde waarde van zeer zwakke basisscholen
Maar dit resultaat hoeft niet alleen te liggen aan het softe oordeel van de inspectie. Het is ook mogelijk dat de inspectie meer gewicht geeft aan de leerprocesindicatoren dan aan de leeropbrengsten. Deze tabel geeft de toegevoegde waarde van alle negentien zeer zwakke basisscholen. Als wij een negatieve toegevoegde waarde van drie CITO-punten aanhouden als criterium voor te weinig leeropbrengst, horen zes scholen (32%) niet op deze lijst thuis. Als wij 4,5 CITO-punten aanhouden (dat criterium correspondeert met 5% zwakke scholen) dan zouden twaalf scholen (63%) niet als ‘zeer zwak’ moeten worden bestempeld.
De inspectie geeft scholen dus het predikaat ‘zeer zwak’, terwijl de negatieve toegevoegde waarde helemaal niet zo laag is. Blijkbaar hebben hier de leerprocesindicatoren een veel groter gewicht gekregen dan ze volgens het beslisschema van de onderwijsinspectie horen te hebben.
Conclusie
De vaststelling door de onderwijsinspectie van het al dan niet zwak zijn van een school is ondoorzichtig. Enerzijds lijkt het erop dat de inspectie te soft is. Het percentage zwakke scholen ligt eerder rond 13% dan 5%. Tegelijkertijd lijken indicatoren van het onderwijsleerproces het beslisproces van de inspectie te overwoekeren: scholen worden als zeer zwak bestempeld, terwijl hun negatieve toegevoegde waarde helemaal niet zo laag is. Er is dus geen reden voor blijdschap over verbeteringen in het Nederlandse onderwijs, want mogelijkerwijs hebben die zich niet voorgedaan en zijn alleen de criteria versoepeld en overwoekerd.
Deze vaststelling onderstreept nog eens het belang van kwaliteitcontrole door buitenstaanders, zoals wetenschappers. Als buitenstaanders de inspectie en sectorraden niet scherp zouden houden, zouden zij er veel gemakkelijker een potje van maken en na enige tijd de transparantie overbodig verklaren.
Deze vaststelling plaatst ook vraagtekens bij de nieuwe opzet van de beoordeling van scholen door de inspectie. De indicatoren van het onderwijsleerproces zullen dan veel belangrijker worden, en daardoor de willekeur in de beoordeling vergroten, terwijl de leeropbrengsten nog verder naar de achtergrond zullen verschuiven.
[i] Drie CITO-punten is bij toelating op verschillende vormen van voortgezet onderwijs een substantiële verschil. Dit zijn de scores verbonden aan toelating tot de verschillende schooltypen: 530-535 MAVO; 533-536 MAVO/HAVO; 538-541 HAVO; 538-545 HAVO/VWO; 545-550 VWO.
Update: 21 april, 20:00
Arnold Jonk, Hoofdinspecteur Basisonderwijs en Speciaal Onderwijs, heeft een reactie geschreven op de kritiek van Jaap.
Tom van der Meer zegt
Interessante uitdaging van het systeem.
Maar het valt me op dat in dit artikel de ’toegevoegde waarde’ uit het RTL-onderzoek als een welhaast objectief ijkpunt van de leeropbrengsten wordt neergezet. Gegeven eerdere kritiek hierop zijn daar vraagtekens bij te zetten: de onderzoeksmethode neemt selectie-effecten (bij ingang van het onderwijs) hoogstens voor een deel weg, en kan ze in incidentele gevallen zelfs statistisch vergroten doordat statistiek van groepen wordt gebruikt voor oordelen over individuele cases.
Zo beschouwd zou het oordeel van de onderwijsinspectie ook als een externe toets kunnen fungeren van de RTL-lijst ipv andersom.
alderik zegt
Geachte Heer Dronkers
Dank voor uw uiteenzetting. U gaat daarin echter uit van een aantal assumpties die nochtans omstreden zijn, te weten dat a) leeropbrengsten van scholen ueberhaupt zinvol te meten zijn, b) cito-scores daarvoor een goede maat zijn en c) dat andere kwaliteitsindicatoren (of ueberhaupt, niet-meetbare aspecten van onderwijs) van ondergeschikt belang zouden zijn.
Over a) valt eindeloos te twisten, hetgeen ook op grote schaal gebeurt. Maar zoals ook de onderwijsraad twee weken geleden echter nog eens opmerkte (en ook veel eerder al werd geconstateerd), is het meten van leerwinst en toegevoegde waarde van scholen misschien wél relevant om scholen te helpen inzicht te krijgen in wat ze kunnen verbeteren, maar laten zij geen eenduidige uitspraken toe over de kwaliteit van onderwijs op een school als geheel (Onderwijsraad 2013, 2014, Visscher, Dijkstra en Karsten 2012, Wateren 2013)
Van b) weten wij allen, u ook, dat de gemiddelde CITO-scores van scholen, al dan niet gecorrigeerd voor leerlingpopulaties, misschien in theorie wel goede voorspellers zijn van schoolprestaties, maar dat dat in de praktijk al lang niet (meer) meer het geval is. Door het grote maatschappelijke én persoonlijke belang dat aan de CITO-score is en wordt gehecht, is de uitslag ervan niet alleen ‘gewoon’ inflationair geworden (Koretz 2008a, 2008b), maar wordt er op en rond de eindtoets basisonderwijs ook veel zachte en harde fraude gepleegd. Oefenen, zoals dat op veel ‘zwakke’ scholen gebeurt levert een mogelijke leerwinst van 8 punten op, het zelf beduidend meer is dan uw 3 punten suggereert. De vraag is daarom gerechtvaardigd of de CITO-eindtoets basisonderwijs sowieso nog wel een goede maat is.
Dat is een te meer zo, doordat zij lang niet alle kerndoelen van het basisonderwijs ‘afdekt’, maar slechts de kennis en vaardigheid van een beperkt aantal (op zichzelf willekeurige) ‘cultuurtechnieken’ toetst. Behalve dat het curriculum van menige bange school daardoor verengd wordt tot “dat-wat-de-cito-toets-toetst”, is het denkbaar en zelfs aannemelijk dan andere bijdragen die scholen leveren aan de ontwikkeling van kinderen – andere dan de kwalificerende – buiten het beeld van de de door u gemeten – en daarmee ook gedefinieerde- ‘kwaliteit’ vallen (Onderwijsraad 2013, Visser 2013, Wateren 2013). Omdat onderwijs echter meer beoogt en ook beogen moet dan alleen kwalificatie (én kwantificeerbaarheid :)) kunt u zich afvragen of de door u gebruikte definitie van ‘kwaliteit’ niet veel te nauw is. In ieder geval zie ik het persoonlijk niet als ‘slecht’, maar juist als een welkome ontwikkeling dat de Inspectie van Onderwijs doende is ook andere kwaliteitsindicatoren te ontwikkelen. Allicht een idee om zelf zulke ‘zachte’ factoren wat meer mee te wegen in uw analyses?? Ouders, kinderen, docenten en alle andere slachtoffers van de ‘afrekencultuur’ in het onderwijs zullen u er dankbaar voor zijn.
m.vr.gr
Alderik Visser
referenties
Koretz, D. (2008a). Measuring Up: What Educational Testing Really Tells Us. Cambridge, Ma.: Harvard UP
Koretz. D. (2008b). Test-based educational accountability: Research evidence and implications. Zeitschrift für Pädagogik 54(6), 777-790.
Onderwijsraad (2013) Een smalle kijk op onderwijskwaliteit.
Onderwijsraad (2014)Toegevoegde waarde: een instrument voor onderwijsverbetering – niet voor beoordeling.
Visser, A (2013). Marktfilosofie en Onderwijsutopie. Leraren tussen ‘leerwereld’ en ‘systeem’. in: Kneyber, R., J. Evers (red) Het Alternatief. Weg met de afrekencultuur in het Onderwijs. Amsterdam: Boom
Visscher, A.B. Dijkstra & S. Karsten (2012). Schoolprestatiefeedback als dé sleutel tot schoolverbetering? In A.B. Dijkstra & F.J.G. Janssens (Eds.), Om de kwaliteit van het onderwijs: kwaliteitsbepaling en kwaliteitsbevordering (pp. 149-169). Den Haag: Boom Lemma.
Wateren, D. van (2013). Zin en onzin van testen, vergelijken en afrekenen. in Kneyber, R., J. Evers (red) Het Alternatief. Weg met de afrekencultuur in het Onderwijs. Amsterdam: Boom
Ryhasons zegt
Volstrekt gelijk! Lees eens het boek: how testing and choice are undermining the great american schoolsystem van HE ravitch. Het Nederlandse toezichtsysteem en politiek zijn beland in hoofdstuk 3 ongeveer en we gaan alle hoofdstukken afmaken als we doorgaan met de huidige afreken systematiek en blaming en shaming. En ondertussen brengt dit allemaal een zesjes cultuur teweeg!
wilma cornelisse zegt
Waarde Alderik Visser: dank voor uw voortreffelijke reactie; na lezing van het Onderwijsverslag 2012/2013 kan ik slechts vaststellen dat de inspectie het onderwijs benadert als een productieproces dat volgens de procescriteria van de dames/heren inspecteurs gestroomlijnd dient te worden zodat het hogere cito-scores en examencijfers produceert. Of die betere resultaten zo bereikbaar zijn, is een veronderstelling, meer niet. Het inspectie-onderwijs bestaat uit een optelsom van identieke lessen die volgens vastliggende voorschriften planmatig worden uitgevoerd, de toetsen omvatten wat schriftelijk gemakkelijk toetsbaar is; mondeling toetsen en het schrijven van een tekst zijn niet objectief te beoordelen. Dit noteert de inspectie zelf in het hoofdstuk over basisonderwijs, dat op de frommelige alinea’s over cito-score vs schooladvies na, redelijk helder en consistent is. De afdeling voortgezet onderwijs lijdt aan rommelige inconsistenties, geïllustreerd met tabellen vol gegevens die onmogelijk representatief kunnen zijn en niet nader beschreven zaken meten. Omdat er – merken de inspecteurs op – onder vo-leraren weinig draagvlak bestaat voor planmatige aanpak en registratie van vorderingen, schuift de inspectie de opdracht dit alles in te voeren, door naar de besturen. Tweederde van hun scholen/opleidingen vertoont op dit punt nog tekortkomingen.
De grafiek die zou moeten aantonen dat Nederlandse kinderen collectief minder gemotiveerd voor onderwijs zijn, geeft ook aan dat heel veel Aziatische kinderen naar de volgende wiskundeles uitzien en graag over wiskunde lezen. De OESO die voor deze peiling tekent, zou zich kunnen afvragen of de onderzoekers niet allereerst in kaart hebben gebracht dat kinderen in West-Europa en de VS minder geneigd zijn sociaal wenselijke antwoorden te geven dan Aziatische. Zeer wel mogelijk dat Nederland op dit punt koploper is.
@havoplus zegt
Zo mooi en goed onderbouwd als Alderik Visser zouden we het niet kunnen zeggen. Dank aan Alderik voor deze reactie. Wij scharen ons helemaal achter jou!
Hannes Minkema zegt
Sorry dat ik het durf te vragen, maar is het niet eens tijd voor een kosten-batenanalyse van de exploderende toets- en afrekenbureaucratie? Wat zijn de werkelijke materiële en immateriële kosten van het geheiligde geloof in meetbare opbrengsten, de bemoeienis van ambtenaren, inspecteurs en onderzoekers, en van de feedbacklus naar de scholen, in tijd, geld, energie, impact op de onderwijskwaliteit in brede zin? Wat zijn de feitelijke opbrengsten van al dat modieuze getoets en het geïnspecteer? Hoe moeten we de onbedoelde, maar o zo feitelijke neveneffecten meewegen? Bestaat er wel een manier om kosten en opbrengsten tegen elkaar af te wegen? En renderen de kosten, of liever de publieke uitgaven, op een andere manier niet méér?
Mogen deze vragen eigenlijk wel worden gesteld, of rust er een taboe op? Stellen de betrokkenen ze zelf wel eens? Zouden die een antwoord willen?
Cees van der kraan zegt
Sinds wanneer kunnen wetenschappers in het algemeen kwaliteit borgen?Typisch geval van traditioneel denken hier. Focus op verkeerde ‘begin’. Wat is belangrijker? Een juiste beoordeling van een zwakke school (= institutie) of het ontwikkelen van het talent op elke school. Maakt het ‘ zeker weten’ dat een school zwak is een verschil als het om de leerlingen gaat? Laten we daar ons op focussen ipv op de ” juiste kwaliteitsborging door wetenschappers”.
Jaap Dronkers zegt
Het criterium “de resultaten van de leerlingen liggen tenminste op het niveau dat op grond van de kenmerken van de leerlingenpopulatie verwacht mag worden” is niet door mij geformuleerd, maar door de inspectie. Het enige wat ik in dit blog heb gedaan is een invulling aan dit criterium te geven en die invulling vervolgens afgezet tegen de claim van de onderwijsinspectie dat nog maar slechts 5% van de scholen volgens eigen criteria (zeer) zwak zou zijn.
Ik vind het prima andere criteria te nemen, bijvoorbeeld, naast taal- en rekenen ook wereldorientatie, de adviezen van de basisschool of het succes van de leerlingen in het voortgezet onderwijs (en deze criteria zouden ook gebruikt kunnen worden als het onderwijsveld zich niet daartegen zelf zou verzetten).
Maar ook als wij deze andere criteria gebruiken, houden wij het zelfde probleem: “op grond van welke criteria komt de onderwijsinspectie tot het oordeel (zeer) zwakke school, en is de claim van maar 5% zwakke scholen dus terecht?”. Want ook bij deze andere criteria kunnen er scholen zijn die onderpresteren, en de verschillende criteria geven niet heel verschillende uitkomsten (zie http://www.eui.eu/Personal/Dronkers/Lecture/BON.pdf). Of men moet apriori van mening zijn dat er geen slechte scholen bestaan, maar dat lijkt mij nogal optimistisch en naïef.
Het vermijden van slechte scholen is niet onbelangrijk voor ouders en kinderen, want schoolkeuze is een van de invloedrijkste beslissingen van ouders in de onderwijsloopbaan van hun kinderen. Het bestrijden van slechte scholen heeft niets met “afrekencultuur” te maken, maar zou juist een centraal doel moeten zijn van de hele onderwijsprofessie: niet in de eerste plaats van de minister of de inspectie, maar juist van onderwijsgevenden.
Uiteraard betekent dit streven slechte scholen uit te bannen niet dat men het onderwijs moet volhangen met toetsen, inspecties en prijzen voor excellente scholen (http://stukroodvlees.nl/opleiding/excellente-en-niet-excellente-basisscholen-vergeleken/). Ik heb dat keer op keer betoogd, opnieuw aan het eind van dit blog. Inderdaad moet een goede afweging gemaakt worden tussen voor- en nadelen, tussen de belangen van ouders en leerlingen en de belangen van onderwijsgevenden. Maar om een dergelijke afweging te maken is allereerst transparantie nodig, en daar gaat dit blog over.
alderik zegt
Geachte heer Dronkers
Dank voor uw uitgebreide reactie. Hoewel ik vermoed dat we dezelfde doelen dienen (goed onderwijs), vrees ik ook dat we een beetje langs elkaar heen praten.
Om een goede afweging te maken tussen allerlei belangen in het onderwijs, schrijf u, moet er eerst ’transparantie’ geschapen worden. Terwijl u enerzijds suggereert dat statistiek (uw statistiek) die maximale doorzichtigheid kan bieden, zegt u tegelijkertijd dat andere statistiek (van anderen…) te weinig streng of geldig zou zijn. De waarheid is natuurlijk dat álle statistiek een cijfermatige representatie is van aspecten van een meer of minder complexe werkelijkheid, waar eindeloos veel relevante variabelen niet in verdisconteerd zijn (en meetfouten op de koop toe worden genomen….). Ook uw ’transparantie’ is dus noodzakelijk een benadering van een utopisch ideaal.
Welke benadering vanuit meetkundig opzicht meer valide is (u geeft wel degelijk een waardeoordeel over de inspectie…) is niet aan mij te beoordelen. Waar het mij en vele van mijn collega’s in het onderwijs om gaat, is dat deze statistische, ’transparante’ benadering van onderwijs a) geen recht doet aan de complexiteit en de kwetsbaarheid van processen op de werkvloer, maar daar b) wel direct en indirect, en niet altijd een gunstig effect op heeft. ‘Gevangen’ in beleids- en toezichtskaders waarin de papieren werkelijkheid van uw soort van statistiek handelen heel direct beperkt en bepaalt (of dat geacht wordt te doen) krijgen álle docenten en álle kinderen (en dus niet alleen op die paar ‘slechte scholen’) steeds minder ademruimte. U wast uw handen in uw repliek in onschuld, maar u bent met uw beroemd-beruchte ‘lijstjes’ daar wel degelijk zelf ook debet aan.
Welwillend suggereert u ook andere kwaliteitsindicatoren in uw berekeningen mee te willen nemen: wereldoriëntatie, schoolsucces in het vo., enz. Zelf dacht ik in mijn oorspronkelijke reactie aan nog ‘zachtere’ zaken, zoals pedagogisch klimaat, breedte en diepte van het curriculum, sociaal en emotioneel welbevinden, democratisch gehalte en nog zo wat zaken die onderwijs in de volste zin van dat woord pedagogisch, en dus niet alleen efficiënt of effectief maken. Een waarachtig ’transparant’ beoordelingskader zou al zulke zaken en nog meer moeten meenemen in haar weging van docenten en/of hun scholen, en daarbij bovendien niet alleen (of ueberhaupt) aan ‘ranking’ moeten doen, maar aan toegespitste, kwaliteitsgerichte feedback. Ik vermoed echter dat zo’n soort van kwaliteitskader niet te vormen is met louter statistische ‘schrijftafeldaden’, maar alleen met en door fysiek contact met scholen en docenten. In dat opzicht verkies ik voorlopig zelfs nog het ‘softe’ beleid van de Schoolinspectie boven de papieren terreur van uw ’transparantie’.
met vriendelijke groet
Alderik Visser
Ryhasons zegt
Alderik, wederom volstrekt gelijk! En heer Dronkers wat vindt u van de inhoud van het boek: how testing and choice are undermining the great american schoolsystem van H.E. Ravitch? Zij was destijds betrokken bij a nation at risk en heeft na jarenlang blaming en shaming en raking te hebben gepropageerd ook teruggekomen hierop. Want igenscijnlijk alles richten op toetsing leverde ook daar absoluut niets op, het tegendeel Amerika zakte nog lager op de wereldranglijst. Het werken met dit soort lijstjes levert rivaliteit op en uitstoot van zogenaamd moeilijke of lastige jongeren die het ‘rendement’ van de school drukken. Het rendement waarvan? Heeft u wel eens gezien hoe de berekeningen onder en bovenbouw en zitten blijven in elkaar zitten? En heeft u wel eens gevraagd aan een directeur van een basisschool hoe het komt dat de leerlingen opeens zo opgeschoven zijn bij de cito toets? Ik deed dat vele malen en vernam dat men intens daarop leerlingen had voorbereid. Ik maakte dit overigens zelf ook mee als directeur: trainen trainen trainen op toetsen voor bbl leerlingen in het vmbo en ja hoor de behaalde resultaten werden beter van die toets! Leerlingen echter versmalden hun blik en hun ondernemerschap, klassikaal onderwijs een zesjescultuur als gevolg…. Tja…. Dat is nu de landelijke discussie waarom presteren nederlandse jongeren zo laag in het onderwijs…. Haal die lijstjes weg en ontketen een vlam in jongeren. En gebruik toetsen vooral om te bezien hoe een populatie het ongeveer doet tov. Een landelijk europees of wereldgemiddelde, en gebruik die toetsen vooral op een diagnostische wijze. Ondernemend leren ondernemend en lerend onderwijs waarbij docenten en scholen de ruimte krijgen. Na jaren beoordeelde u plots mijn school als goede school in een slechte wijk omdat nu rekening door u was gehouden met de input van de jongeren, waarvan er erg veel nieuwkomers zijn, met zeer korte tijd in Nederland en jarenlang legde u die langs dezelfde lat…. Nu legde u in ieder geval de instroom-populatie langs een ander afreken schema…. Van onvoldoende naar een 10! Tja wat meet je en waarom werken we met blaming en shamingslijstjes?
Passend onderwijs…..en geen uitstoot mechanismes, als je bovenkantscholen hebt dan heb je ook onderkantscholen…
Hannes Minkema zegt
“Als je bovenkantscholen hebt, dan heb je ook onderkantscholen.”
Ryhasons verwoordt hier een kernprobleem van de Inspectie- annex Dronkers-aanpak. Dat luidt: het gestelde doel kan nooit behaald worden.
In zijn repliek formuleert Dronkers dat doel als “het streven slechte scholen uit te bannen”. Blijkbaar gelooft hij dat zijn Toegevoegde Waarde-maat die slechte scholen detecteert. De Inspectie gelooft dat ook van hún kostbare wichelroede. Dat hun lijstjes maar weinig overeenstemmen (een flink aantal false positives en false negatives) zou tot een zekere bescheidenheid kunnen nopen. Maar nee, liever neemt de een de ander een bepaald soort maat en tamboereert op het eigen gelijk. Van de ander valt een soortgelijke reactie te verwachten.
Afgezien van de verschillen in wichelroedes en van hun dubieuze detectievermogen is het probleem dat hun beider doel niet bereikt kán worden. Je kunt geen ‘slechte scholen uitbannen’ zolang het bestaan daarvan door de gebruikte methode wordt gedicteerd.
En dat laatste staat vast: zowel de Inspectie als Dronkers bouwen hun definitie van ‘slechte’ ofwel ‘zeer zwakke’ scholen met behulp van een relatief criterium: dat zijn de allerzwakste scholen van de populatie: een nogal willekeurige X citopunten onder het populatiegemiddelde. Als die allerzwakste scholen zich verbeteren, zijn weer ándere scholen de ‘allerzwakste’. En zo verder. Voldoet het oude criterium even niet meer, omdat er verdacht weinig ‘zeer zwakke’ scholen overblijven, dan zijn we niet blij dat ze ‘uitgebannen’ zijn, maar we noemen het criterium dan ‘slap’ en maken ons gewraakte vangnet groter. Waarvan akte.
Het is in wezen arbitrair welke grens dan precies wordt gelegd om ‘de allerzwaksten’ aan te wijzen. Of dat nu op 3 of 4,5 scorepunt wordt bepaald: altijd zal er een categorie scholen zijn die de een, twee of drie procent zwakste uitmaken; altijd scholen die twee standaarddeviaties onder het populatiegemiddelde scoren. Daar is, statistisch en in de realiteit, niet aan te ontkomen.
Zo houden Inspecteurs altijd werk, zou een cynicus kunnen opmerken. Want het gestelde doel, ‘uitbannen’, is een theoretische en praktische onmogelijkheid.
Het is als een leraar die zijn drie taalzwakste leerlingen per definitie een ’taalachterstand’ aanpraat. Die kunnen zich verbeteren, en in hun toetsscores de op drie-tot-en-met-vijf-na zwakste leerlingen passeren. Die laatsten vallen dan ineens in de categorie ’taalachterstand’, al presteren ze op hetzelfde niveau als voorheen. De leraar kan zich koortsachtig inspannen om al zijn leerlingen van hun vermeende taalachterstand te genezen, maar helaas, hij is slachtoffer van zijn eigen definitie en gedoemd tot het eeuwig aanpraten van ’taalachterstanden’. Arme leerlingen.
Maar wie bovenkantleerlingen heeft, heeft vanzelf ook onderkantleerlingen. Een peperduur en zeer invasief systeem optuigen om die paar onderkantleerlingen te detecteren en hooguit cosmetisch te verwijderen, lijkt me op gespannen voet staan met met goed onderwijs en rationeel onderwijsbeleid. Zoals gezegd: daar mag wel eens een serieuze kosten-baten-analyse overheen.
Jozef Kok zegt
“Kwaliteitscontrole door wetenschappers”? Een beetje roeren in datasets zonder enige pedagogische theorie, laat staan praktijk? Construeer eerst even een pedagogisch-onderwijskundige theorie over hoe kinderen leren en zich ontwikkelen. En wat de mogelijke rollen van volwassenen daarbij zijn. Iets met uitdaging, vertrouwen en feedback. Big data analyseren zonder pedagogische theorie leidt tot betekenisloze uitspraken.
Armen Hakhverdian zegt
Het lijkt me dat er verschillende theorieën bestaan in de pedagogiek en onderwijssociologie over de rol en impact van leraren, scholen, achtergrond etc. Anders kun je namelijk die ’toegevoegde waarde’ uberhaupt niet uitrekenen.
Jaap Dronkers zegt
Ik ben het met Hannes Minkema eens dat het grote bezwaar van toegevoegde waarde is dat het een relatieve maat is. Daarom ben ik al lang bezig een absolute kwaliteitsmaat te ontwikkelen (zie http://www.eui.eu/Personal/Dronkers/Lecture/BON.pdf). Voor het voortgezet onderwijs is mij dat gelukt door aan te sluiten bij de kwaliteitsmaat van het einddiploma (http://www.schoolcijferlijst.nl/Toelichting_2013.pdf). Voor het basisonderwijs bestaat een dergelijke maat niet. Daarom heb ik in mijn blog het over drie punten op de CITO toets als maat voor substantiële negatieve toegevoegde waarde, en niet over standaarddeviatie (zie voetnoot 1).
Ik heb al in 1999 laten zien dat de ‘zachtere’ doelstellingen die Alderik Visser noemt zeker bij een kwaliteitsmeting van scholen betrokken kunnen worden (http://www.eui.eu/Personal/Dronkers/articles/VBSchrift1999.pdf ). Het wachten is nu op het onderwijsveld dat die mogelijkheid ook te realiseren.