Alles werkt ergens en niets werkt overal; de context is belangrijk
Andrés Sandoval-Hernández
Deze blog is vertaald naar het Nederlands door Emilie Franck.
Het ‘Programme for International Student Assessment’ (PISA) is een onderzoek naar de onderwijsprestaties van 15-jarige studenten, georganiseerd door de Organisatie voor Economische Samenwerking en Ontwikkeling (OESO). De resultaten van de laatste ronde van PISA worden in december 2019 gepubliceerd en we zullen er waarschijnlijk veel over horen in het nieuws en via andere media. Deze berichtgeving zal hoogstwaaschijnlijk vaak gaan over de internationale ranglijsten, of over ‘wat werkt’ in het onderwijs. Dit zijn echter niet de berichten waar we ons moeten op richten.
De PISA rankings
We zullen te horen krijgen dat land X iets boven het OESO-gemiddelde presteerde inzake wetenschap en leesvaardigheid, en rond het OESO-gemiddelde op gebied van wiskunde. We zullen te horen krijgen dat deze prestaties al dan niet een significant zijn veranderd ten opzichte van de scores die in 2015 werden behaald. We zullen ook te horen krijgen dat de prestaties van land X vergelijkbaar zijn met die van landen zoals Australië, Duitsland en Ierland. Al deze rankings zijn echter slechts vergelijkingen van ruwe scores. Ze houden geen rekening met de context van de samenlevingen waarin de onderwijssystemen functioneren. Bijvoorbeeld: in PISA 2015 waren de prestaties (op alle gebieden) van het Verenigd Koninkrijk aanzienlijk hoger dan die van de Dominicaanse Republiek. We weten echter ook dat het inkomen per hoofd van de bevolking in de Dominicaanse Republiek bijna zeven keer lager is dan dat van het Verenigd Koninkrijk. Het lijkt dus niet eerlijk om ruwe vergelijkingen van onderwijssystemen te maken wanneer ze onder zulke verschillende sociaaleconomische omstandigheden werken (een goed voorbeeld van vergelijkingen tussen onderwijssystemen die rekening houden met sociaaleconomische verschillen is hier te vinden).
Wat werkt er dan in het onderwijs?
Hetzelfde geldt voor de vraag naar ‘wat werkt’ in het onderwijs. Ruwe vergelijkingen van onderwijssystemen zijn niet erg informatief, aangezien PISA kan worden gebruikt om tegenstrijdige beweringen te staven. Voorstanders van schoolautonomie (d.w.z. directeuren en leerkrachten met meer autonomie in het beheer van de middelen van hun scholen) zullen wijzen op het geval van Estland (dat in PISA 2015 de derde plaats inneemt inzake wetenschapsprestaties) om te beweren dat dit een goede praktijk is. Aan de andere kant zullen tegenstanders van hetzelfde soort beleid Singapore (op de eerste plaats inzake wetenschaps-, leesvaardigheids- en wiskundeprestaties in PISA 2015) wijzen op het tegenovergestelde (zie figuur II.4.3 van de PISA 2015 resultaten). De resultaten van PISA 2015 kunnen ook aantonen dat leerlingen in scholen met kleinere klassen over het algemeen beter presteren (Finland heeft klassen met gemiddeld minder dan 20 leerlingen en staat op de vijfde plaats inzake wetenschapsprestaties), maar ze kunnen ook het tegendeel aantonen (Japan heeft klassen met gemiddeld meer dan 35 leerlingen en staat op de tweede plaats inzake wetenschapspres) (zie figuur II.6.16 van de PISA 2015 resultaten).
De context is van belang
De verhalen waarop we ons moeten concentreren, moeten dus verder gaan dan simplistische ruwe vergelijkingen van onderwijssystemen. ‘Hoe zijn landen gerangschikt?’ of ‘wat werkt?’ zijn niet de vragen die kunnen worden beantwoord met PISA data. Dit komt omdat – zoals we hierboven hebben aangetoond – bijna elk beleid ergens werkt en geen enkel beleid overal werkt. Dit is geen beperking van de PISA-data, maar wel van de analyses en interpretaties die we ervan maken (naast de prestaties van de leerlingen verzamelt PISA een schat aan contextuele informatie over studenten, leerkrachten, scholen en landen). Onze analyses moeten dus niet alleen gaan over welke beleidsmaatregelen of praktijken werken, maar ook over de omstandigheden waaronder deze beleidsmaatregelen of praktijken waarschijnlijk zullen werken. In het onderwijsonderzoek draait alles om de context en dus kunnen onderwijssystemen niet worden begrepen zonder rekening te houden met de context van de samenlevingen waarin ze actief zijn.
