John Jerrim, Jake Anders, Silvan Häs, Nikki Shure und Laura Zieger

Dieser Blog wurde von Silvan Häs ins Deutsche übersetzt.

Wenn die Ergebnisse der PISA Studie alle drei Jahre veröffentlicht werden, ist es heute keine Überraschung mehr, dass eine Reihe ostasiatischer Länder (z.B. Singapur, Taiwan, Japan, Südkorea) die Spitzenplätze einnehmen. Diese Länder schneiden in der Regel deutlich besser ab als die meisten englischsprachigen westlichen Länder, mit einer wichtigen Ausnahme – Kanada. Dies ist bei Politik und Bildungsmedien nicht unbemerkt geblieben. Tatsächlich wurde Kanada nach der Veröffentlichung der PISA 2015-Ergebnisse als „Bildungs-Supermacht“ bezeichnet, wobei verschiedene Theorien (von der starken akademischen Leistung von Einwanderern bis hin zu einem hohen Grad an Schülermotivation) zur Erklärung dieses Ergebnisses angeführt wurden. Tatsächlich behauptete Andreas Schleicher – der Mann, der das PISA-Programm der OECD geleitet hat -, dass das starke Engagement für Gerechtigkeit in Kanada der Schlüssel sei.

Aber in wie weit können wir den kanadischen PISA Ergebnissen trauen?

Eine der wichtigsten Säulen der PISA Studie ist, dass die Studie repräsentativ für die 15-jährige Bevölkerung jedes Landes sein soll. Wenn dies nicht der Fall ist, dann vergleichen wir Birnen mit Äpfeln. Wenn beispielsweise das Land A einige Gruppen von Schülern überproportional ausschließt, dann kann es nicht fair mit dem Land B verglichen werden, in dem ein repräsentativer Querschnitt der jungen Menschen tatsächlich teilgenommen hat. Diese Situation könnte eintreten, wenn beispielsweise Kinder mit besonderem Förderungsbedarf identifiziert und in verschiedenen Ländern unterschiedlich behandelt werden. Alternativ kann in einigen Ländern eine beträchtliche Anzahl an Schülern und Schulen die Teilnahme an der Studie verweigern.

Die Realität ist, dass dies bei PISA geschieht – und wir glauben, dass dies die kanadischen Ergebnisse erheblich beeinträchtigen könnte.

Dieser Punkt ist in Abbildung 1 dargestellt, die sich auf Zahlen aus dem PISA 2015 technischen Bericht stützt. Die Zahlen für Kanada sind bemerkenswert: Nur etwa die Hälfte (53%) der 15-Jährigen in Kanada wurden im Rahmen der PISA 2015 Bewertung erfasst. Im Vergleich dazu sind es in Japan und Südkorea mehr als 90% der 15-Jährigen.

Abbildung 1. Die Zahl der 15-Jährigen in Kanada, Japan und Südkorea und die (gewichtete) Zahl der im Rahmen der PISA-Bewertung erfassten Personen. Ursprung.

Warum sehen diese Zahlen für Kanada so schlecht aus? Es gibt eine Vielzahl an Gründen.

Erstens haben sich Schulen in Kanada eher geweigert teilzunehmen, als Schulen in anderen Ländern, wobei der kanadische Länderbericht besondere Probleme in der Provinz Quebec feststellt (wo weniger als die Hälfte der Schulen der Teilnahme zugestimmt hat, siehe Tabelle A2). Wenn es unwahrscheinlicher ist, dass bestimmte Schultypen (z.B. mit leistungsschwächeren Schülern) teilnehmen als andere (z.B. leistungsstärkere Schulen), dann könnte dies zu einer Verzerrung der kanadischen PISA-Ergebnisse führen.

Zweitens war es viel wahrscheinlicher, dass Kanada Schüler aufgrund von Faktoren wie besonderem Förderungsbedarf von der PISA-Studie ausschloss (7,5% der 15-Jährigen wurden in Kanada ausgeschlossen, verglichen mit 2,4% in Japan und weniger als 1% in Südkorea) – eine Gruppe, die wahrscheinlich sehr leistungsschwache Schüler sind.

Drittens war es in Kanada weniger wahrscheinlich, dass Schüler tatsächlich an der PISA-Studie teilnehmen – selbst in Schulen, die sich bereit erklärten, daran teilzunehmen. Konkret zeigen die offiziellen Zahlen, dass fast 20% der kanadischen Teenager am Tag des PISA-Tests als abwesend gezählt wurden, verglichen mit weniger als 3% derjenigen in Japan und Südkorea. Es ist bekannt, dass bestimmte Schülertypen (z.B. leistungsschwächere Schüler mit niedrigerem sozioökonomischem Hintergrund) häufiger in der Schule fehlen und dass diese Merkmale wahrscheinlich mit der Leistung beim PISA-Test in Verbindung stehen. Es scheint daher wahrscheinlich, dass dies zu einer Verzerrung der Ergebnisse nach oben führen würde.

Zusammengenommen schwächt dies unserer Meinung nach das Vertrauen in die PISA 2015-Daten für Kanada erheblich. Wir glauben, dass es besonders problematisch ist, Vergleiche mit anderen „leistungsstarken“ Ländern – Japan und Südkorea in unserem Beispiel – anzustellen, in denen ein wirklich repräsentativer Querschnitt von Kindern teilgenommen hat.

Tatsächlich scheinen die Beweise dafür, dass Kanada eine „Bildungs-Supermacht“ ist, auf den zweiten Blick überhaupt nicht besonders stark zu sein.

About the author(s)

John Jerrim

John Jerrim is Professor of Education and Social Statistics in the Institute of Education, University College London. His research interests include the economics of education, access to higher education, intergenerational mobility, cross-national comparisons and educational inequalities. He has worked extensively with the OECD Programme for International Student Assessment (PISA) data, with this research reported widely in the British media.

Jake Anders

Dr. Jake Anders is Associate Professor of Educational and Social Statistics and Deputy Director (CREATE, Early Years, and Schools) in the Centre for Education Policy and Equalising Opportunities at UCL Institute of Education, University College London. Jake's research focuses on understanding the causes and consequences of educational inequality and the evaluation of policies and programmes aiming to reduce it.

Silvan Häs

Silvan is a PhD student at UCL’s Institute of Education and Marie Curie Research Fellow as part of the OCCAM network.  In his research he focusses on parental worklessness and how it affects children’s education trajectories, using PISA data and the UK’s Millennium Cohort Study.

Nikki Shure

Dr. Nikki Shure is Lecturer (Assistant Professor) of Economics at University College London Institute of Education and Research Affiliate at the Institute for Labor Economics (IZA). Nikki's research interests include the effects of childcare on maternal labor supply, non-cognitive skills and educational outcomes, gender and ambition, international comparisons of education systems, and inequalities in access to higher education and the labor market.

Laura Zieger

Laura Zieger is a PhD student at the Department of Social Science at the Institute of Education, University College London. She is part of the European Training Network OCCAM which supports her research on the statistical methodology behind international large-scale assessments.