John Jerrim, Jake Anders, Silvan Häs, Nikki Shure & Laura Zieger

Когда результаты Международной программы по оценке образовательных достижений учащихся (PISA) публикуются каждые три года, уже неудивительно, что в этих рейтингах доминируют страны Восточной Азии (например, Сингапур, Тайвань, Япония, Южная Корея). Эти страны, как правило, показывают значительно лучший результат, чем большинство англоязычных западных стран, за одним важным исключением — Канады. Это не осталось незамеченным политиками и образовательными СМИ. Действительно, после опубликования результатов PISA 2015 года Канада была охарактеризована как «образовательная сверхдержава» с различными теориями (от высоких академических показателей иммигрантов до высокого уровня мотивации школьников), выдвинутыми для объяснения этого результата. Андреас Шлейхер — человек, возглавлявший программу PISA, — говорит о том, что ключевое значение имеет решительная приверженность к равенству в Канаде.

Но насколько мы можем доверять канадским результатам программы PISA?

Один из ключевых элементов PISA заключается в том, что он должен представлять 15-летнее население каждой страны. Если этого не удастся достичь, то мы не будем сравнивать подобное с подобным. Например, если страна Х несоразмерно исключает некоторые группы учащихся, то это не может быть справедливо по отношению к стране Y, где реально участвовала репрезентативная группа школьников. Такая ситуация может возникнуть, если, например, в разных странах дети с особыми образовательными потребностями (ООП) будут определены и их данные будут анализироваться по-разному. С другой стороны, в некоторых странах значительное число учащихся и школ могут отказаться от участия в исследовании.

Реальность такова, что именно это и происходит в PISA, и мы считаем, что это может поставить под сомнение результаты, достигнутые Канадой.

Мы проиллюстрировали на Рисунке 1 цифры, приведенные в техническом отчете PISA за 2015 год. Очевидно, что цифры по Канаде поражают. Данные только около половины (53%) 15-летних канадских школьников были проанализированы в рамках PISA 2015 года. Для сравнения, в Японии и Южной Корее этот показатель составляет более 90%.

Рисунок 1. Количество 15-летних школьников в Канаде, Японии и Южной Корее и (взвешенное) число принявших участие в тестировании PISA. Источник

Почему эти цифры по Канаде выглядят так плохо? Причин тому множество

Во-первых, школы в Канаде с большей вероятностью, чем школы в других странах, отказывались от участия в программе, причем в канадском национальном докладе отмечались конкретные проблемы в Квебеке (менее половины приглашенных школ согласились участвовать в программе, см. Таблицу А2). Если некоторые типы школ (например, школы с низкой успеваемостью учащихся) с меньшей вероятностью принимают участие в тестировании, чем другие (например, школы с более высокой успеваемостью), то это может привести к смещению канадских результатов программы PISA в сторону завышения.

Во-вторых, Канада в большей степени исключала учащихся из процесса тестирования PISA из-за таких проблем, как особые образовательные потребности (7,5% из 15-летних детей были исключены в Канаде по сравнению с 2,4% в Японии и менее 1% в Южной Корее) — группы, которая, вероятно, демонстрирует очень низкую успеваемость.

Наконец, учащиеся в Канаде с меньшей вероятностью проходили тестирование PISA даже в тех школах, которые согласились принять участие в программе. В частности, официальные данные показывают, что почти 20% канадских подростков отсутствовали в день проведения теста PISA по сравнению с менее чем 3% отсутствовавших школьников в Японии и Южной Корее. Известно, что некоторые категории учащихся (например, учащиеся с более низкой успеваемостью из более низкого социально-экономического положения) имеют более высокие показатели прогулов в школе, и эти характеристики, скорей всего, будут связаны с результатами теста PISA. Поэтому, вероятно, это приведет к смещению результатов в сторону завышения.

В совокупности это создает серьезную проблему, которая, по нашему мнению, значительно подрывает нашу уверенность в данных PISA 2015 года по Канаде. Поэтому мы считаем, что существуют особые проблемы при проведении сравнений Канады с другими «высокоэффективными» странами – Японией и Южной Кореей в нашем примере, в которых приняли участие действительно репрезентативные группы школьников.

Действительно, после проведения анализа данных по Канаде, доказательства того, что она является «образовательной сверхдержавой», как представляется, совсем не столь сильны.

About the author(s)

John Jerrim

John Jerrim is Professor of Education and Social Statistics in the Institute of Education, University College London. His research interests include the economics of education, access to higher education, intergenerational mobility, cross-national comparisons and educational inequalities. He has worked extensively with the OECD Programme for International Student Assessment (PISA) data, with this research reported widely in the British media.

Jake Anders

Dr. Jake Anders is Associate Professor of Educational and Social Statistics and Deputy Director (CREATE, Early Years, and Schools) in the Centre for Education Policy and Equalising Opportunities at UCL Institute of Education, University College London. Jake's research focuses on understanding the causes and consequences of educational inequality and the evaluation of policies and programmes aiming to reduce it.

Silvan Häs

Silvan is a PhD student at UCL’s Institute of Education and Marie Curie Research Fellow as part of the OCCAM network.  In his research he focusses on parental worklessness and how it affects children’s education trajectories, using PISA data and the UK’s Millennium Cohort Study.

Nikki Shure

Dr. Nikki Shure is Lecturer (Assistant Professor) of Economics at University College London Institute of Education and Research Affiliate at the Institute for Labor Economics (IZA). Nikki's research interests include the effects of childcare on maternal labor supply, non-cognitive skills and educational outcomes, gender and ambition, international comparisons of education systems, and inequalities in access to higher education and the labor market.

Laura Zieger

Laura Zieger is a PhD student at the Department of Social Science at the Institute of Education, University College London. She is part of the European Training Network OCCAM which supports her research on the statistical methodology behind international large-scale assessments.