John Jerrim, Jake Anders, Silvan Häs, Nikki Shure & Laura Zieger

当国际学生评估项目(PISA)的结果每三年发布一次时,一些东亚国家/地区(如新加坡、台湾、日本、韩国)在这些排名中占据榜首也已经不足为奇了。这些国家基本上都比大多数说英语的西方国家做得好,只有一个明显的例外——加拿大。政策制定者和教育媒体并没有忽视这一点。事实上,在2015年PISA结果公布后,加拿大被描述为一个“教育超级大国”,人们用各种各样的理论(从移民的优异成绩到学生的高度积极性)来解释这一结果。事实上,经合组织PISA项目负责人安德烈亚斯•施莱歇尔 (Andreas Schleicher) 暗示,加拿大对公平的坚定承诺才是关键所在。

但是我们对加拿大PISA的结果到底有多少信心呢?

国际学生评估项目的一个关键就在于它代表了每个国家15岁的人口。如果做不到这一点,那么我们就不是在进行同类比较。例如,如果A国不成比例地排除某些学生群体,那么它就不能与B国进行公平的比较,因为B国有代表性的各个阶层的年轻人确实参加了活动。例如,如果不同国家对有特殊教育需要的儿童区别对待,就可能出现这种情况。另外,在一些国家,大量的学生和学校可能会拒绝参加这项研究。

事实是, PISA遇到的这类情况——我们认为,很可能会严重破坏加拿大的结果。

这一点在图1中可以看到,图1参考了PISA 2015技术报告中的数据。显然,加拿大的数据是惊人的。只有大约一半(53%)的加拿大15岁学生参加了PISA 2015评估。相比之下,日本和韩国超过90%的15岁青少年都参加了。

图1所示。加拿大、日本和韩国15岁学生的数量,以及PISA评估涵盖的(加权)学生数量

为什么加拿大的数据看起来如此糟糕?原因有很多。

首先,加拿大的学校比其他国家的学校更有可能拒绝参加,加拿大的国家报告在魁北克省内标记了特殊问题(其中不到一半的学校同意参加,请参见表A2)

如果某些类型的学校(例如,表现较差的学校)比其他学校(例如,表现较好的学校)参与的可能性较小,那么这可能导致加拿大PISA成绩出现上升偏差。

其次,由于特殊教育需求等问题,加拿大更有可能将学生排除在参加PISA评估之列(加拿大有7.5%的15岁学生被排除在外,而日本为2.4%,韩国则不到1%)。而这部分被排除在外的学生,很可能是表现较差的群体。

最后,即使是在那些同意参加的学校里,加拿大的学生真正参加PISA评估的可能性也比较低。具体来说,官方数据显示,约有20%的加拿大青少年在PISA测试当天缺席,而日本和韩国的这一比例不到3%。众所周知,某些类型的学生(例如,来自较低社会经济背景的较差学生)在学校的缺勤率较高,而这些特征可能与学生在PISA测试中的表现有关。因此,这似乎有可能导致结果的向上偏差。

总的来说,这是一个严重的问题,我们认为这严重削弱了我们对加拿大2015年PISA数据的信心。我们认为,加拿大在与其他 “表现良好”的国家(如日本和韩国)进行比较时存在特殊的问题,因为这些国家中真正具有代表性的学生参加了测试。

事实上,在刨根问底之后,加拿大成为“教育超级大国”的证据似乎并不特别有力。

About the author(s)

John Jerrim

John Jerrim is Professor of Education and Social Statistics in the Institute of Education, University College London. His research interests include the economics of education, access to higher education, intergenerational mobility, cross-national comparisons and educational inequalities. He has worked extensively with the OECD Programme for International Student Assessment (PISA) data, with this research reported widely in the British media.

Jake Anders

Dr. Jake Anders is Associate Professor of Educational and Social Statistics and Deputy Director (CREATE, Early Years, and Schools) in the Centre for Education Policy and Equalising Opportunities at UCL Institute of Education, University College London. Jake's research focuses on understanding the causes and consequences of educational inequality and the evaluation of policies and programmes aiming to reduce it.

Silvan Häs

Silvan is a PhD student at UCL’s Institute of Education and Marie Curie Research Fellow as part of the OCCAM network.  In his research he focusses on parental worklessness and how it affects children’s education trajectories, using PISA data and the UK’s Millennium Cohort Study.

Nikki Shure

Dr. Nikki Shure is Lecturer (Assistant Professor) of Economics at University College London Institute of Education and Research Affiliate at the Institute for Labor Economics (IZA). Nikki's research interests include the effects of childcare on maternal labor supply, non-cognitive skills and educational outcomes, gender and ambition, international comparisons of education systems, and inequalities in access to higher education and the labor market.

Laura Zieger

Laura Zieger is a PhD student at the Department of Social Science at the Institute of Education, University College London. She is part of the European Training Network OCCAM which supports her research on the statistical methodology behind international large-scale assessments.