John Jerrim, Jake Anders, Silvan Häs, Nikki Shure y Laura Zieger.

Este artículo fue traducido al español por Elisa Salinas.

Cuando cada tres años se publican los resultados del Programa para la Evaluación Internacional de Estudiantes (PISA[1]), es ahora común que un grupo de países del este asiático (por ejemplo, Singapur, Taiwán, Japón y Corea del Sur) ocupen los primeros puestos de estos rankings. Estas naciones típicamente superan sustancialmente a la mayoría de las naciones occidentales de habla inglesa, con una importante excepción – Canadá. Esto no ha pasado desapercibido para los encargados de las políticas públicas y los medios de comunicación especializados en educación. De hecho, después de la publicación de los resultados de PISA 2015, Canadá fue descrito como una «superpotencia educativa» y varias teorías se presentaron para explicar este resultado -desde el alto rendimiento académico de los inmigrantes hasta los altos niveles de motivación de los estudiantes. De hecho, Andreas Schleicher -el hombre que ha liderado el programa PISA de la OCDE- sugiere que el fuerte compromiso con la equidad en Canadá es la clave.

Pero, ¿cuánta confianza podemos tener realmente en los resultados de Canadá en PISA?

Uno de los pilares centrales de PISA es su representatividad de la población de 15 años de cada país. Si esto no se logra, entonces no estamos comparando elementos similares. Por ejemplo, si el país A excluyera desproporcionadamente algunos grupos de estudiantes, no podría compararse equitativamente con el país B, en el que sí participó una muestra representativa de jóvenes. Esta situación podría surgir si, por ejemplo, los niños con necesidades educativas especiales (NEE) son identificados y tratados de manera diferente en los distintos países. Asimismo, en algunos países, un número significativo de estudiantes y escuelas puede negarse a participar en el estudio.

La realidad es que esto es lo que sucede en PISA – y creemos que podría debilitar sustancialmente los resultados canadienses.

Este punto se ilustra en la Figura 1, que se basa en las cifras presentadas en el Informe Técnico de PISA 2015. Las cifras correspondientes a Canadá llaman evidentemente la atención. Sólo alrededor de la mitad (53%) de los jóvenes de 15 años en Canadá están representados por la evaluación PISA 2015 en comparación con más del 90% de los jóvenes de 15 años en Japón y Corea del Sur.

Figura 1. Cantidad de estudiantes de 15 años en Canadá, Japón y Corea del Sur y cantidad (ponderada) representada en PISA. Fuente.

¿Por qué se ven tan mal estas cifras para Canadá? Hay una mezcla de razones.

En primer lugar, las escuelas de Canadá fueron más propensas a negarse a participar que las de otros países y en el informe nacional canadiense se señalan cuestiones concretas dentro de Quebec, en el que menos de la mitad de las escuelas contactadas aceptaron participar (véase el Cuadro A2). Si ciertos tipos de escuelas -por ejemplo, las que tienen alumnos de bajo rendimiento- tienen menos probabilidades de participar que otras -por ejemplo, las que tienen un rendimiento más alto-, esto podría dar lugar a un sesgo ascendente en los resultados de Canadá en PISA.

En segundo lugar, Canadá fue mucho más propenso a excluir a estudiantes de la evaluación PISA debido a cuestiones como las necesidades educativas especiales (en Canadá se excluyó al 7,5% de los jóvenes de 15 años, frente al 2,4% en Japón y a menos del 1% en Corea del Sur), un grupo que probablemente tenga un rendimiento bajo.

Por último, los estudiantes en Canadá fueron menos propensos a responder la evaluación PISA, incluso en las escuelas que aceptaron participar. Específicamente, las cifras oficiales muestran que casi el 20% de los adolescentes canadienses fueron contados como ausentes el día de la prueba PISA en comparación con menos del 3% en Japón y Corea del Sur. Es sabido que ciertos tipos de estudiantes tienen mayores tasas de ausentismo escolar (por ejemplo, los de menor rendimiento y contexto socioeconómicos bajo), y es probable que estas características estén asociadas con el rendimiento en la prueba PISA. Por lo tanto, parece probable que esto genere un sesgo alcista en los resultados.

En conjunto, esto configura un problema significativo, que creemos socava significativamente nuestra confianza en los datos de PISA 2015 para Canadá. Creemos que existen problemas particulares a la hora de establecer comparaciones con otros países de «alto rendimiento» como Japón y Corea del Sur, en los que participó una muestra representativa de estudiantes. De hecho, mirando más allá de la superficie, la evidencia de que Canadá es una «superpotencia educativa» no parece ser particularmente fuerte.


[1] Por su sigla en inglés Programme for International Student Assessment

About the author(s)

John Jerrim

John Jerrim is Professor of Education and Social Statistics in the Institute of Education, University College London. His research interests include the economics of education, access to higher education, intergenerational mobility, cross-national comparisons and educational inequalities. He has worked extensively with the OECD Programme for International Student Assessment (PISA) data, with this research reported widely in the British media.

Jake Anders

Dr. Jake Anders is Associate Professor of Educational and Social Statistics and Deputy Director (CREATE, Early Years, and Schools) in the Centre for Education Policy and Equalising Opportunities at UCL Institute of Education, University College London. Jake's research focuses on understanding the causes and consequences of educational inequality and the evaluation of policies and programmes aiming to reduce it.

Silvan Häs

Silvan is a PhD student at UCL’s Institute of Education and Marie Curie Research Fellow as part of the OCCAM network.  In his research he focusses on parental worklessness and how it affects children’s education trajectories, using PISA data and the UK’s Millennium Cohort Study.

Nikki Shure

Dr. Nikki Shure is Lecturer (Assistant Professor) of Economics at University College London Institute of Education and Research Affiliate at the Institute for Labor Economics (IZA). Nikki's research interests include the effects of childcare on maternal labor supply, non-cognitive skills and educational outcomes, gender and ambition, international comparisons of education systems, and inequalities in access to higher education and the labor market.

Laura Zieger

Laura Zieger is a PhD student at the Department of Social Science at the Institute of Education, University College London. She is part of the European Training Network OCCAM which supports her research on the statistical methodology behind international large-scale assessments.