¿Es Canadá realmente una «superpotencia» educativa? La evidencia no es tan clara como se podría pensar…….

John Jerrim, Jake Anders, Silvan Häs, Nikki Shure y Laura Zieger.

Este artículo fue traducido al español por Elisa Salinas.

Cuando cada tres años se publican los resultados del Programa para la Evaluación Internacional de Estudiantes (PISA[1]), es ahora común que un grupo de países del este asiático (por ejemplo, Singapur, Taiwán, Japón y Corea del Sur) ocupen los primeros puestos de estos rankings. Estas naciones típicamente superan sustancialmente a la mayoría de las naciones occidentales de habla inglesa, con una importante excepción – Canadá. Esto no ha pasado desapercibido para los encargados de las políticas públicas y los medios de comunicación especializados en educación. De hecho, después de la publicación de los resultados de PISA 2015, Canadá fue descrito como una «superpotencia educativa» y varias teorías se presentaron para explicar este resultado -desde el alto rendimiento académico de los inmigrantes hasta los altos niveles de motivación de los estudiantes. De hecho, Andreas Schleicher -el hombre que ha liderado el programa PISA de la OCDE- sugiere que el fuerte compromiso con la equidad en Canadá es la clave.

Pero, ¿cuánta confianza podemos tener realmente en los resultados de Canadá en PISA?

Uno de los pilares centrales de PISA es su representatividad de la población de 15 años de cada país. Si esto no se logra, entonces no estamos comparando elementos similares. Por ejemplo, si el país A excluyera desproporcionadamente algunos grupos de estudiantes, no podría compararse equitativamente con el país B, en el que sí participó una muestra representativa de jóvenes. Esta situación podría surgir si, por ejemplo, los niños con necesidades educativas especiales (NEE) son identificados y tratados de manera diferente en los distintos países. Asimismo, en algunos países, un número significativo de estudiantes y escuelas puede negarse a participar en el estudio.

La realidad es que esto es lo que sucede en PISA – y creemos que podría debilitar sustancialmente los resultados canadienses.

Este punto se ilustra en la Figura 1, que se basa en las cifras presentadas en el Informe Técnico de PISA 2015. Las cifras correspondientes a Canadá llaman evidentemente la atención. Sólo alrededor de la mitad (53%) de los jóvenes de 15 años en Canadá están representados por la evaluación PISA 2015 en comparación con más del 90% de los jóvenes de 15 años en Japón y Corea del Sur.

¿Por qué se ven tan mal estas cifras para Canadá? Hay una mezcla de razones.

En primer lugar, las escuelas de Canadá fueron más propensas a negarse a participar que las de otros países y en el informe nacional canadiense se señalan cuestiones concretas dentro de Quebec, en el que menos de la mitad de las escuelas contactadas aceptaron participar (véase el Cuadro A2). Si ciertos tipos de escuelas -por ejemplo, las que tienen alumnos de bajo rendimiento- tienen menos probabilidades de participar que otras -por ejemplo, las que tienen un rendimiento más alto-, esto podría dar lugar a un sesgo ascendente en los resultados de Canadá en PISA.

En segundo lugar, Canadá fue mucho más propenso a excluir a estudiantes de la evaluación PISA debido a cuestiones como las necesidades educativas especiales (en Canadá se excluyó al 7,5% de los jóvenes de 15 años, frente al 2,4% en Japón y a menos del 1% en Corea del Sur), un grupo que probablemente tenga un rendimiento bajo.

Por último, los estudiantes en Canadá fueron menos propensos a responder la evaluación PISA, incluso en las escuelas que aceptaron participar. Específicamente, las cifras oficiales muestran que casi el 20% de los adolescentes canadienses fueron contados como ausentes el día de la prueba PISA en comparación con menos del 3% en Japón y Corea del Sur. Es sabido que ciertos tipos de estudiantes tienen mayores tasas de ausentismo escolar (por ejemplo, los de menor rendimiento y contexto socioeconómicos bajo), y es probable que estas características estén asociadas con el rendimiento en la prueba PISA. Por lo tanto, parece probable que esto genere un sesgo alcista en los resultados.

En conjunto, esto configura un problema significativo, que creemos socava significativamente nuestra confianza en los datos de PISA 2015 para Canadá. Creemos que existen problemas particulares a la hora de establecer comparaciones con otros países de «alto rendimiento» como Japón y Corea del Sur, en los que participó una muestra representativa de estudiantes. De hecho, mirando más allá de la superficie, la evidencia de que Canadá es una «superpotencia educativa» no parece ser particularmente fuerte.

[1] Por su sigla en inglés Programme for International Student Assessment