Rolf V. Olsen y Sigrid Blömeke

Este artículo fue traducido al español por Andrés Strello.

En un blog anterior, determinamos que las evaluaciones internacionales a gran escala pueden ser consideradas como fuentes importantes e influyentes de conocimiento para formular afirmaciones sobre la calidad de los sistemas educativos. Las comparaciones entre países han sido una de las formas más dominantes de interpretar los resultados de las evaluaciones, este artículo continúa entrando en detalle acerca de este tipo de análisis.

El mundo es un laboratorio educacional

“Nosotros, los investigadores que (…) hemos decidido cooperar desarrollando instrumentos de evaluación válidos a nivel internacional, concebimos al mundo como un gran laboratorio educacional, donde una gran variedad de prácticas, en términos de estructura escolar y de currículum, fueron probados. Simplemente queríamos aprovechar la variabilidad a nivel internacional respecto a los resultados de los sistemas educativos y los factores que causan las diferencias en esos resultados”.

– Torsten Husén, 1973, en el reporte de FISS, una de las primeras evaluaciones internacionales a gran escala en educación.

Esta cita captura la esencia del porqué las comparaciones con otros son consideradas útiles:

  • Las comparaciones con otros sistemas ayudan dando casos de qué es lo típico a través de los países. Esto da un marco normativo retórico para frases tales como “los escolares noruegos de 4to grado leen más periódicos que el promedio de escolares de 4to grado en los otros países”.
  • Proveen ejemplos de lo que es posible. Eso es un marco retórico de punto de referencia, por ejemplo, en frases como “en comparación con los sistemas con mayor rendimiento en el mundo, los jóvenes de 15 años noruegos están rezagados varios años de enseñanza en promedio”.
  • Las comparaciones internacionales dan información sobre los fenómenos que son, en cierta forma, invisibles o no observables al interior de un país en solitario, porque no hay o hay muy poca variación dentro de un solo sistema educacional. Sin embargo, la variación entre países puede ser importante. Un ejemplo es la edad de inicio en el sistema escolar, que es relativamente fija dentro de los países, pero varía entre los países.

Usando una metáfora proveniente de la fotografía: la variación internacional crea un contraste y un trasfondo que permite destacar al objeto principal. Números, que en un principio son arbitrarios, adquieren sentido a través de las comparaciones relativas.

Estandarización y manejo de calidad

Este marco“relativo” tiene evidentes limitaciones, principalmente relacionadas con el rango de países participando y que está basado en el supuesto que las comparaciones son relevantes y precisas. Como se dice comúnmente: tenemos que estar seguros de que “comparamos peras con peras, y no con manzanas”. Las evaluaciones internacionales realizan un gran esfuerzo para asegurar la comparabilidad entre países. Tienen reglas estrictas para el muestreo de escuelas y estudiantes para asegurar la comparabilidad entre países, se llevan a cabo pilotajes de las pruebas y cuestionarios en todos los países, las traducciones de los instrumentos son verificadas en varios pasos y los ítems de la prueba y el cuestionario son empíricamente verificados para asegurar que funcionan de la misma forma entre países. Esto solo por mencionar algunas de las verificaciones de calidad que se realizan.

Aun así, la calidad con la que podamos hacer comparaciones válidas entre países nunca es perfecta, y puede ser potencialmente engañosa. Mientras aumenta el número de y la heterogeneidad de países incluido en los estudios, el desafío de asegurar una comparación justa se vuelve aún más complicado. En una próxima entrada vamos a volver con este y otros riesgos y desafíos al interpretar las comparaciones entre países.

Read as PDFDownload