Eemer Eivers

Este artículo fue traducido al español por Ana María Mejía Rodríguez.

Para muchos, diciembre significa Navidad, pero para aquellos interesados en las pruebas internacionales a gran escala (ILSA, por sus siglas en inglés), es una Navidad de otro tipo. Tradicionalmente es en diciembre cuando se publican los resultados de ILSA y podemos jugar con nuestros juguetes nuevos (¡las enormes bases de datos!)

Como la Navidad, las publicaciones de ILSA tienen ciertas tradiciones. Espere a unos pocos psicómetras tratando de explicar conceptos estadísticos complejos como la calibración concurrente, o por qué el error de medición no significa que alguien haya cometido un error. Espere que un estresado coordinador nacional de investigación aconseje no enfocarse en rankings de países en lo que definitivamente no se les debe llamar “tablas de clasificación”. Y, sobre todo, espere una audiencia cada vez más aburrida de periodistas diseñadores de políticas públicas esperando lo único que quieren ver… las tablas de clasificación.

¿Qué hay de malo con las tablas de clasificación?

Los resultados de desempeño son una parte importante de las ILSA, pero no son el único resultado. Y como el actor principal en un drama adolescente, a menudo son incomprendidos o injustamente tratados. El lector casual no entiende que diferencias de unos pocos puntos no tienen significado, que la metodología de muestro, los pesos, los métodos de evaluación, y una variedad de otros factores no relacionados con el rendimiento de los estudiantes pueden afectar el ranking de los países.

Además, existe la confusión entre correlación y causalidad. No hace falta ser psicómetra para adivinar que la correlación entre el consumo nacional de helados y el desempeño en PISA no es causal (ojalá…). Las ILSA son estudios que retratan el momento, no están diseñados para establecer relaciones causales, pero ofrecen muchas correlaciones que parecen plausiblemente causales.

Y es ahí donde los Ministros de Educación que sueñan con convertirse en “la nueva Estonia” – quien en sí son “la nueva Finlandia” – caen en los impresionantes gráficos tan queridos por personas como Andreas Schleicher de la OCDE. Para los oídos de los diseñadores de políticas públicas, predicción y causalidad son la misma cosa (pista: no lo son). Observan las impresionantes correlaciones que las ILSA encuentran entre desempeño y X, Y, o Z y hacen cambios al por mayor y a menudo ineficaces o inapropiados en los sistemas educativos nacionales. Sin embargo, siendo realistas, sólo puede haber un país en la parte superior del ranking. Con tantos países participando en las ILSA, lo más probable es que no sea el suyo.

Entonces, ¿para qué molestarse con las ILSA?

Bueno, primero, cuando se interpretan con cuidado, las ILSA proporcionan información muy útil sobre las habilidades que los estudiantes pueden demostrar. Segundo, y muchas veces ignorado, la mayoría de las ILSA contienen un tesoro de datos contextuales. Para entender los sistemas educativos y cómo afectan a la vida de los jóvenes, el contexto es importante.

Los próximos resultados de TIMSS 2019 van a incluir descripciones a nivel país de la política educativa y el currículo en matemáticas y ciencias, información sobre lo que pasa en los hogares, las escuelas y en los salones, y algunos datos clave sobre la población. Si se van a considerar reformas, se debería dar a esa información tanta importancia como a los datos de desempeño. Utilice las ILSA para ver en qué difieren las experiencias de los alumnos y las prácticas de los maestros en tu país de las de otros en otros países. Considere por qué podría ser así y, sólo entonces, considere si es necesario un cambio.

Los gobiernos nacionales elaboran políticas, pero las ILSA pueden demostrar qué tan bien se implementan esas políticas. Por ejemplo, PIRLS 2016 mostró que las escuelas maltesas dedican una cantidad de tiempo inusualmente pequeña en la enseñanza de la lectura (aproximadamente la mitad del promedio internacional). ¿Es hora de un gran cambio en política educativa? No, porque ya estaba en vigor una política, pero ésta no se estaba implementando. PIRLS arrojó una luz a la desconexión entre la política y la práctica, y se están tomando medidas para cerrar esta brecha.

En resumen, como Santa Claus, las ILSA no siempre traen lo que uno quiere, pero, si se usan adecuadamente, pueden traer justo lo que uno necesita.