De los números a un significado a través de las comparaciones: una introducción

Rolf V. Olsen y Sigrid Blömeke

Este artículo fue traducido al español por Andrés Strello.

Los estudios de evaluaciones internacionales a gran escala (ILSA, por sus siglas en inglés) se consideran fuentes importantes para el seguimiento de la calidad de la educación en muchos países. Los resultados de los estudios se citan con frecuencia en documentos de políticas públicas y se utilizan regularmente como ejemplos a favor o en contra en los debates políticos. En los últimos 20 años, las ILSAs se han establecido como poderosas fuentes de conocimiento. En esta serie de cuatro entradas de blog presentaremos y discutiremos dos de las principales razones por las que estos estudios han ganado esta posición; estos apoyan las interpretaciones de los hallazgos desde dos perspectivas comparadas: las comparaciones entre sistemas educativos y la comparación dentro de un mismo sistema a lo largo del tiempo. En el cuarto y último artículo identificaremos y discutiremos algunos de los desafíos para estas dos perspectivas comparativas para futuras ILSAs.

Cuantificando la educación

La medición de la calidad en la educación es complicada porque los fenómenos que estamos tratando de capturar no son directamente observables. Usualmente, estamos interesados en hacer inferencias sobre los atributos psicológicos de las personas – cuán motivados están los estudiantes para aprender en la escuela, cuán satisfechos están los profesores con su ambiente de trabajo, o cuán competentes son los estudiantes en lectura, por mencionar algunos. Estos atributos no pueden ser observados o medidos directamente. No disponemos de una «regla de aptitud para la lectura» ni de algún sensor electrónico que pueda informar inmediatamente de un valor en una escala. En su lugar, tenemos que recurrir a procedimientos indirectos en los que se utilizan una o varias observaciones de una persona para establecer números en una escala. Afortunadamente, teorías sustantivas en colaboración con la teoría de tests (o «psicometría») nos proporciona herramientas poderosas para desarrollar medidas o indicadores fiables y válidos de tales fenómenos en el ámbito social y psicológico.

Sin embargo, incluso si las medidas han demostrado un buen anclaje con la teoría sustantiva y la calidad psicométrica, los valores numéricos en sí mismos suelen ser difíciles de interpretar, por ejemplo, a través de preguntas como:

• ¿Cuál es un nivel aceptable de logro para un sistema?
• ¿Qué valor en una escala de bullying debería representar una preocupación?
• ¿En qué valores debemos concluir que un coeficiente de regresión, un coeficiente de correlación, una diferencia entre dos grupos, etc., es substancialmente significativo?

Las comparaciones internacionales nos proveen un marco de referencia

Las respuestas a preguntas como éstas son principalmente normativas o políticas, no sólo porque carecemos de una teoría sustantiva para obtener respuestas de este tipo, sino que también podemos estar en desacuerdo normativamente: alguien puede simplemente estipular umbrales o puntos de corte y tratar de adjudicarles un significado. Sin embargo, los umbrales decididos o estipulados políticamente también necesitan apoyo, y las ILSAs ofrecen varias maneras de crear una base más racional para dicho apoyo al permitir comparaciones.

La elección de una comparación, un criterio o una norma, tampoco es una actividad neutra. Más bien, constituye el núcleo argumentativo o la garantía para que se hagan las interpretaciones de los datos. Los siguientes artículos del blog discutirán cómo las comparaciones con otros países ayudan a la interpretación de los datos de las ILSA, pero también por qué tales comparaciones pueden ser engañosas y metodológicamente defectuosas.