Todo funciona en alguna parte y nada funciona en todas partes; el contexto importa
Andrés Sandoval-Hernández
El Programa Internacional para la Evaluación de Estudiantes (PISA) es una evaluación sobre el rendimiento educativo de estudiantes de 15 años organizada por la Organización para la Cooperación y el Desarrollo Económico (OCDE). Los resultados de la última ronda de PISA se darán a conocer en diciembre de este año y veremos mucho sobre ello en las noticias y otros medios de comunicación. Es probable que la mayoría de las historias se refieran a las clasificaciones internacionales o a «lo que funciona» en educación. Pero estas no son las historias en las que deberíamos enfocarnos.
El ranking de PISA
Se nos dirán cosas como que el país X tuvo un rendimiento ligeramente superior a la media de la OCDE en ciencia y lectura, y en torno a la media de la OCDE en matemáticas. Se nos dirá que este desempeño representa o no un cambio significativo con respecto a las puntuaciones obtenidas en 2015. También se nos dirá que el rendimiento del país X es comparable al rendimiento de países como Australia, Alemania e Irlanda, por poner un ejemplo. Todas estas clasificaciones son, sin embargo, meras comparaciones de las puntuaciones brutas. No tienen en cuenta el contexto de las sociedades en las que operan los sistemas educativos. Por poner un ejemplo, en el 2015, el desempeño del Reino Unido en PISA fue significativamente más alto que el de la República Dominicana (en todas las materias), pero también sabemos que el ingreso per cápita en la República Dominicana es casi siete veces menor que en el Reino Unido. Por lo tanto, no parece justo hacer comparaciones brutas de los sistemas educativos cuando funcionan en condiciones socioeconómicas tan diferentes (aquí se puede encontrar un buen ejemplo de comparaciones entre sistemas educativos teniendo en cuenta las diferencias socioeconómicas).
Entonces, ¿qué funciona en la educación?
En cuanto a «lo que funciona» en la educación, la historia no es tan diferente. Las comparaciones brutas de los sistemas educativos tampoco son muy informativas, ya que PISA puede utilizarse para aportar pruebas en apoyo de afirmaciones contradictorias. Los partidarios de la autonomía escolar (es decir, los directores y profesores con mayor autonomía en la gestión de los recursos de sus escuelas) señalarán el caso de Estonia (que ocupa el tercer lugar en ciencia en PISA 2015) para afirmar que se trata de una buena práctica. Por otra parte, los detractores del mismo tipo de políticas señalarán a Singapur (que ocupa el primer lugar en ciencia, lectura y matemáticas en PISA 2015) para decir lo contrario (véase el Gráfico II.4.3 de los resultados de PISA 2015). Los resultados de PISA 2015 también pueden aportar pruebas de que, en las escuelas con clases más pequeñas, los estudiantes tienden a tener un mejor rendimiento (Finlandia tiene clases con menos de 20 estudiantes en promedio y ocupa el quinto lugar en ciencia), pero también pueden aportar pruebas para afirmar lo contrario (Japón tiene clases con más de 35 estudiantes en promedio y ocupa el segundo lugar en ciencia) (véase el Gráfico II.6.16 de los resultados de PISA 2015).
El contexto importa
Entonces, las historias en las que deberíamos centrarnos deben ir más allá de las comparaciones simplistas de los sistemas educativos. “¿Cómo nos clasificamos?” o “¿qué funciona?” no son las preguntas correctas a las que hay que responder analizando PISA. Esto se debe a que, como se ha demostrado anteriormente, casi todas las políticas funcionan en alguna parte y ninguna política funciona en todas partes. Esto no es una limitación de los datos de PISA, sino de los análisis e interpretaciones que hacemos de ellos (además del rendimiento de los estudiantes, PISA recoge una gran cantidad de información contextual sobre estudiantes, profesores, escuelas y países). Nuestros análisis no sólo deben referirse a las políticas o prácticas que funcionan, sino también a las condiciones en las que es probable que estas políticas o prácticas funcionen. En la investigación educativa, todo gira en torno al contexto y, por lo tanto, los sistemas educativos no pueden entenderse sin tener en cuenta el contexto de las sociedades en las que operan.
