Zahlen, Interpretationen und Vergleiche: vergleichende Länderanalysen

Rolf. V Olsen und Sigrid Blömeke

Dieser Blog wurde von Laura Zieger ins Deutsche übersetzt.

In einem früheren Blog haben wir veranschaulicht, dass groß angelegte internationale Vergleichsstudien als wichtige und diskursbestimmende Wissensquellen für Aussagen über die Qualität von Bildungssystemen angesehen werden können. Vergleiche zwischen Ländern waren im Laufe der Zeit eine der wichtigsten Methoden, um die Ergebnisse der Studien zu interpretieren, und dieser Blogbeitrag beschäftigt sich nun im Detail mit solchen vergleichenden Länderanalysen.

Die Welt ist ein Bildungslabor.

 „Wir, die Forscher, die sich entschieden haben, bei der Entwicklung international gültiger Evaluierungsinstrumente zusammenzuarbeiten, haben die Welt als ein großes Bildungslabor konzipiert, in dem eine große Vielfalt von Praktiken in Bezug auf Schulstruktur und Lehrplan ausprobiert wurde. Wir wollten einfach die internationale Variabilität sowohl in Bezug auf die Ergebnisse der Bildungssysteme als auch auf die Faktoren, die zu Unterschieden in diesen Ergebnissen geführt haben, nutzen“ [“We, the researchers who… decided to cooperate in developing internationally valid evaluation instruments, conceived of the world as one big educational laboratory where a great variety of practices in terms of school structure and curriculum were tried out. We simply wanted to take advantage of the international variability with regard both to the outcomes of the educational systems and the factors which caused differences in those outcomes.”], so Torsten Husén, 1973, im Bericht der FISS, einer der ersten internationalen Großstudien im Bildungsbereich.

Dieses Zitat erfasst das Wesentliche, warum Vergleiche mit anderen als nützlich angesehen werden:

• Vergleiche mit anderen Systemen helfen, indem sie zeigen was für unterschiedliche Länder typisch ist. Dies bietet einen normativen rhetorischen Rahmen für Aussagen wie „Norwegische Viertklässler lesen durchschnittlich mehr Zeitungen als Viertklässler in anderen Ländern“.
• Sie zeigen exemplarisch, was möglich ist. Das ist ein rhetorisches Framing für Leistungsvergleiche, z.B. in Aussagen wie „Im Vergleich zu den leistungsstärksten Bildungssystemen der Welt hinken die norwegischen 15-Jährigen im Durchschnitt mehrere Schuljahre hinterher“.
• Internationale Vergleiche liefern Informationen über Phänomene, die nahezu unsichtbar oder nicht beobachtbar innerhalb eines Landes sind, allein weil es keine oder nur sehr geringe Unterschiede innerhalb eines Bildungssystems gibt. Jedoch können die Unterschiede zwischen den Ländern erheblich sein. Ein Beispiel dafür ist das Einschulungsalter, das in vielen Ländern vergleichsweise fix ist, aber von Land zu Land variiert.

Im Sinne einer Metapher aus der Fotografie: Die internationale Variabilität schafft Kontrast und einen Hintergrund, der es ermöglicht, das Hauptobjekt hervorzuheben. Anfänglich willkürliche Zahlen erhalten durch relative Vergleiche Bedeutung.

Normung und Qualitätsmanagement

Dieser „relative“ Rahmen hat offensichtliche Mängel, die sich vor allem auf die Vielfalt der teilnehmenden Länder bezieht sowie auf die Einschränkung, dass das Framing auf der Annahme beruht, dass die Vergleiche relevant und akkurat sind. Oder wie oft gesagt wird: Wir müssen sicherstellen, dass wir „Orangen mit Orangen vergleichen und nicht mit Äpfeln“. Internationale Vergleichsstudien betreiben viel Aufwand, um sicherzustellen, dass Vergleiche zwischen den Ländern angestellt werden können. Sie haben strenge Regeln für die Stichprobenziehung von Schulen und Schülern, um die Vergleichbarkeit zwischen den Ländern zu gewährleisten. Die Tests und Fragebögen werden in allen Ländern vorab getestet, die Übersetzungen der Instrumente in mehreren Schritten kontrolliert und die Test- und Fragebogenelemente werden empirisch überprüft, um sicherzustellen, dass sie in allen Ländern gleich funktionieren – um nur einige der durchgeführten Qualitätskontrollen zu nennen.

Dennoch ist die Qualität, mit der wir valide Vergleiche zwischen den Ländern anstellen können, nie perfekt und kann möglicherweise recht irreführend sein. Mit zunehmender Anzahl und Heterogenität der Länder in diesen Studien wird die Herausforderung, faire Vergleiche zu gewährleisten, immer schwieriger. Auf diese und andere Bedrohungen und Herausforderungen bei der Interpretation von Vergleichen zwischen Ländern werden wir in einem weiteren Blog zurückkommen.