От чисел к значению через сравнения: Введение

Рольф Вегар Олсен и Сигрид Блёмеке

Крупномасштабные международные оценочные исследования (КМОИ) представляют собой важный источник данных для мониторинга качества образования во многих странах. Результаты исследований часто цитируются в программных документах и регулярно используются в качестве оснований или контраргументов в политических дебатах. Таким образом, за последние приблизительно 20 лет, КМОИ зарекомендовали себя как влиятельный источник знаний. В этой серии из четырех блог-публикаций мы представим и обсудим две основные причины, по которым эти исследования заняли такую позицию: они интерпретируют результаты по двум сравнительным аспектам, сравнивая показатели между системами образования и внутри одной образовательной системы в динамике. В четвертой и последней публикации мы определим и обсудим некоторые из проблем, связанных с этими двумя сравнительными аспектами, которые актуальны для последующих КМОИ.

Количественная оценка образования

Измерение качества в образовании является трудной задачей, поскольку явления, которые мы пытаемся охватить, не поддаются непосредственному наблюдению. Обычно нас интересуют вопросы о психологических особенностях людей: насколько мотивированы дети учиться в школе, насколько довольны учителя рабочей атмосферой или насколько хорошо учащиеся умеют читать – и это лишь некоторые из них. Результаты по таким исследовательским вопросам не могут быть напрямую замечены или измерены. У нас нет «линейки для навыков чтения» или какого-нибудь электронного датчика, который мог бы немедленно сообщить о значении по шкале. Вместо этого, мы должны полагаться на косвенные процедуры, когда одно или (обычно) несколько наблюдений человека используются для установления чисел по шкале. К счастью, основательная теория в тандеме с теорией тестов (или «психометрией») предоставляют нам мощные инструменты для разработки надежных и достоверных показателей или индикаторов таких феноменов в социальной и психологической сферах.

Тем не менее, даже если измерения подтверждают хорошую привязку к основательной теории и психометрическому качеству, то сами числовые значения обычно трудно интерпретировать, что можно понять на примере таких вопросов:

• Каков приемлемый уровень успеваемости для системы?
• Какое значение по шкале издевательств представляет собой основание для беспокойства?
• При каких значениях следует сделать вывод, что коэффициент регрессии, коэффициент корреляции, разница между двумя группами и т.д. имеет существенное значение?

Международные сравнения обеспечивают систему ориентиров

Ответы на подобные вопросы носят в основном нормативный или политический характер, поскольку у нас нет не только основательной теории для получения ответов такого рода, но мы можем и не соглашаться по нормативным установкам. Поэтому кто-то может просто установить пороговые значения и попытаться придать им смысл. Тем не менее, пороговые значения, установленные по политическим соображениям, также нуждаются в обосновании, и КМОИ предоставляют несколько способов создания более рациональной основы для такого обоснования, позволяя производить сравнения.

Выбор сравнения, критерии или нормы также является субъективным решением. Скорее, выбор сравнения является аргументированным ядром или основанием для интерпретации данных. В последующих блог-публикациях будет обсуждаться, как сравнения с другими странами помогают интерпретировать данные из КМОИ, а также почему такие сравнения могут быть обманчивыми и методологически ошибочными.