Проверка полученных знаний

Для выявления уровня подготовленности на наборах тестовых заданий существует два принципиально разных подхода — классическая тестология (Classical Test Theory, CTT) и современная теория моделирования и параметризации педагогических тестов (Item Response Theory, IRT).

В основу классической теории тестов положена модель измерений на основе следующего соотношения:

где X_i — наблюдаемый (эмпирический) тестовый балл i-го испытуемого для некоторого теста; T_i — неизвестный истинный тестовый балл i-го испытуемого; _i — ошибка измерения для i-го испытуемого.

Процедура вычисления показателей X_i, T_i и _i использует статистические приемы обработки информации, среди которых методы дисперсионного, ковариационного и регрессионного анализа.

Подход на основе CTT характеризуется наглядностью расчетов и простотой интерпретации результатов тестового контроля. Главным недостатком классической теории тестов является то, что первичный тестовый балл испытуемого рассматривается как мера уровня учебных достижений. Корректнее же считать первичный балл проявлением, или индикатором, уровня достижений. Существенными ограничениями в CTT являются следующие аспекты: зависимость оценки уровня подготовленности обучающегося от уровня трудности тестовых заданий и наоборот, нелинейность шкалы измерения уровня подготовленности.

К 60-м годам XX века относится новый этап в развитии тестологии, связанный с возникновением IRT — современной теории моделирования и параметризации педагогических тестов. Исторической предпосылкой формирования IRT явилась необходимость найти сопоставимую (в одной шкале) меру уровня учебных достижений обучающегося и меру уровня трудности тестовых заданий.

В IRT-моделях уровень учебных достижений принимается за мысленный конструкт — латентную переменную. Переменная такой природы недоступна для непосредственного наблюдения и измерения, что вызывает необходимость разработки ее операционального описания в виде набора измеряемых индикаторных переменных. Индикаторные переменные являются проявлениями скалярного латентного параметра, позволяя судить о его значении. При этом имеет место формальная единица измерения — логит, являющаяся мерой уровня учебных достижений или любой другой латентной переменной. Конструирование латентных переменных необходимо производить в соответствии с целями исследования. При выявлении уровня подготовленности на наборах тестов в качестве индикаторов этой латентной переменной выступают тестовые задания.

Представляется возможным оценивать значения латентных переменных, не прибегая к измерительному инструментарию IRT. Имеется в виду способ вычисления интегральных показателей на основе экспертных оценок, близкий к классической тестологии:

на основе экспертных оценок каждой индикаторной переменной сопоставляется вес;

производится нормирование значений индикаторных переменных;

сумма взвешенных значений индикаторных переменных составляет значение интегрального показателя;

выполняется ранжирование объектов в соответствии со значением интегрального показателя.

При таком подходе на ранжирование объектов существенное влияние оказывает субъективность экспертных оценок. IRT-модели снимают ограничения, свойственные классической теории 24 тестов [5] и традиционным способам вычисления интегральных показателей, обеспечивая следующие преимущества:

объективность результатов измерений: оценка уровня учебных достижений испытуемых не зависит от используемого набора контрольноизмерительных материалов и, наоборот, оценка уровня трудности тестовых заданий не зависит от выборки испытуемых;

сопоставимая (в одной линейной шкале) мера уровня учебных достижений и мера уровня трудности тестовых заданий;

доступность большого количества статистических процедур для интерпретации и анализа результатов измерения латентных параметров IRT-моделей;

допустимость неполноты тестовых результатов (пропуск некоторых комбинаций «испытуемый — индикатор латентной переменной»);

возможность оценивания адекватности модели измерения в нескольких разрезах: используемого набора тестовых результатов; отдельного испытуемого; отдельного индикатора; комбинаций «испытуемый — индикатор латентной переменной».

Установлено, что для построения объективной и надежной шкалы измерений латентных параметров необходим достаточный набор тестовых результатов. Объем выборки данных, описываемых IRT-моделью, рассчитывают исходя из того, что на одну индикаторную переменную должно приходиться не менее двадцати тестовых результатов. Необходимость накопления большой тестовой выборки считается существенным недостатком, затрудняющим применение IRT-моделей на практике. [5].