Соответствие тестового задания модели измерения

Необходимость рассмотрения такого аспекта, как соответствие тестового задания модели измерения, объясняется тем, что в целом результаты тестирования могут соответствовать модели измерения, однако даже в таком наборе могут оказаться задания, не соответствующие модели измерения или недостаточно эффективные с точки зрения точности измерения. Поэтому представляется целесообразным рассмотреть статистические характеристики тестовых заданий более подробно. В табл. 11.2 задания расположены в порядке возрастания их трудности.

По итогам апробации задание № 5 оказалось наиболее легким (-2,449 логита), а задание № 21 — наиболее трудным (1,918 логита).

Характеристические кривые этих заданий приведены на рис. 11.2 и 11.3 соответственно.

Из рис. 11.2 видно, что задание № 5 лучше всего дифференцирует студентов, имеющих низкий уровень подготовленности, — именно в этой области шкалы измерения характеристическая кривая имеет наибольший наклон. И наоборот, задания с высоким уровнем трудности, например задание № 21, лучше всего дифференцируют студентов с высоким уровнем подготовки.

Соответствие тестового задания модели измерения является аспектом качества теста. Для этого опять же применяются статистика Хи-квадрат и эмпирический уровень значимости этой статисти;

Рис. 11.2. Характеристическая кривая наиболее легкого тестового задания (задание № 5).

Рис. 11.3. Характеристическая кривая наиболее трудного тестового задания (задание № 21).

ки. Фактически эти показатели позволяют определить пригодность рассматриваемого тестового задания для измерения уровня подготовленности студентов. Если уровень значимости статистики Хи-квадрат для задания меньше 0,05, то это задание плохо совместимо с остальными и является кандидатом на исключение.

Соответствие тестового задания модели измерения определяется следующим образом. Студенты по полученным оценкам своих уровней подготовленности (на основе модели Раша) делятся на три группы: с низким, средним и высоким уровнями подготовленности. Далее для каждой группы вычисляется среднее значение, и на основе критерия Хи-квадрат определяется степень близости этих трех экспериментальных точек характеристической кривой.

В данном случае уровень значимости статистики Хи-квадрат для всех тестовых заданий больше 0,05. Поэтому в качестве примера приведем характеристические кривые задания № 3, которое в наибольшей степени соответствует модели измерения (рис. 11.4) и задания № 26, которое в наименьшей степени соответствует модели измерения (рис. 11.5).

Из рис. 11.4 видно, что экспериментальные точки практически лежат на характеристической кривой. Эмпирический уровень значимости для этого задания равен 0,978.

Несоответствие задания № 26 модели измерения проявляется в том, что студенты со средним уровнем подготовленности отвечают на это задание с вероятностью большей, чем предполагается по модели (средняя точка находится значительно выше характеристической кривой). Студенты с высоким уровнем подготовленности отвечают на это задание правильно с вероятностью меньшей, чем предполагается по модели (правая точка находится значительно ниже характеристической кривой).

Местоположение объекта (логиты).

Рис. 11.4. Характеристическая кривая тестового задания № 3

Местоположение объекта (логиты).

Рис. 11.5. Характеристическая кривая тестового задания № 26