Статистический анализ точности измерения латентной переменной

Представляет интерес количественный сравнительный анализ точности измерения в зависимости от числа тестовых заданий. В терминах планирования эксперимента исследуется влияние следующих факторов:

• • фактор А — уровень знаний студентов — варьируется на 17 уровнях (-4,0 логита, -3,5 логита,…, +4,0 логита);
• • фактор В — число тестовых заданий — варьируется на 10 уровнях (10 заданий, 20 заданий,…, 100 заданий).

Для оценки среднего квадрата ошибки (который необходим для проверки значимости всех источников дисперсии) вводится фактор-повторение, а именно каждый используемый в имитационном эксперименте уровень знания повторяется три раза.

Откликом Y является абсолютная ошибка измерения.

На следующем этапе найденная абсолютная погрешность вычисления исследовалась в зависимости от вышеуказанных факторов.

Несмотря на то, что оба фактора являются количественными, для удобства интерпретации и наглядности применяется дисперсионный анализ.

Результаты дисперсионного анализа точности измерения в зависимости от уровня знаний и числа тестовых заданий представлены в табл. 8.2.

Проинтерпретируем полученные результаты.

Фактор А незначим (F_3KCfI = 0,67 < F_Ta6l = 1,66). Это означает, что точность измерения не зависит от уровня знаний в диапазоне от -4 до +4 логит.

Фактор В, как и следовало ожидать, оказался значимым (F_3Kcn = = 11,54 > F_TdC)Jl = 1,90). Это означает, что точность измерения зависит от числа индикаторных переменных в диапазоне от 10 до 100.

Таблица 8.2

Анализ точности измерения в зависимости от уровня знаний и числа тестовых заданий

Примечание. Здесь и далее в аналогичных таблицах р — уровень значимости источника дисперсии.

Взаимодействие АВ незначимо (F_3Kcn = 0,97 < F_n6n = 1,28). Это означает, что эффект фактора В не зависит от того, на каком уровне находится фактор А, т. е. влияние числа тестовых заданий на точность измерения одно и то же для всех исследуемых уровней знаний.

Для получения более точных оценок имитационный эксперимент был повторен пять раз. Полученные усредненные ошибки измерения уровня знаний приведены в табл. 8.3.

Таблица 8.3

Абсолютная ошибка измерения уровней знаний в зависимости ог числа тестовых заданий

Из табл. 8.3 видно, что средняя абсолютная ошибка измерений при 30 тестовых заданиях равна 0,5 логита. Эта точность является приемлемой для многих практических применений. С увеличением числа тестовых заданий она, естественно, уменьшается, однако даже при 100 тестовых заданиях не становится меньше 0,3 логита. Точность же в 0,3 логита достигается при 80 тестовых заданиях.