Обработка результатов тестирования

Результаты пробного тестирования обрабатываются в соответствии с ключом — правильными вариантами ответов, содержащимися в инструкции для пользователя. Для удобства обработки результаты заносятся в специальную таблицу — матрицу тестовых результатов.

Оценка качества тестовых заданий и теста в целом с помощью статистических методов.

Статистическая обработка полученных результатов дает возможность определить количественные характеристики тестовых заданий и всего теста, что позволяет использовать тест как научно-обоснованный, объективный инструмент педагогических измерений. Чаще всего статистическая обработка результатов тестирования проводится с помощью специального программного обеспечения.

В статистическую обработку теста входит:

• 1. Анализ каждого тестового задания:
• 1.1. индекс трудности тестового задания;
• 1.2. индекс дискриминативности тестового задания;
• 1.3. дистракторный анализ.
• 2. Анализ теста в целом:
• 2.1. построение графика частотного распределения;
• 2.2. определение мер центральной тенденции;
• 2.3. проверка теста на надежность;
• 2.4. проверка валидности теста;
• 2.5. разработка тестовых норм (для нормативно-ориентированного теста).

В образовании чаще всего разрабатываются критериально-ориентированные тесты, для которых важно проводить анализ каждого тестового задания, поэтому остановимся подробнее на этом этапе. Анализ теста в целом вы можете найти в книге¹.

Для облегчения анализа тестовых заданий ответы испытуемых на каждый вопрос, заносятся в матрицу первичных результатов. Если результат сравнивался с ключом, он заносится в дихотомической системе (1 — правильно, 2 — неправильно). Во всех других случаях в таблицу заносятся баллы, полученные при ответе на каждый вопрос. В таблице 21 приведен пример матрицы, в которую занесены первичные результаты пяти испытуемых, выполнявших тест, состоящий из 10 вопросов, ответы преобразованы в дихотомическую систему (табл. 3.13).

Таблица 3.13

Матрица первичных результатов испытуемых.

¹ Байбородова Л. В., Чернявская А. П., Ансимова Н. П. Организация научного исследования.

На основе матрицы проводится проверка отдельных тестовых заданий^[1].

Трудность задания определяется через соотношение количества испытуемых, справившихся с данным заданием, и общего количества испытуемых, т. е. трудность задания — это доля учащихся, которые справились с заданием.

Трудность задания вычисляется по формуле.

где Pj — доля правильных ответов на j-e задание; У, — количество испытуемых, выполнивших j-e задание верно, N — число испытуемых в группе, j — номер задания. Или в процентах, Р_; — трудность j-ого задания в процентах:

Чем выше показатель трудности, тем задание легче, и, соответственно, чем меньше показатель трудности задания, тем задание сложнее. Например, если р = 30%, то это значит, что только 30% испытуемых справились с этим заданием, а если р — 70%, то 70% справилось с заданием, и получается, что первое задание сложнее, чем второе. Иногда вводится доля неправильных ответов — q, которая определяется по формуле Показатель трудности очень важен для определения характеристики тестового задания и помогает проранжировать задания, входящие в тест по степени сложности. В правильно сконструированном тесте задания должны располагаться по нарастанию сложности, т. е. сначала даются самые легкие, далее все сложнее и сложнее. В хорошо сбалансированном по трудности тесте есть несколько самых трудных заданий со значением р—"0. Есть несколько самых легких с р—>1. Остальные задания по значениям р занимают промежуточное положение между крайними ситуациями и имеют в основном трудность 60—70% в критериально-ориентированном тесте и 40—60% — в нормативно-ориентированном.

В рамках нормативно-ориентированного подхода наиболее удачными считаются задания средней трудности р = q = 0,5, которые обеспечивают максимальную дисперсию теста.

Дискриминативность (дифференцирующая способность) задания — это способность задания дифференцировать испытуемых по уровню достижений на сильных и слабых. Если задание одинаково выполняется и слабыми, и сильными, то можно говорить о низкой дискриминативности задания. Если задание выполняется сильными испытуемыми, а слабые дают отрицательный результат, то мы имеем высокую дискриминативность. Высокая дискриминативность тестовых заданий важна для нормативно-ориентированных тестов, основная цель которых — ранжирование учащихся по уровню достижений.

Один из способов вычисления дискриминативности — вычисление с применением метода крайних групп, где для расчета берутся показатели самых слабых и самых сильных испытуемых. Чаще всего это 27 (30)% худших и 27 (30)% лучших по результатам выполнения тестового задания.

Индекс дискриминативности определяется как разность долей правильных ответов сильной и слабой групп.

или

(^гдис); ⁼ (0)_; — (Ро)])/^-00%, если трудность задана в процентах, где г — индекс дискриминативности, р₁ — доля правильных ответов в сильной подгруппе (27% от всего количества), р₀ — доля правильных ответов в слабой группе (27%). Значение индекса дискриминативности располагается в интервале [-1; 1]. Если индекс дискриминативности выше 0,3, а еще лучше стремится к 1, то это свидетельствует о том, что задание обладает хорошим (максимальным) дифференцирующим эффектом. Если г = 0, то это значит, что и слабые, и сильные испытуемые выполняют задание одинаково. Отрицательный показатель дискриминативности, появляется в том случае, когда слабые учащиеся выполняют задание правильно, а сильные — неправильно, что свидетельствует о некачественном (невалидном) задании. Тестовые задания с показателями г_дис, близким к 0, и г_дис< 0 следует удалить.

Трудность и дискриминативность — взаимосвязанные характеристики тестового задания. Высокая дискриминативность, которая свидетельствует о сильном дифференцирующем эффекте тестового задания, характерна для заданий со средним показателем трудности (0,5).

Дистракторный анализ (оценка качества дистрактора) предполагает подсчет долей испытуемых, выбравших каждый дистрактор. В идеальном варианте каждый дистрактор должен выбираться в равной доле от всех неправильных ответов. Ниже представлены табл. А с качественными и табл. Б с некачественными дистракторами.

А. Распределение ответов при удачных дистракторах.

В результате дистракторного анализа выявляются задания с неработающими дистракторами (вариантами ответов, которые испытуемые выбирают мало или вообще не выбирают). Если в задании есть неработающие дистракторы, то вероятность угадывания правильного ответа повышается, снижается его трудность. Такие задания требуют замены неработающих дистракторов или удаления их из теста.

• [1] Воронин Ю. А., Трубина Л. А., Васильева Е. В., Козлова О. В. Курс лекций «Современные средства оценивания результатов обучения»: учеб, пособие.