Экспертные оценки в тестировании

МЕТОДОЛОГИЯ РАЗРАБОТКИ ТЕСТОВ

Этапы создания теста

Разработка методики оценивания практически в любой сфере обязательно должна проходить через ряд этапов. Это позволяет достичь определенного качества создаваемой методики. Этапы не являются строго упорядоченными, и нередко они применяются в другом порядке, но, в той или иной степени, создание любой методики проходит через них.

При разработке теста принято опираться на схему, состоящую из 12 шагов (Downing, 2006):

• 1. Составление общего плана теста
• 2. Определение содержания
• 3. Составление спецификации теста.
• 4. Разработка заданий.
• 5. Разработка дизайна теста.
• 6. Выпуск теста.
• 7. Проведение теста.
• 8. Проверка психометрических характеристик.
• 9. Установление пороговых значений (проходных баллов).
• 10. Предоставление результатов.
• 11. Формирование банка заданий.
• 12. Составление технического отчета по тесту.

Некоторые из этих этапов являются специфичными для тестов достижений (например, установление проходных баллов), однако в большинстве случаев каждый из этих этапов в той или иной степени должен быть пройден при разработке хорошей методики.

Опишем эти этапы подробнее.

1. Составление общего плана теста.

В этот этап входит разработка основной информации о тесте, сюда же включается проработка методов оценки валидности, основные возможные интерпретации результатов, психометрические модели, контроль качества и т. д. Самый главный вопрос, который нужно решить на первом этапе разработки теста — это вопрос о том, какой конструкт нужно измерять. Также важно определиться, какие типы вопросов будут использоваться, как будут интерпретироваться результаты тестирования, как будет проводиться тестирование (в бланковой или компьютерной форме).

Этот этап является одним из самых главных этапов при разработке теста, так как именно от него зависят все дальнейшие шаги и качество итогового инструмента. Точное определение целей тестирования и его основных параметров дает возможность ясно представить результат своей работы и избежать многих возможных ошибок.

2. Определение содержания Этот этап также является ответом на основополагающий вопрос любой тестовой методики: какой конструкт должен быть измерен? Это особенно важный вопрос для тестов достижений и педагогических тестов, который определяет возможную интерпретацию тестовых баллов, однако и психологические методики также нуждаются в определении содержательной базы. Если содержание теста определено неточно, все дальнейшие этапы работы над тестом будут сделаны неверно.

3. Составление спецификации теста Создание спецификации теста подразумевает определение не только базовых параметров будущего теста, что было сделано на первом этапе, но и достаточно точное описание всего теста, подразумевающее полную проработку концепции инструмента. Основными частями спецификации являются: форма тестовых заданий, их число и их точный тип (если это задание с выбором одного правильного ответа, то сколько предполагается вариантов ответов и т. д.), таксономия для оценки когнитивного уровня (например, таксономия Блума), наличие или отсутствие визуальных стимулов в тестовых материалах, правила оценивания выполнения заданий, правила интерпретации результатов, затраты времени на каждый вопрос. В более простом варианте спецификация может содержать только количество тестовых вопросов по каждой содержательной области и уровню таксономии. Детализированность спецификации связана с тем, какие последствия будут иметь результаты тестирования. В целом, третий этап является результатом обобщения решений, принятых на этапах 1 и 2, и по его результатам будет составлен итоговый план будущего теста. Спецификация впоследствии может подвергаться изменениям, однако ее основные пункты остаются неизменными, и на них базируются все следующие этапы создания теста.

На этом этапе могут использоваться экспертные оценки — при переходе от списка необходимых содержательных элементов, определенных на этапе 2, к спецификации. Экспертные оценки в данном случае используются для оценки степени важности темы и уровня ее освоения, чтобы впоследствии можно было распределить тестовые вопросы в соответствии с рекомендациями.

4. Разработка заданий Разработка заданий является очень важным этапом создания теста. При разработке заданий необходимо учитывать ряд параметров, которые могут повлиять на результаты тестирования, например, формулировки тестовых вопросов, вариантов ответа и т. д. При разработке тестовых вопросов может возникнуть ряд трудностей, делающих процесс разработки теста еще более трудоемким. Эти сложности будут описаны в следующей главе.

5. Составление дизайна теста Следующим важным шагом после разработки заданий становится разработка дизайна теста. Хорошие задания не всегда складываются в хороший тест, и валидность окончательного инструмента зависит от того, как были скомпонованы полученные вопросы. Общий дизайн теста, выполненный на первом этапе разработки, представляет собой основу для деятельности на этом этапе, так как дизайн теста зависит от его целей и возможностей интерпретации. Большое влияние также оказывает и форма проведения тестирования (к примеру, будет ли это бумажная или компьютерная форма, или будет ли тестирование обычным или адаптивным и т. д.). На этом же этапе происходит корректировка заданий с целью облегчения чтения и уменьшения когнитивных усилий, не связанных с измеряемым конструктом. Кроме этого, необходимо сбалансировать ключи (оптимальным является равномерное распределение номеров правильных ответов).

6. Выпуск теста В этот этап входят такие действия как распечатка теста при бланковой форме тестирования, или подготовка компьютерной версии. На этом этапе обычно производится последняя проверка тестовых материалов. Также проверяется качество печати и другие технические параметры, которые, при некачественном исполнении, также могут повлиять на результаты тестирования.

• 7. Проведение теста
• 8. Проверка психометрических характеристик
• 9. Установление пороговых значений
• 10. Предоставление результатов
• 11. Формирование банка заданий
• 12. Составление технического отчета по тесту

В проведении теста (этап 7) и последующей работе с ним существует множество тонкостей, в том числе, административных, но в рамках данного обзора мы не будем на них останавливаться, так как это не связано с предметом настоящего исследования.

Одним из самых трудоемких этапов работы является работа над созданием и совершенствованием тестовых вопросов, так как они составляют основу для всего теста.