Основные этапы конструирования педагогического теста

Проблемы конструирования опросников.

При разработке заданий для опросников необходимо учитывать следующие проблемы, которые, если их не обойти, неизбежно приведут к низкой валидности тестов.

• 1. Установка на согласие. Это тенденция испытуемого соглашаться с утверждениями или отвечать на вопросы «да» независимо от их содержания. Чаще всего проявляется, когда утверждения (вопросы) неоднозначны и неопределенны.
• 2. Установка на социально одобряемые ответы. Это тенденция испытуемых отвечать на вопросы теста так, чтобы выглядеть «социально положительным»: если возможен «социально желательный» ответ, то весьма вероятно, что испытуемые будут его давать.
• 3. Установка на неопределенные или средние ответы. Если в опроснике представлена средняя категория ответов, отражающая нерешительность или неуверенность в ответе (например «не уверен», «не знаю» или «затрудняюсь ответить»), то многие испытуемые склонны к ней прибегать, как к безопасному компромиссу. Это приводит к снижению валидности, поскольку большинство методов анализа вопросов основывается на крайних значениях показателей.
• 4. Установка на «крайние» (расположенные по краям шкалы) ответы. Эта установка может проявляться при использовании многоэлементной рейтинговой шкалы. Некоторые испытуемые, независимо от содержания вопросов, предпочитают выбирать крайние ответы.
• 5. Очевидная валидность вопросов. Несомненно, в тестах личности необходима уверенность в том, что ответы на вопросы могут рассматриваться как правдивые.
• 6. Проблемы в установлении адекватного критерия валидности. Существует значительная трудность в нахождении адекватного критерия.

Таковы основные сложности, возникающие при конструировании опросников, и следует отчетливо их себе представлять, прежде чем вы приступите к формулированию вопросов или утверждений. Две последние проблемы, хотя они и являются определяющими, выходят на первый план уже после того, как подобраны задания теста.

Процесс создания теста, его научного обоснования, переработки и улучшения можно разбить на ряд этапов.

• 1. Определение цели тестирования, выбор вида теста и подхода к его созданию.
• 2. Анализ содержания изучаемого явления (качества).
• 3. Определение структуры теста и стратегии расположения заданий.
• 4. Разработка спецификации теста, выбор длины теста и времени его выполнения.
• 5. Создание предтестовых заданий.
• 6. Отбор заданий в тест и их ранжирование согласно выбранной стратегии предъявления на основании априорных авторских оценок трудности заданий.
• 7. Экспертиза содержания предтестовых заданий и теста.
• 8. Экспертиза формы предтестовых заданий.
• 9. Переработка содержания и формы заданий по результатам экспертизы.
• 10. Разработка методики апробационного тестирования.
• 11. Разработка инструкций для проводящих апробацию теста.
• 12. Проведение апробационного тестирования.
• 13. Сбор эмпирических результатов
• 14. Статистическая обработка результатов выполнения теста.
• 15. Интерпретация результатов обработки в целях улучшения качества теста. Проверка соответствия характеристик теста научно обоснованным критериям качества.
• 16. Коррекция содержания и формы заданий на основании данных предыдущего этапа. Чистка теста и добавление новых заданий для оптимизации диапазона значений параметра трудности и улучшения системообразующих свойств заданий теста. Оптимизация длины теста и времени его выполнения. Оптимизация порядка расположения заданий в тесте.
• 17. Повторение этапа апробации для повышения качества теста.
• 18. Интерпретация данных обработки, установление норм теста и создание шкалы для оценки результатов испытуемых.

Возникает своеобразный цикл, так как после чистки теста разработчику приходится возвращаться к этапу сбора эмпирических данных, причем, как правило, не один раз, а два, три и более. В определенном смысле этот цикл бесконечен, но не потому, что все задания плохи и разработчик не имеет достаточного опыта создания теста. Процесс конструирования теста довольно труден, поскольку необходим всесторонний подход к оценкам качества теста и характеристик тестовых заданий, к проверке их системообразующих свойств.

К тому же можно считать, что задача оптимального подбора состава теста не имеет единственного решения, так как не все здесь определяется качеством тестового материала, а многое еще зависит от уровня подготовки группы учеников. Задания, работающие на одной выборке учеников, могут оказаться бесполезными на другой, так как они будут или слишком легкими, или слишком трудными и их не выполнит правильно ни один ученик группы.

Успех создания теста во многом зависит от высокого качества начального тестового материала, которое обеспечивается правильным отбором проверяемого содержания и умением разработчика корректно отобразить его в заданиях теста. Крайне важен этап обработки эмпирических результатов тестирования, для выполнения которого необходимы специальные программные средства для профессиональной разработки тестов.

Конечно, далеко не всегда в процессе создания тестов необходимо достижение профессионального уровня качества, особенно если отвлечься от общих целей. В повседневной деятельности педагога необходимы тесты разного, иногда невысокого качества, ориентированные на задачи текущего контроля. Выполнение последней задачи вполне по силам отдельному педагогу или группе педагогов. Однако и в этом случае можно самостоятельно сделать ряд расчетов, основанных на минимальном математическом аппарате и позволяющих значительно продвинуться от предтестовых заданий к настоящему тесту.

На этапе сбора данных необходимо принять специальные меры, обеспечивающие единообразие процедуры выполнения теста. Стандартизация этой процедуры затрагивает вопросы формирования репрезентативной выборки испытуемых, правильного инструктирования, выбора оптимального времени тестирования, качественных материалов, подходящей окружающей обстановки. Определенное внимание следует уделить подготовке преподавателей, проводящих тестирование, принять меры по предотвращению списывания в процессе выполнения теста. Малейшее отступление от требований стандартизации повлечет за собой снижение достоверности эмпирических результатов выполнения теста. Помимо перечисленных, на результаты выполнения теста может повлиять множество других, менее очевидных факторов. В целом же для обеспечения сбора достоверных эмпирических данных необходимо:

• * точно следовать процедурам стандартизации при сборе эмпирических данных;
• * регистрировать любые нестандартные условия, приводящие к отступлениям от требований стандартизации;
• * учитывать нестандартные условия тестирования при интерпретации теста.

Большое значение имеет разработка правильных инструкций по выполнению теста, которые следует подготовить как для педагога, руководящего процессом применения теста, так и для учеников, выполняющих тест.

В инструкции для педагога содержатся рекомендации по подготовке группы учащихся к выполнению теста, примерные обязанности педагога на этапе проведения тестирования, рекомендации по подготовке краткого отчета о выполненной процедуре предъявления теста. В целом перед тестированием педагогу необходимо следующее.

• 1. Объяснить, зачем нужен тест, сообщить, какие результаты ожидаются.
• 2. Объяснить, почему испытуемые должны приложить максимум усилий для его выполнения, акцентировать внимание испытуемых на возможности проверки своих сил и подчеркнуть соревновательный мотив. При этом следует иметь в виду, что слишком сильная мотивация, как и слабая, в одинаковой степени негативно сказываются на результативности теста.
• 3. Медленно, четко прочесть инструкцию к тесту с примерами, если они имеются. Возможна ситуация, когда испытуемые самостоятельно следят по своим вариантам теста за инструкцией, а педагог зачитывает ее или воспроизводит по памяти.
• 4. Дать возможность испытуемым потренироваться, решив самостоятельно одну или более задач-образцов, если такие имеются. Проверить, правильно ли понята инструкция по результатам выполнения образцов заданий теста.
• 5. Сообщить о временном ресурсе, о правилах исправления допущенных ошибок, рассказать о том, чего не рекомендуется делать при выполнении задач и к кому обращаться в случае возникновения вопросов.
• 6. Вместе с испытуемыми записать, если требуется, паспортные и биографические данные в регистрационных бланках, проследить за правильностью их заполнения.
• 7. Ответить на имеющиеся вопросы до начала выполнения теста.
• 8. Раздать тест.
• 9. Дать команду начать выполнение заданий. Время начала записать самому или попросить сделать это испытуемых на регистрационном бланке.
• 10. Во время выполнения заданий следить:
  • * за временем выполнения отдельных субтестов, если это необходимо, как, например, при выполнении скоростных тестов;
  • * за наличием отточенных карандашей и других материалов;
  • * за правильностью заполнения паспортной части регистрационных бланков (если замечена ошибка, своевременно ее устранить);
  • * за тем, чтобы испытуемые не писали на тестовых брошюрах, если не предусмотрено;
  • * за тем, чтобы соседи не общались, не мешали друг другу, не подглядывали;
  • * за состоянием испытуемых;
  • * за тем, чтобы испытуемые своевременно получили разрешенные инструкцией ответы на вопросы в ситуациях, связанных с процедурой проведения.
• 11. После сигнала к окончанию выполнения заданий теста при групповом проведении дать команду сложить брошюры и бланки для ответов в исходное положение или самому собрать (если участвуют не более 30 человек). Если участников тестирования больше 30 человек, то рекомендуется попросить всех остаться на своих местах и передать в начало ряда тестовые материалы в следующем порядке: бланки для ответов, брошюры, черновики. После этого пересчитать количество бланков и брошюр.
• 12. По окончании тестирования просмотреть все брошюры и стереть отметки в них.