Методика конструирования педагогических тестов

Для эффективного использования тестовых технологий в образовании необходимо иметь четкие представления о понятийной, целевой и технической процедурах применения тестов в учебном процессе. Сложность рассмотрения исходных понятий обусловлена, с одной стороны, неоднозначностью в определении основных понятий, даваемых теоретиками, а с другой — различием в подходах к контролю знаний теоретиками и практиками. Это приводит к тому, что само понятие «тест» имеет множество толкований. Процесс совершенствования понятийного аппарата тестовых технологий очевидно должен идти по пути систематизации множества определений и приведения их в соответствие с решением вопроса классификации педагогических тестов. Магистральное направление развития систем тестирования и повышения степени объективности использования тестовых технологий связано с проведением стандартизации педагогических измерений', которая включает:

• 1) стандартизацию методов педагогических измерений и теоретических положений, являющихся основой тестовых технологий;
• 2) стандартизацию основных характеристик и средств оценки результатов тестирования;
• 3) стандартизацию процедуры и условий проведения педагогических измерений;
• 4) стандартизацию определения и интерпретацию результатов.

Необходимость создания четкого понятийного фундамента для разработки тестов не всегда понятна преподавателям-практикам. Часто любой набор заданий ассоциируется с тестом. Используемые на практике тесты чаще всего на самом деле являются псевдотестами. Для тестов существует научно обоснованные критерии качества на точность, объективность оценок учебных достижений учащихся. Нарушение этих критериев в псевдотестах искажает реальную картину уровня знаний учащихся. При использовании тестов необходимо знать о разночтении в понимании и применении тестов. Поэтому использование готовых тестов должно быть критическим, с пониманием принципов конструирования тестов и их применения.

Допустим, что применение тестов позволяет:

• 1) измерить уровень усвоения ключевых понятий и разделов учебной программы, на проверку совокупности умений и навыков;
• 2) проверить по сравнению с обычными формами проверки значительно больший объем усвоенных знаний;
• 3) дать более объективную оценку знаниям учащихся по сравнению с существующей в практике трехбалльной системой оценок знаний;
• 4) снизить затраты на проведение экзаменов с использованием тестов по сравнению с традиционной формой.

Существуют различные определения понятия теста, отличающиеся друг от друга, но все они содержат констатацию способности теста устанавливать количественные и качественные индивидуально-психологические особенности личности. Одно из наиболее емких определений теста приведено в работе Майорова [2000].

Тест — это инструмент, состоящий из квалиметрически выверенной системы тестовых заданий, стандартизованной процедуры проведения и заранее спроектированной технологии обработки и анализа результатов. Он предназначен для измерения качеств и свойств личности, что возможно в процессе систематического обучения.

Тест содержит в себе три составляющие:

• * систему специально подобранных заданий с возрастающей степенью сложности;
• * набор предлагаемых вариантов ответов, содержащих наряду с правильными ряд неправильных ответов — дистракторов;
• * отработанную систему проверки, обработки и анализа результатов тестовых испытаний.

Тест содержит специально подготовленный и испытанный набор заданий, дающий возможность объективно и надежно оценить исследуемые качества и свойства на основе использования методов математической статистики. Это позволяет тесту осуществлять значительно более качественным и объективным способом оценку учебных достижений. Объективность тестирования достигается путем стандартизации процедуры тестирования, исключая возможность субъективной оценки знаний.

Тестовые показатели ориентированы на измерения уровня усвоения ключевых понятий и разделов учебной программы, на проверку совокупности умений и навыков. Тесты позволяют по сравнению с обычными формами контроля проверить значительно больший объем усвоенных знаний. При этом интервал оценивания учебных достижений в тестах значительно превышает традиционную трехбалльную систему оценки знаний, что позволяет более адекватно определить уровень знаний учащихся.

Приступая к тестированию, необходимо сформулировать цели, которые оно преследует, выбрать соответствующие критерии достижения этих целей, а также подходы и области применения планируемых тестов.

Процесс создания тестов можно разбить на ряд этапов:

• 1. Анализ содержания учебной дисциплины, систематизация материала, выделение функциональной и логической структур, информационное насыщение изучаемого раздела учебной дисциплины.
• 2. Составление целей и задач предмета изучения и форм педагогического контроля изучаемой дисциплины.
• 3. Отбор материала, подлежащего тестированию.
• 4. Определение целей тестирования, выбор тестов и методик его создания.
• 5. Разработка спецификации теста, его объема и времени выполнения.
• 6. Конструирование технологической матрицы и ее экспертиза.
• 7. Разработка тестовых заданий.
• 8. Отбор тестовых заданий и их ранжировка в соответствии с поставленными учебными задачами.
• 9. Экспертиза содержания и формы предтестовых заданий и соответствующая корректировка.
• 10. Определение содержания тестовых заданий, длины и времени теста в зависимости от предтестовых заданий в соответствии с целями и задачами изучаемого материала.
• 11. Разработка методики тестирования.
• 12. Определение и расчет показателей качества предтестовых заданий и тестов.
• 13. Разработка инструкций для учеников и преподавателей.
• 14. Апробации теста.
• 15. Корректировка и добавление новых заданий для улучшения си-стемообразующих параметров теста на основании результатов апробации.
• 16. Составление окончательного варианта теста.
• 17. Стандартизация и нормирование теста, подготовка окончательного варианта теста.
• 18. Выполнение теста и статистическая обработка результатов тестирования.
• 19. Корректировка теста в целях улучшения его качества.

Тесты многообразны по своему назначению. В настоящее время сложилось два обобщающих подхода к оценке тестов: критериально-ориентированный и нормативно-ориентированный. В работе B.C. Аванесова [1995] показано, что критериально-ориентированные тесты предполагают выполнение следующей последовательности: задание — ответы — выводы преподавателя о соответствии испытуемого заданному критерию; в то время как для нормативно-ориентированных тестов предлагается следующая последовательность: задания — ответы — выводы о знаниях испытуемого, показывающие его место в группе испытуемых (рейтинг). В работе Н. Гронлунда [1982] приводится суммарное сравнение двух основных подходов к тестированию по достигнутым результатам.

Рассмотрим их наиболее существенные отличия. Тестирование на основе нормы является обзорным тестированием и применяется для оценки и сравнения индивидуальных результатов с результатами других испытуемых. Тестирование на основе критерия оценивает степень владения материалом и предназначено для сравнения результатов испытуемых с четко определенной областью учебных достижений.

К настоящему времени сложилась практика организации различных видов тестирования, требующая применения разных тестов в зависимости от предполагаемых целей тестирования. В отечественной и иностранной литературе нет единого мнения о том, по какому признаку проводить классификацию тестов. Тесты классифицируются по целому ряду признаков, например, по процедуре создания, по средствам проявления, по направленности, по характеру действий, по целям использования. По нашему мнению, с точки зрения материальных и временных затрат на создание таких тестов, наиболее эффективна классификация тестов по целям использования, так как принципы и механизмы разработки для всех видов тестов одинаковы.

Тесты можно классифицировать по следующим основаниям:

• 1. По целям использования выделяют:
• 1) определяющий тест (предтест) и входной тест, предназначенные для тестирования перед началом обучения (предварительное тестирование);
• 2) формирующий тест, необходимый для регистрации результатов обучения;
• 3) диагностический тест, определяющий трудности обучения в процессе образовательной деятельности;
• 4) суммирующий тест основных достижений в конце процесса обучения.

Предварительное тестирование необходимо для оценки начальных способностей и затрагивает минимальный объем фундаментальных знаний. Оно осуществляется тестами, которые делятся на определяющий тест, основанный на критериально-ориентированном подходе, и входной тест, основанный на нормативно-ориентированном подходе.

Формирующий тест предназначен для контроля за знаниями учащихся в ходе самого образовательного процесса и основан на критериально-ориентированном подходе. Этот вид тестирования ставит своей целью оценку степени владения материалом, обеспечивая в ходе обучения обратную связь по корректировке и исправлению ошибок, допущенных учащимися.

В процессе обучения часто проводят диагностический тест, ставящий своей целью определение трудностей усвоения знаний. Диагностический тест имеет, как правило, специфический подход.

Суммирующий тест позволяет оценить результаты обучения в конце учебного процесса; он основан как на нормативно-ориентированном, так и на критериально-ориентированном подходах.

Принципы и механизмы разработки одинаковы для всех видов этих тестов, но содержимое материала, включённого в тест, и степень сложности вопросов должны соответствовать целям тестирования.

Предварительный определяющий тест предназначен для оценки начальных способностей, обычно является несложным и охватывает очень небольшой диапазон знаний. Он может затрагивать минимум базовых знаний по теме обучения или другой ограниченный набор требуемых знаний. Он практически не отличается от суммирующего теста, даваемого в конце курса или раздела обучения.

Формирующий тест, используемый для контроля за прогрессом обучения, затрагивает ограниченный сегмент обучения, например, раздел или главу. С его помощью делается попытка оценить все важные результаты изучения данного сегмента. Акцент делается на оценке степени владения материалом и обеспечения обратной связи со студентом по корректировке отдельных ошибок в тех областях, где он не достиг успехов. Таким образом, формирующий тест состоит из серии отдельных тестовых вопросов, всесторонне охватывающих ограниченную область обучения. Он разрабатывается так, чтобы дать ученику конкретные инструкции для исправления обнаруженных в результате теста ошибок. Данные теста являются обучающими, они обычно менее сложны, чем суммирующие тесты, даваемые в конце процесса обучения.

Диагностический тест содержит относительно большое число вопросов, имеющих отношение к конкретной тестируемой области. Поскольку целью теста является определение трудностей обучения, внимание сосредоточивается на ответах учащихся на конкретный вопрос или группу вопросов, общий балл имеет второстепенное значение. Этот тест обычно больше фокусируется на распространённых ошибках учащихся, чем на попытке широкого отбора ожидаемых результатов обучения. В связи с тем, что тесты данного типа разработаны для тех учеников, у которых есть проблемы в обучении, они обычно имеют очень невысокий уровень сложности.

Суммирующий тест разрабатывается для оценки широкого диапазона результатов обучения, ожидаемого в конце учебного процесса. Сложность и представительность выборки являются важными аспектами данного теста, так как его результаты используются для простановки баллов и определения степени достижения задач курса обучения. Для того чтобы адекватно отобрать все ожидаемые результаты обучения, суммирующий тест обычно содержит вопросы более высокого уровня сложности, чем другие виды тестов.

Для нужд мониторинга можно использовать три из приведённых вида тестов. Если нас интересует динамика подготовленности учащихся на начальном этапе обучения, мы должны использовать определяющие тесты; если нас интересуют трудности в обучении, то мы будем использовать диагностические тесты; а если (и это наиболее вероятно и часто используемо) наш интерес состоит в оценке результатов обучения, мы применяем суммирующие тесты.

Необходимо подчеркнуть тот факт, что каждый из этих видов тестов имеет свои особенности.

Использование одних тестов вместо других может привести к негативным последствиям.

2. По процедуре создания могут быть выделены стандартизированные и нестандартизированные тесты.

Стандартизируются процедура и условия проведения тестирования, способы обработки и интерпретации результатов, которые должны привести к созданию равных условий для испытуемых и минимизировать случайные ошибки и погрешности как на этапе проведения, так и на этапе обработки результатов и интерпретации данных.

В образовании можно выделить ряд задач, которые могут быть решены нестандартизированными тестами. Однако для целей мониторинга необходимо использовать только стандартизированный тестовый инструмент.

• 3. По средствам предъявления существуют тесты:
  • · с использованием тестовых тетрадей, в которых находятся тестовые задания и в которых испытуемый фиксирует результаты;
  • · бланковые, когда испытуемые отмечают или вписывают правильные ответы (фиксируют ответы) на специальных бланках. Бланки предъявляются отдельно от заданий;
  • · компьютерные.

Каждый из способов предъявления имеет свои плюсы и минусы. Например, компьютерные очень быстрые, однако они провоцируют случайные ошибки и не оставляют исходных результатов на случай апелляции, что ограничивает их применение для аттестации учащихся. Бланковые позволяют экономить на бумаге, удобны для пересылки, дают возможность сканирования для обработки результатов, но также не оставляют исходных результатов. Наиболее качественные результаты могут быть получены с использованием тестовых тетрадей, но при этом возникают проблемы ввода результатов для обработки в компьютер и необходимости дополнительных расходов на печать самих тетрадей.

Для мониторинга подходит любой из этих способов, но нужно помнить об одном — предъявляя один и тот же тест в разных формах, мы получим разные результаты. Нельзя сравнивать результаты тестирования, полученные при разных способах предъявления.

• 4. По ведущей ориентации выделяются
• · тесты скорости; они содержат простые задачи, но время решения ограничено настолько, что ни один испытуемый не успевает решить за отведённое время все задачи;
• · тесты мощности или результативности включают трудные задачи; время их решения либо вовсе не ограничено, либо мягко лимитировано, оценке подлежат успешность и способ решения задачи (примером такого рода тестовых заданий могут быть задания для письменных итоговых экзаменов за курс основной школы);
• · смешанные тесты, которые объединяют в себе черты двух вышеперечисленных; в них представлены задачи различного уровня сложности, от самых простых до очень сложных (время испытания в данном случае ограничено, но достаточно для решения большинства предлагаемых задач большинством обследуемых, а оценкой служат как скорость выполнения заданий, то есть количество выполненных заданий, так и правильность решения).

Эти тесты наиболее часто применяются на практике и именно к ним относится большинство тестов учебных достижений, которые можно использовать для нужд мониторинга.

• 4. По виду нормирования:
  • · тесты, ориентированные на статистические нормы. Основанием для сравнения в них служат соответствующим образом обоснованные, статистически полученные значения выполнения данного теста репрезентативной выборкой испытуемых;
  • · критериально-ориентированные тесты. Они предназначены для определения уровня индивидуальных достижений испытуемого относительно заданного критерия, существующего в реальной практике и заранее известного: уровня знаний, умений, навыков, необходимых для какого-либо вида деятельности;
  • · ненормированные.

Этапы разработки тестов учебных достижений Общий полный перечень этапов создания тестового инструментария может быть представлен следующим списком:

• 1. Определение целей тестирования.
• 2. Определение ресурсных возможностей разработчиков.
• 3. Отбор содержания учебного материала.
• 4. Конструирование технологической матрицы.
• 5. Составление тестовых заданий.
• 6. Построение выборки для апробации заданий и тестов.
• 7. Компоновка заданий для апробации.
• 8. Апробация тестовых заданий.
• 9. Определение и расчёт показателей качества тестовых заданий.
• 10. Отбраковка заданий и составление теста.
• 11. Апробация теста.
• 12. Определение и расчёт показателей качества теста.
• 13. Составление окончательного варианта теста.
• 14. Стандартизация теста.
• 15. Нормирование теста.
• 16. Оснащение теста.

Этот список полный, поскольку в нём представлены все этапы создания тестов и общий, поскольку подходит для создания большинства видов тестов.

Создание теста начинается с определения целей тестирования. Конечно, для тестов, которые предполагается использовать для сравнения результатов между несколькими классами одного образовательного учреждения, и тестами, предназначенными для итоговой аттестации учащихся, существует значительная разница.