Формы тестовых заданий. 
Разработка тестов

Педагогический тест — это система специально подобранных заданий специфической (тестовой) формы, позволяющая количественно оценить учебные достижения в одной или нескольких областях знаний [107].

Педагогический тест состоит из тестовых заданий. Тестовое задание — минимальная содержательно законченная единица педагогического измерения, имеющая основу, в которой сформулирована проблема (задача) и предписанный порядок для ответа. Цель тестового задания — получить ответ от испытуемого, на основе которого может быть сделан вывод о его знаниях, интеллектуальных умениях, способностях, представлениях, навыках по определенной области содержания [176].

По мнению В. С. Аванесова, имеется принципиальная разница между понятием «тестовое задание» и близким ему понятием «задание в тестовой форме» [2]. Тестовое задание — это составная единица теста, отвечающая требованиям технологичности, формы, содержания и, кроме того, статистическим требованиям:

• 1) известной трудности;
• 2) достаточной вариации тестовых баллов;
• 3) положительной корреляции баллов задания с баллами по всему тесту.

Тестовые задания должны:

• 1) быть составлены с учетом определенных правил;
• 2) соответствовать целям тестирования и ресурсному потенциалу разработчиков;
• 3) быть проверены на практике;
• 4) иметь рассчитанные показатели качества — сложность и дискриминативность [207].

Понятие «композиция» означает произведение, структуру, состав, соединение — все это как результат творческого процесса, в котором создатель стремится к некоторому совершенству. Композиция заданий в тестовой форме образует такое структурное соединение элементов, которое позволяет выразить содержание и форму каждого задания в гармоничной целостности.

Именно форма и содержание являются главными компонентами процесса создания тестовых заданий. Понятие «композиция теста» отражает идею лучшего, на текущий момент, соединения содержания заданий с наиболее подходящей формой. Это и есть самый существенный признак профессионально созданных заданий. Цель композиции — создание таких заданий, которые можно было бы включить в тест и использовать как в традиционно организованном учебном процессе, так и в автоматизированных системах контроля знаний.

В процессе композиции к заданиям в тестовой форме предъявляются следующие требования:

• — логическая форма высказывания;
• — правильность формы;
• — краткость;
• — наличие определенного места для ответов;
• — правильность расположения элементов задания;
• — одинаковость правил оценки ответов;
• — одинаковость инструкции для всех испытуемых;
• — адекватность инструкции форме и содержанию задания.

Задание в тестовой форме определяется как педагогическое средство, отвечающее этим требованиям [5].

Каждый тип задания в тестовой форме имеет следующие универсальные элементы композиции.

• 1. Инструкция (например: «Дополнить:», набирается курсивом, в конце ставится двоеточие; при автоматизированном тестировании инструкцию лучше выводить на экран, вместе с каждым очередным заданием, особенно это полезно при использовании в одном тесте разных типов заданий).
• 2. Содержание задания (номер задания с точкой, содержание пишется ПРОПИСНЫМИ буквами, точка в конце не ставится; задание формулируется из точных терминов, без метафор, лишних слов и лишних знаков, как можно точнее, яснее и короче, полностью исключаются повторы слов, малопонятные, редко употребляемые, а также неизвестные студентам символы, иностранные слова; в хорошем задании от 7 до 10 слов; для достижения краткости лучше спросить о чем-нибудь одном; хорошо, когда задания содержат не более одного придаточного предложения; стиль формулирования задания — не вопрос, а логика высказываний, позволяющая легко установить истинность/ложность формулировки; не рекомендуется отрицательная формулировка заданий, или иначе, когда спрашивают о том, что не используется, не относится и т. д.).
• 3. Ответы к заданиям (номер со скобкой, текст ответов пишется строчными буквами, точка в конце не ставится; ответы желательно иметь короткими; задание должно иметь правильный ответ, не должно быть заданий, у которых нет решения, желательно чтобы все ложные ответы были дистракторами — правдоподобными, но неправильными ответами (в случае, когда трудно подобрать дистрактор, можно рекомендовать такой способ — на предварительном этапе задание дается студентам в открытой форме, типичные их ошибки становятся вариантами для выбора в заданиях закрытого типа); при этом абсурдных ответов быть не должно, в том числе таких ответов как: «правильного ответа нет», «все ответы правильные», «все ответы неправильные»).
• 4. Оценка (за правильный ответ). Как правило, за правильный ответ дается 1 балл, за неправильный — ноль. Суммирование всех баллов, полученных испытуемым, дает число правильных ответов. Это число ассоциируется с уровнем его знаний и с понятием «тестовый балл испытуемого». Есть и другие схемы оценивания. При этом может учитываться вес темы и (или) учебных элементов в содержании модуля, а также в отдельных случаях может выставляться градуированная оценка в зависимости от числа правильно выбранных ответов и т. п. [317].

«Задание в тестовой форме» иногда именуется как «предтестовое задание». Это не случайно. Дело в том, что такое задание первоначально является лишь «заготовкой», может оказаться включенным или не включенным в тест. В любом случае оно еще не прошло статистическую проверку, а ведь только при этом условии оно может дифференцировать степень овладения знаниями, умениями, навыками, которую демонстрируют испытуемые [327].

Вот почему ряд ученых (В. С. Аванесов, М. Челы шкова) различают задания в тестовой форме (предтестовые задания, по Мельниковой) и тестовые задания, подчеркивая, что тест состоит уже не из задач и вопросов, не из заданий в тестовой форме, а именно из тестовых заданий [383].

С точки зрения Аванесова, тестовые задания объединяются в систему, именно эта система тестовых заданий и будет представлять собой тест. При этом под системой понимается, что в тесте собраны такие задания, которые обладают системообразующими свойствами. Это, в свою очередь, означает общую принадлежность заданий к одной и той же системе знаний, а также их связь и упорядоченность. Еще одним необходимым атрибутом настоящего теста является расположение заданий по мере возрастания трудности — от самого легкого до самого трудного. Иначе говоря, главным формальным системообразующим признаком теста является различие заданий по степени их трудности [2].

«Задание в тестовой форме», «система заданий в тестовой форме», «тест» и «тестирование» — это основные понятия тестологии, связанные между собой иерархическими отношениями (рис. 7.3) [327]. Однако при этом все перечисленные понятия взаимозависимы. Так, например, тест формируется из системы заданий в тестовой форме, но в результате пробного тестирования может корректироваться как тест в целом, так и содержание и форма отдельных его заданий.

Рис. 7.3. Иерархия основных понятий тестологии.

Понятие «длина теста» введено в начале XX в. Ч. Спирманом и обозначает — на русском языке — количество заданий в тесте. Чем длиннее тест, тем больше в нем заданий. От числа заданий некоторым образом зависит точность педагогического измерения. В тест стараются отобрать минимально достаточное количество заданий, которое позволяет сравнительно точно определить уровень и структуру подготовленности.

По своей длине тесты могут быть короткими (10—20 заданий), средними (40—60 заданий) и длинными (до 500 заданий). Оптимальное количество заданий определяется целями контроля, но практика показывает, что это примерно 40—60 заданий. Количество заданий в тесте принято называть длиной теста [389].

При разработке теста ведущую роль играет его содержание.

Содержание теста можно определить как оптимальное отображение содержания образования в системе тестовых заданий. Содержание школьного образования определяется как система знаний и опыта человечества, усвоение которой необходимо для последующего приобретения профессионального образования и для повышения качества жизни. Содержание образования задается различными образовательными программами, выбор которых осуществляется учащимися на добровольной основе.

Слова «оптимальное отображение» предполагают необходимость отбора такого контрольного материала, ответы на который с высокой вероятностью (больше 95%) свидетельствовали бы об уровне подготовленности каждого учащегося.

Содержание теста в первую очередь определяется целями тестирования. Это, пожалуй, самый главный принцип, который положен в основу разработки теста.

Содержание теста определяется разработчиками теста с опорой на ряд педагогических принципов.

Первый принцип разработки содержания теста — соответствие содержания теста целям тестирования.

Второй принцип — определение значимости проверяемых знаний. Принцип значимости указывает на необходимость включения в тест только тех элементов учебной программы, которые можно отнести к наиболее важным, без которых знания становятся несущественными, фрагментарными, состоящими из второстепенных элементов. Поскольку именно ключевые элементы формируют основу подлинных знаний, в тест в первую очередь включают, конечно, их. Отбор значимых элементов проводится с опорой на мнения педагогов-экспертов, имеющих личный опыт преподавания и проверки знаний по интересующей учебной дисциплине.

Третий принцип — взаимосвязь содержания и формы. Настоящий тест можно охарактеризовать как результат соединения содержания заданий с наиболее подходящей для них формой. Одновременно форма является способом существования и сохранения содержания задания. Вне тестовых форм ни тест, ни его содержание не существуют.

Четвертый принцип — содержательная правильность тестовых заданий. В тест включается только то содержание учебной дисциплины, которое является объективно истинным и поддается аргументации. Каждое задание теста опирается, как правило, на факт, правило, теорему, норму, закон или на апробированный в практике метод. Спорные точки зрения, вполне приемлемые в науке, не рекомендуется включать в содержание тестовых заданий. В отличие от вопросно-ответной формы заданий, где даются ответы, правильные в различной степени, тестовые задания обычно требуют определенных ответов, признаваемых в качестве точных и бесспорных.

Пятый принцип — репрезентативность содержания учебной дисциплины в содержании теста. При разработке теста обращается внимание на полноту и достаточность числа заданий для аргументированного вывода о знаниях.

Репрезентативность заданий связана с числом заданий. В общем случае, чем больше заданий, тем репрезентативнее могут оказаться результаты. Число заданий традиционного теста обычно бывает не меньше 30. Число заданий в тесте зависит, во-первых, от содержания проверяемого материала: чем больше объем проверяемых знаний, тем большее обычно требуется число заданий. Во-вторых, от вида тестов; интегративные тесты требует меньшего числа заданий в силу того, что для правильного решения каждого задания надо обладать знаниями различных учебных дисциплин. Следовательно, тест, состоящий из интегративных заданий, охватывает большее число проверяемых учебных элементов. И, в-третьих, точность педагогических измерений зависит от числа заданий; в традиционном тесте точность измерения растет по мере увеличения числа заданий.

Шестой принцип — соответствие содержания теста уровню современного состояния науки. Этот принцип вытекает из естественной необходимости проверять знания школьников не на устаревшем, а на современном учебном и контрольном материале. Трудность реализации этого принципа заключается в опосредованности связи содержания теста с уровнем развития науки.

Седьмой принцип — комплексность и сбалансированность содержания теста. Тест, разработанный для итогового контроля знаний, не может состоять из материалов только одной темы, даже если эта тема является самой ключевой в учебной дисциплине. Необходимо искать задания, комплексно отображающие основные, если не все, темы учебного курса.

Восьмой принцип — системность содержания. Это означает формулирование такого содержания тестовых заданий, которое отвечало бы требованиям системности при проверке знаний. Помимо подбора заданий с системным содержанием важно иметь задания, связанные между собой общей структурой знаний. Это возможно в тех случаях, когда каждое задание проверяет преимущественно свою часть в общей системе знаний. Идеальный вариант при разработке теста — когда задания не пересекаются по содержанию и по статистическим показателям между собой, но все имеют положительные корреляции с какимлибо внешним критерием знаний испытуемых.

Девятый принцип — вариативность содержания. После первого применения теста его содержание становится известным испытуемым. И если есть условия для передачи информации о содержании заданий другим учащимся, то это почти всегда делается. Испытанным в практике способом защиты тестовых результатов от возможных искажений такого рода является создание множества вариантов заданий одного и того же теста. Соответственно тесты, состоящие из вариантов заданий, называются параллельными, если при этом выполняются еще и некоторые статистические условия. Например, они должны быть примерно равны по трудности, иметь сходные показатели вариации тестовых баллов испытуемых. Кроме того, содержание теста не может оставаться неизменным, независимым от нового содержания учебной дисциплины и от новых учебников [4].

Графически наиболее часто используемые в образовательной практике формы тестовых заданий представлены на рис. 7.4.

Закрытая форма (с вариантами выбора ответа) (multiple-choice items) — форма тестового задания, при которой испытуемый должен выбрать правильный ответ из нескольких вариантов [20].

Тестовые задания закрытой формы нашли наиболее широкое применение благодаря большей возможности их стандартизации и автоматизации процесса контроля, особенно при использовании компьютерной технологии для подсчета баллов испытуемых. В тестовых заданиях закрытой формы выделяются основная часть, включающая вопрос (задание, проблему), и готовые ответы, сформулированные разработником. При нормативно-ориентированном подходе среди ответов правильным обычно бывает только один, а при критериально-ориентированном никаких ограничений практически нет — все определяется целями обучения и контроля, возможностью содержания учебного материала. Неправильные (желательно, чтобы они были правдоподобными) ответы в новой теории конструирования тестов называются дистракторами. Число ответов может быть различным, но наиболее оптимальным считают «7 ±2» — чаще всего 5 — ответов.

Рис. 7.4. Наиболее часто используемые в образовательной практике формы тестовых заданий.

Неопытные разработчики для уменьшения «угадывания» вводят нередко большее количество ответов, затрудняя работу над тестом. Количество ответов должно быть таким, чтобы испытуемый с одного обзора смог определить верный ответ. Даже если испытуемый не знает верного ответа, он «работает» по принципу идентификации: вначале «опознает» верный ответ, а потом указывает его. Да, нередко ему помогает интуиция, но это можно только приветствовать. Еще раз хочется подчеркнуть — в критериально-ориентированных тестах, особенно в процессе обучения, не надо бояться так называемых «угаданных» ответов.

Тестологи отмечают, что неправдоподобные ответы, перестающие выполнять свою функцию, должны быть удалены из теста как неработающие. Что же касается нелепых дистракторов, то им не должно быть места в тестах, чтобы не вводить обучающихся в заблуждение, не формировать «ложное» знание.

Тестовое задание считается оптимальным, если знающие учащиеся выполняют его правильно, а незнающие выбирают любой из ответов с равной вероятностью.

В критериально-ориентированных тестах количество ответов зависит от изучаемого материала и целей обучения, поэтому количество ответов может быть от двух (для проведения экспресс-диагностики в обучающих программах или для самоконтроля) до 10-ти и более.

Итак, к тестовым заданиям закрытого типа относятся задания, предполагающие операцию выбора верного (верных) ответа из предложенных (исключением являются тестовые задания на идентификацию, в которых ответ заложен в самом задании — «да», «нет»).

Тестовые задания закрытой формы строятся как в виде вопроса, так и в виде утвердительного предложения, т. е. в виде высказывания истинного или ложного. Тестологи рекомендуют применять утвердительную форму предложения как более короткую. Но в отдельных случаях рационально применять вопросительную форму (только такую форму, как было показано выше, имеют тесты на идентификацию).

Основные требования к заданиям закрытой формы. Для правильного формулирования заданий теста рекомендуется выполнять следующие требования:

• — в тексте задания не должно быть двусмысленности и неясности формулировок;
• — основная часть задания должна иметь краткую формулировку (7 ±2) слова;
• — в основной текст задания не должно вводиться более одного придаточного предложения;
• — ответы (по возможности) должны быть короче основной части задания;
• — все ответы к одному заданию должны быть приблизительно одной длины;
• — в тексте задания должны отсутствовать вербальные ассоциации, способствующие выбору правильного ответа с помощью догадки;
• — частота выбора одного и того же места для правильного ответа в различных заданиях теста должна быть примерно одинаковая, либо номер места для правильного ответа выбирается в случайном порядке;
• — из числа неправильных исключаются ответы, вытекающие один из другого;
• — из числа тестовых исключаются задания, содержащие оценочные суждения и мнения испытуемого по конкретным вопросам;
• — все дистракторы к каждому заданию должны быть равновероятно привлекательными для испытуемых, не знающих правильного ответа;
• — ни один из дистракторов не должен являться частично правильным ответом, превращающимся при определенных дополнительных условиях в правильный ответ;
• — ответ на одно задание не должен служить ключом к правильным ответам на другие задания теста, т. е. не следует использовать дистракторы из одного задания в качестве ответов к другим заданиям теста;

— все ответы должны быть параллельными по конструкции и грамматически согласованными с основной частью задания теста.

Такие требования, как: в ответах не рекомендуется использовать слова «все», «ни одного», «никогда», «всегда» и т. п., в большей степени относятся к нормативно-ориентированным тестам. То же самое можно отнести и к запрету внесения в качестве дистракторов выражений «ни один из перечисленных», «все перечисленные» и т. п., которые способствуют угадыванию правильного ответа. В критериально-ориентированных тестах, применяемых при обучении, такого ограничения нет.

Тестовые задания закрытой формы широко применяются в качестве обучающих, их с успехом можно использовать при «входном» контроле знаний, для устного группового опроса, в процессе которого преподаватель задает вопрос, а тестируемые отвечают либо сразу (по команде преподавателя), либо отвечают старшие команд, либо один тестируемый, а остальные «поднятием руки» дают согласие на то, что ответ верный, и т. д.

Среди закрытых тестовых заданий различают:

• — задания с выбором одного правильного ответа;
• — задания с выбором одного наиболее правильного ответа;
• — задания с выбором нескольких правильных ответов.

При использовании задания с выбором одного правильного ответа тестирование начинается с общей инструкции для испытуемых. Она является короткой и четкой. «Обведите кружком номер правильного ответа!» — если тестовый контроль проводится с помощью бланков. Или: «Отвечая на задания теста, нажимайте на клавишу с номером правильного ответа!» — если контроль проводится с помощью компьютера.

Если все задания представлены в одной форме, инструкция пишется один раз. Если в тесте имеются задания других форм, то инструкция меняется при каждом изменении формы.

Содержательная основа задания. Она пишется прописными буквами, что позволяет с первого взгляда отделить содержание задания от содержания ответов на него. При разработке содержания заданий используются следующие принципы.

Первый из них — это принцип фасетности. Это главный принцип композиции, позволяющий создавать в одном задании, сразу несколько вариантов этого же задания, что помогает полностью исключить такую распространенную форму искажения результатов, как списывание, и дает возможности объективного сопоставления тестовых баллов испытуемых. Но при этом должно выдерживаться еще одно существенное условие — все элементы из фасета должны принадлежать одной и той же укрупненной дидактической единице знаний.

Важно отметить, что принцип фасетности по-настоящему может быть использован только в современных компьютерных технологиях обучения, где есть возможность автоматически менять содержание того или иного задания для каждого испытуемого. Каждому ученику компьютер выдает только один элемент из фасета [Там же].

Пример задания с одним фасетом:

• 1) с суши на море
• 2) с моря на сушу

Задания с двумя ответами лучше использовать для экспресс-диагностики, при которой точность измерения менее важна по сравнению с быстротой. Такая диагностика особенно полезна до начала изучения дисциплины. Другая сфера применения — самоконтроль, позволяющий быстро обнаружить пробелы в собственных знаниях и затем ликвидировать их. Третья сфера — автоматизированные контрольно-обучающие программы, в которых обучение начинается с тестирования и им же заканчивается. Хорошее обучение всегда дифференцированное или, того лучше, индивидуализированное (адаптивное), поэтому выявление исходного уровня знаний здесь особенно важно.

Задания с двумя ответами используются и для устного группового опроса, в процессе которого преподаватель читает задание, а учащиеся либо сразу, либо спустя 3—5 с отвечают все сразу. В хоре голосов легко услышать неправильные ответы, которые тут же исправляются. Чем прочнее знания, тем увереннее звучат голоса. Преимущества такого опроса очевидны — быстрота, большой охват, высокая активность, эмоциональное общение и помощь в процессе контроля, чего не допускают другие методы проверки знаний. Учителя, прошедшие подготовку у автора, применяют такие задания для проведения открытых уроков и для организации самоконтроля.

Задания с двумя ответами эффективны в текущем контроле и самоконтроле знаний, в профориентации и профессиональном отборе. Хотя эти задания дают менее точные оценки, чем задания с большим числом ответов, оценки получаются быстрее и экономнее, что имеет практическое значение. В текущем контроле и на ранних стадиях отбора точность оценки играет меньшую роль, чем быстрота тестирования [Там же].

Закрытые тестовые задания множественного выбора одного правильного ответа из предложенных вариантов должны удовлетворять следующим требованиям:

• — задание представляет собой вопрос (содержательную часть) и несколько готовых вариантов ответа на него, из них учащемуся нужно выбрать одни ответ, остальные являются неправильными;
• — содержательная часть сформулирована в виде незаконченного предложения, которое становится истинным, если выбран верный вариант ответа, или ложным, если выбран любой неверный вариант ответа (дистрактор);

• — инструкция четко определяет, сколько (один) ответов являются правильными;
• — содержательная часть имеет краткую (не более 250 символов) логическую форму, отсутствуют двусмысленные и неясные формулировки, а также придаточные предложения, вводные фразы, двойное отрицание;
• — содержательная часть задания не несет элементов инструкции — слов «укажите, отметьте, выделите, определите, найдите» и т. д.;
• — в содержательной части и ответах исключены, по возможности, слова: «большой, небольшой, много, мало, больше, меньше, часто, редко, всегда, никогда…»;
• — содержательная часть задания может быть сформулирована в невербально-вербальной форме: рисунок, схема, график в сопровождении словесного задания;
• — число вариантов ответа для задания с выбором одного правильного ответа — не менее четырех;
• — все варианты ответов грамматически согласованы с содержательной частью задания, однородны по содержанию, структуре и (за редким исключением) примерно одинаковы по количеству слов;
• — варианты ответа сформулированы согласно принципам однородности, сочетания понятий, кумуляции, градуирования, двойного противопоставления;
• — варианты ответов располагаются в определенном порядке: а) по алфавиту; б) по длине строки, в) от меньшего к большему или наоборот; г) в исторической (эволюционной) последовательности;
• — варианты ответов не содержат формулировок: «все перечисленные выше», «все утверждения верны», «ни один из перечисленных ответов», «перечисленные ответы неверны» и т. д.;
• — все повторяющиеся слова исключены из ответов и вынесены в содержательную часть задания;
• — между ответами имеются четкие различия, правильный ответ однозначен и не опирается на подсказки;
• — ни один из дистракторов не является частично правильным ответом, превращающимся при определенных дополнительных условиях в правильный ответ;
• — все дистракторы равно привлекательны для испытуемых, не знающих правильного ответа;
• — место правильного ответа выбрано в случайном порядке;
• — ответ на поставленный вопрос не зависит от ответов на предыдущие задания, среди дистракторов отсутствуют ответы, вытекающие один из другого;
• — отсутствуют задания, содержащие оценочные суждения и выясняющие субъективное мнение ученика по какому-либо вопросу [229].

Альтернативные (true — false item) — форма задания, которое содержит некоторое утверждение, которое испытуемый должен оценить как истинное или ложное (дать ответ «верно» или «неверно», «да»

или «нет»). Это также закрытая форма заданий. Задания этого вида особенно удобны для проверки языковых знаний. Для того чтобы нейтрализовать высокий процент отгадывания, необходимо предоставлять большое количество заданий [20].

На установление соответствия (matching items') — форма задания, в котором испытуемому предлагается установить соответствие между элементами двух списков (двух множеств). Тестовые задания на установление соответствия должны удовлетворять следующим требованиям:

• — задание состоит из двух столбцов слов или предложений (слева обычно приводят элементы задающего множества, содержащие постановку проблемы: конструкции, системы, обобщающие понятия, определения; справа — элементы, подлежащие выбору: части, элементы, объекты, явления. Каждый столбец имеет обобщающее название; желательно, чтобы число элементов правого столбца было примерно в два раза больше числа элементов левого столбца;
• — элементы каждого столбца являются рядоположенными понятиями, т. е. выбраны по одному основанию;
• — инструкция предлагает учащемуся установить соответствие элементов одного столбца элементам другого;
• — для закрытых заданий учащемуся предъявляются для выбора готовые варианты ответов;
• — для открытых заданий в инструкции учащемуся предлагается самому установить соответствие и написать ответ по приведенном образцу [229].

На установление правильной последовательности — форма задания, в котором испытуемому требуется установить правильную последовательность действий, операций и т. д.

Цель введения таких заданий в учебный процесс — формирование алгоритмического мышления, алгоритмических знаний, умений и навыков.

Алгоритмическое мышление можно определить как интеллектуальную способность, проявляющуюся в определении наилучшей последовательности действий при решении учебных и практических задач. Характерные примеры проявления такого мышления — успешное выполнение различных заданий за короткое время, разработка самой эффективной программы для ПК и т. п.

Алгоритм представляет собой систему четких правил упорядоченной деятельности. Основные требования к алгоритму: он должен быть понятен и доступен учащемуся, корректен с точки зрения цели и содержания, однозначен по трактовке и результативен в процессе осуществления заданного числа шагов. При этом однозначность предполагает наличие только одного алгоритма, соответствующего правильному ответу; остальные термины в пояснениях вряд ли нуждаются [20].

Тестовые задания на установление последовательности должны удовлетворять следующим требованиям:

• — задание состоит из последовательности элементов, нуждающихся в упорядочивании, в инструкции учащемуся предлагается установить правильную последовательность элементов;
• — в задании четко формулируется критерий упорядочивания;
• — для закрытых заданий учащемуся предъявляются для выбора готовые варианты ответов;
• — для открытых заданий в инструкции учащемуся предлагается самому упорядочить элементы и написать ответ по приведенному образцу (последовательность цифр или букв) [229].

Пример

Установить правильную последовательность:

• — События февраля — октября 1917 г.
• — VI съезд РСДРП (б)
• — отречение царя Николая 11
• — приезд Ленина
• — создание Петроградского совета
• — взятие Зимнего дворца
• — корниловский мятеж
• — ликвидация двоевластия
• — 11 съезд Советов

Задания на установление правильной последовательности состоят из следующих элементов.

Инструкция для испытуемого, в которой всего три слова: «Установить правильную последовательность». Эта инструкция сопровождается примером и пояснениями, как надо отвечать на задания этой формы. Для заданий одной формы, при контроле с помощью бланков, инструкцию перед каждым заданием можно не повторять. Однако при автоматизированном тестировании инструкцию лучше выводить на экран вместе с каждым очередным заданием. Особенно это полезно при использовании в одном тесте заданий различных форм.

Название задания, из которого тестируемый узнает, о чем его спрашивают, и знание (или умение), которое он должен продемонстрировать. Ключевое слово в названии задания лучше писать в именительном падеже.

Содержание задания, которое включает в себя название и ранжируемые элементы деятельности или определения. Задания этой формы проверяют не все, а только определенные знания, такие как алгоритмические, процессуальные, процедурные, технологические (в той части, которая связана с последовательностью операций).

Особая полезность задания на установление правильной последовательности ощущается при проверке знания определений. Задания этой формы разрабатываются также для контроля знаний основных законов, принципов, правил [20].

Открытая форма — форма тестового задания, при которой испытуемый должен дополнить основной текст таким элементом, чтобы получилось истинное высказывание.

A. H. Майоров разделяет задания открытой формы на задания дополнения и задания свободного изложения [209].

Для практических целей достаточно разграничить свободную форму ответов и форму, предполагающую выбор ответа из нескольких предложенных ответов, так как при отсутствии поля ответа по тестовому заданию невозможно определить, задан ответ обработчику или нет (ответ может содержаться в образцах, шкалах и т. д.).

Открытые тестовые задания дополнения должны удовлетворять следующим требованиям:

• — задание формулируется в виде незаконченного предложения или предложения с пропущенным словом, которое превращается в истинное высказывание, если ответ правильный. Инструкция предлагает учащемуся самому сформулировать правильный ответ, состоящий из одного слова (реже — двух слов), числа, символа;
• — допустима формулировка задания в виде вопроса, ответ на который состоит из одного слова (двух слов), числа, символа;
• — задание формулируется кратко, просто, однозначно, максимально конкретно, отсутствуют двусмысленные и неясные формулировки, а также придаточные предложения, вводные фразы, двойное отрицание;
• — каждое задание нацелено только на одно дополнение — ключевой элемент, знание которого является наиболее существенным для данного материала;
• — искомое дополнение ставится в конце задания или как можно ближе к концу:
• — содержательная часть задания может быть сформулирована в невербально вербальной форме: рисунок, схема, график в сопровождении словесного задания.

Открытые тестовые задания свободного изложения (со свободно конструируемым ответом) должны удовлетворять следующим требованиям:

• — задание формулируется в виде вопроса, инструкция предлагает учащемуся ответить на него, используя одно или несколько предложений, объяснение, расчет, рисунок, схему, таблицу или доказательство, имеющее несколько стадий;
• — формулировка задания обеспечивает максимальное структурирование ответа: пункты, этапы, ключевые элементы, схемы, позволяющее проверяющему однозначно политомически оценить ответ [229].

Создать качественный тест нелегко — это процесс длительный, трудоемкий, дорогостоящий. Иногда на подготовку качественного итогового теста профессиональные разработчики тратят 1,5—2 года. Как правило, такие тесты создаются творческими коллективами преподавателей вузов и учителей школ под руководством ведущих научно-исследовательских центров, профессионально занимающихся вопросами оценки качества образования и подготовки специалистов, имеющих определенный опыт в этом направлении, а также финансовую поддержку.

Можно назвать основные этапы разработки критериально-ориентированной проверочной (тестовой) работы [441].

• 1. Планирование работы:
  • — определение цели и структуры работы;
  • — определение числа заданий в работе;
  • — определение числа вариантов;
  • — определение условий проведения работы, включая и время на ее выполнение;
  • — определение типа используемых заданий, соотношения заданий различного типа в работе, примерного числа заданий разного типа;
  • — выявление ресурсов и затрат на разработку всей проверочной работы.
• 2. Разработка заданий.
• 3. Экспертная оценка заданий:
  • — оценка содержательной валидности заданий;
  • — анализ технических характеристик.
• 4. Доработка заданий по результатам экспертизы.
• 5. Экспериментальная проверка заданий.
• 6. Анализ и доработка заданий по результатам экспериментальной апробации.
• 7. Конструирование проверочной работы:
  • — отбор заданий, прошедших экспертизу и экспериментальную проверку;
  • — выравнивание вариантов;
  • — подготовка инструкции по проведению работы, списка правильных ответов.
  • — подготовка макета проверочной работы.
• 8. Экспертное определение проходного балла: «достиг — не достиг заданного уровня».
• 9. Экспериментальная апробация проверочной работы:
  • — проверка отдельных вариантов работы на надежность;
  • — проверка работы на надежность и валидность проходного балла.
• 10. Подготовка пакета документов для проведения проверочной работы.

Высокое мастерство разработчиков современных тестов базируется на наличии у разработчиков достаточно глубоких специальных знаний по теории конструирования тестовых материалов, наличии технического и программного обеспечения, опыте практической деятельности, навыках апробации и параметризации тестов, использовании итерационных этапов совершенствования теста.

Использование именно таких тестов в образовательной практике особенно эффективно. Несмотря на значительные трудовые затраты, необходимые на этапе подготовки тестовых материалов, грамотно составленные контрольно-оценочные средства обеспечат педагогам эффективность работы в последующем. Именно поэтому тестовая культура учителей должна выстраиваться в русле алгоритмических подходов к созданию контрольно-оценочных средств [124].

При конструировании теста разрабатывается его спецификация — документ, определяющий структуру и содержание теста. Спецификация теста содержит основные характеристики содержания теста в целом, а также содержания и форм тестовых заданий. В спецификации должна содержаться информация о целях, задачах, плане и структуре теста, а также должны быть указаны основные требования к правилам и условиям проведения тестирования, обработки результатов тестирования и их интерпретации [427].

Спецификация включает:

• — название учебной дисциплины, по которой разрабатывается тест;
• — цель создания теста, обоснование выбора подхода к его созданию, описание возможных сфер применения теста;
• — перечень нормативных документов (стандартов, базисных программ, требований к уровню подготовки выпускников и др.), используемых при планировании содержания теста;
• — основные учебники, которыми могут пользоваться испытуемые при подготовке к тестированию;
• — перечень пронумерованных элементов содержания полного курса изучения дисциплины, включенных в тест, с указанием разделов и подразделов (укрупненных тем);
• — пронумерованный перечень объектов контроля (перечень видов знаний, умений, обязательных при усвоении содержания);
• — план (структура) теста в виде таблицы, где указаны:
  • • номер задания;
  • • номер раздела или подраздела содержания дисциплины;
  • • виды знаний (умений) или их номера, контролируемые каждым заданием;
  • • уровни знаний, контролируемые каждым заданием (1 — воспроизведение, общее представление о чем-то, цитирование; 2 — решение по образцу, реализация стандартного алгоритма; 3 — творческий уровень применения знаний, перенос знаний, нестандартная ситуация, формулировка);
  • • ориентировочная мера трудности задания (доля правильных ответов);
• — описание общей структуры теста, включающее перечень субтестов (если они есть) с указанием подходов к их разработке;
• — количество форм заданий и инструкций, примеры форм и инструкций;
• — количество заданий различной формы с указанием числа ответов к закрытым заданиям, общее число заданий в тесте;
• — число параллельных вариантов теста либо ссылку на кластер, содержащую число и номера заданий кластера;
• — вес каждого задания, рекомендуемый автором теста;

• — рекомендуемое время выполнения теста, в том числе на каждый субтест, среднее время выполнения одного задания с учетом специфики формы;
• — соотношение заданий по различным разделам и видам учебной деятельности школьников;
• — рекомендации по контингенту учащихся для апробации теста;
• — охват требований стандартов (для аттестационных тестов);
• — рекомендуемую автором стратегию расположения заданий в тесте.

Определив цели составления тестов, уточнив подходы и выбрав уровень использования, разработчик составляет модель педагогического тестирования. Такая модель может быть представлена в виде технологической матрицы. Технологическая матрица — форма представления отбора содержания образования для конструирования педагогических тестов. Такая матрица может носить разные названия: содержательная решетка, организационно-деятельностная матрица, тестовая решетка и т. п. Однако смысл всегда остается один. Технологическая матрица задает содержание, которое будет отобрано для проверки, и важность того или иного элемента содержания. Она может содержать уровни достижений, которые будут проверены, их соотношение, соответствие стандарту и некоторые другие компоненты (табл. 7.1 и 7.2).

Таблица 7.7.

Гипотетическая матрица итогового теста по физике.

Таблица 7.2

Краткая матрица итогового теста по физике

Весь предмет должен быть полностью охвачен предлагаемыми вопросами. Содержание предмета должно полностью покрываться матрицей по всем темам. Если вопрос или часть вопроса не соответствует теме или не полностью ясен в рамках данной темы, от вопроса следует отказаться.

Таким образом, фиксируется требование широты теста, полного учета всех разделов предмета, который находит выражение в матрице. Для критериально-ориентированных тестов отбор содержания является самым важным этапом его создания, так как для принятия решения о достижении данной цели обучения, например, стандарта, необходимо достаточно полно и точно описать содержание стандарта и выразить его совокупностью заданий, которая была бы представительной для данной цели.

В матрице контролируемая область знаний отражается также в распределении заданий по различным темам. Основанием для этого является: важность, объем и количество учебного времени. Если объем учебного материала по теме может быть увязан со временем его изучения, скорее всего, чем больше объем темы, тем больше времени на ее изучение выделяется. Важность темы совместить со временем не представляется возможным. Во-первых, темы могут быть не очень большими по объему, но очень важными, фундаментальными. Во-вторых, само понятие «важности» темы достаточно относительно. Например, для вступительных экзаменов в вузы и выпускных — в ОУ, важность темы будет носить разный характер. Соответственно, между технологическими решетками этих тестов может быть существенная разница.

Для подсчета количества заданий, отводимых на проверку каждого пункта перечня, необходимо задаться первоначальным общим числом заданий в тесте, т. е. выбрать длину теста. Первоначальная длина теста устанавливается с учетом цели создания теста, возраста тестируемых учеников и объема содержания проверки.

Когда речь идет об итоговом тестировании, обычно останавливаются на 60—80 заданиях. Исходя из постулатов классической теории тестирования, чем длиннее тест, тем надежнее результаты тестирования. Если исходить из того, что примерное время выполнения заданий с выбором — 2 минуты, открытой формы — до 5 минут, то тестирование старшеклассников, студентов длится около двух часов. Это время соответствует наступлению усталости у большинства испытуемых.

В настоящее время издано огромное количество специальной литературы по разработке педагогических тестов, по использованию готовых, уже разработанных профессиональными тестологами тестов. Перед учителем возникает альтернатива: можно воспользоваться готовыми тестами, данными в различных сборниках, учебниках, а можно, опираясь на знания, полученные в вузе, занимаясь самообразованием, постичь науку создания педагогических тестов и научиться разрабатывать качественные профессиональные педагогические тесты — великолепное и эффективное современное средство оценивания результатов обучения в школе.