Требования к заданиям в тестовой форме по русскому языку

Структура любого теста включает в себя регламентирующую, операционную и инструментальную части.

Регламентирующая часть содержит общую инструкцию ко всему тесту, предназначенную для тестируемого, где указывается цель тестирования, время выполнения теста, структура и количество заданий в тесте; инструкции к каждому конкретному заданию или комплексу заданий, объединенных одной формой, указания на то, что и каким образом необходимо сделать, чтобы выполнить задание, например, «заключите в кружок номера всех правильных ответов», «установите правильную последовательность действий при…», «Установите соответствие…» и др. (инструкция должна быть направлена на то, чтобы испытуемые явно представляли себе, что они должны делать во время тестирования: где и как записывать ответы, при необходимости в инструкцию включаются примеры заданий для разъяснения); инструкцию для тестора, в которой указывается, как необходимо организовывать сеанс тестирования.

Операционная часть представляет собой собственно задания теста, включающие формулировку задания, верные ответы, дистракторы (правдоподобно подобранные, но неверные ответы), факультативно могут содержаться стимульные материалы (изображения: графические элементы, таблицы, графики, рисунки; звуковые элементы и видеофрагменты) .

Инструментальная часть включает матрицу ответов (ключи к тесту, шаблон, по которому проверяется правильность выполнения заданий теста), систему оценивания (порядок начисления баллов за верно выполненные задания), а в случае бланковых тестов еще и бланк, на котором тестируемый выполняет тест.

При создании тестовых заданий необходимо соблюдать ряд правил:

• — содержание задания должно отвечать требованиям программы и отражать содержание обучения, в противном случае будет не ясно, что проверялось (задания, выполняемые всеми испытуемыми, неинформативны: они не демонстрируют уровень владения учебным материалом, задания, которые не выполняются ни одним из тестируемых, скорее всего, неправильно составлены, так как отвечающие на них могут просто не понимать сути задания);
• — задание должно проверять один элемент знания или умения, в противном случае будет неясно, с каким элементом проверяемый не справился;
• — при составлении задания необходимо избегать слов «иногда», «часто» и подобных, в противном случае будет иметь место провокация неверного ответа, так как данные слова имеют субъективную оценку;
• — при подборе неверных ответов следует искать правдоподобные, привлекательные ответы, которые при незнании покажутся правильными, в противном случае будет возможность угадывания (существует общее правило: если какой-то дистрактор испытуемые никогда не выбирают, то есть видят его заведомо ложный характер, его следует удалить из задания);
• — варианты ответов должны быть грамматически согласованы с самим заданием, чтобы при верном ответе получалось верное утверждение, а при неверном — ложное, в противном случае будет нарушена логика, а само задание будет пониматься с трудом;
• — не использовать в самом задании отрицаний, в противном случае возникнут противоречия при чтении задания.

Существуют также правила расположения заданий на бланке (по А. Майорову):

• — всё задание должно умещаться на одной странице;
• — у тестируемого должно быть достаточно места для записей;
• — для заданий открытого типа необходимо выделить достаточно места для фиксации ответа с учетом различного объема почерка испытуемых;
• — место для ответа должно быть выделено определенным образом, лучше, если оно будет обозначено единообразно для всех заданий;
• — размер шрифта теста, шрифтовое и полиграфическое оформление должны соответствовать возрасту детей, для которых проводится тестирование, и быть не хуже, чем рекомендовано соответствующими санитарными службами;
• — варианты ответа лучше располагать в один столбик, максимум в два;
• — особые места инструкции и заданий должны выделяться шрифтом (информация о необычном количестве ответов и т. д.);
• — в том случае, если тестирование предполагает несколько частей теста (субтестов), то на предыдущей странице необходимо поместить предупреждение о необходимости перевернуть страницу.

К заданиям в тестовой форме по русскому языку предъявляют следующие требования:

• — содержание задания должно соответствовать научной лингвистической терминологии, но с учетом изучения терминов обучающимися;
• — нельзя в тестовом задании для проверки правописания употреблять слова, допускающие разные написания, а также предложения с авторской пунктуацией;
• — не рекомендуется в тестовых заданиях употреблять для проверки правописания трудные слова, которые еще ни разу не приходилось писать тестируемым;
• — не рекомендуется в тестовом задании использовать сложные случаи, которые не рассматриваются в школе, например, случаи сращения и переходные явления в русском языку;
• — при формулировке задания исключаются повторы слов, неизвестные тестируемым символы, иноязычные слова, редко употребляемые в процессе обучения русскому языку;
• — в тестовые задания включается только то содержание, которое является истинным и поддается некоторой рациональной аргументации, то есть все спорные точки зрения включать не рекомендуется, например, если в учебниках по русскому языку есть различные точки зрения на то, чем являетсяТЬ: окончанием или суффиксом, то включать задания типа «В слове „прыгнуть“ -ТЬ является 1) окончанием,
• 2) суффиксом» в итоговые тесты по русскому языку нельзя;
• — в тест необходимо включать те материалы, которые являются наиболее важными, ключевыми, без которых знания становятся неполными, то есть задания типа «Названия высших выборных учреждений зарубежных стран пишутся 1) с прописной буквы, 2) со строчной буквы» в итоговый тест включать не рекомендуется;
• — в тесте задания должны идти по нарастанию трудности (трудность может быть, с одной стороны, умозрительной, то есть определяемой на основе предполагаемого числа и характера умственных операций, необходимых для успешного выполнения задания, а с другой — статистической, то есть определяемой в ходе подсчета неправильных ответов в каждом задании; трудность также определяется по характеру материала, который затрудняет учащихся в силу объективной сложности русского языка, например, правописание наречий, и в силу субъективных причин, связанных с отдельными темами, наиболее плохо усвоенными учащимися);
• — тест, разработанный для итогового контроля знаний, должен содержать материал по всем разделам русского языка, но не быть перегруженным тестовыми заданиями;
• — тестовые задания должны соответствовать требованию «текстуальности» (внешней связности, внутренней осмысленности, законченности);
• — тестовые задания должны учитывать возрастные особенности учащихся, не должны выходить за рамки коммуникативного, читательского и жизненного опыта тестируемого;
• — форма задания должна выбираться в соответствии с логикой проверяемых знаний и умений.

В отношении формулировки задания в виде утверждения или в виде вопроса однозначного подхода нет. По мнению В. Аванесова, «Учебные вопросы многословны и порождают ответы — полные и неполные, правильные и неправильные, разные по форме, содержанию и структуре, вследствие чего оценка таких ответов требует обязательного участия преподавателя и сопровождается некоторой долей субъективизма. Вопросы и ответы на них иногда бывают столь неопределенными и многословными, что для выявления их истинности требуются большие затраты интеллектуальной энергии, в то время как технологичная методика тестирования предполагает четкую и быструю дифференциацию ответов. В этом смысле традиционные вопросы и ответы не технологичны; их не рекомендуется включать в тест» и далее: «Семантическое преимущество заданий заключается в лучшем понимании их смысла и значения… смысл тестового утверждения улавливается всегда лучше, чем смысл вопроса. В тестовых утверждениях нет ни одного лишнего слова и даже знака, в то время как вопрос требует ряда дополнительных слов и знаков для выражения требуемого смысла, значения и интонации» (Аванесов В. С. Композиция тестовых заданий. — М., 2002. — С. 11—12). А Майоров в подтверждение точки зрения на возможность использования в формулировке задания вопроса приводит примеры из зарубежных источников: в рекомендациях по составлению тестовых заданий Голландского института CITO говорится: «Предпочтительнее применять прямые вопросы, представляющие собой полное предложение с вопросительным знаком в конце». По данным А. Майорова, при аттестации учащихся в разных странах преимущественно (более 90%) используются вопросы, кроме того, он настаивает на том, чтобы в заданиях с выбором двух альтернативных, требующих ответа «да» или «нет», использовались вопросы. Наиболее распространенной является точка зрения В. Аванесова.

При оценивании тестов возможны три подхода:

• 1) начисление одного балла за каждый правильный ответ и ноль баллов — за неправильный ответ;
• 2) за неправильный ответ из суммы уже набранных баллов вычитается один балл;
• 3) за разные по сложности задания начисляется разное количество баллов.

Суммирование всех баллов, полученных испытуемым, дает число правильных ответов.

По количеству тестовых заданий тесты делятся на короткие (10— 20 заданий), средние (40—60 заданий) и длинные (до 500 заданий). Оптимальным является 40—60 заданий в тесте. Число заданий, необходимых для одного варианта теста, определяется целью тестирования, типом используемых заданий, зависит от возраста тестируемых и времени, которое отводится на сеанс тестирования. Практика показывает, что в среднем на выполнение заданий с выбором ответа учащиеся тратят до 1 минуты, на выполнение задания открытой формы — около 2 минут. Время, отводимое на выполнение всего теста, должно соответствовать цели тестирования. Оно определяется исходя из требования, что большинству экзаменуемых (более 80%) должно хватить времени на выполнение работы, то есть время не должно являться фактором, сильно влияющим на результаты выполнения теста.

Средством упорядочения и эффективной организации содержания теста является форма тестового задания. Форма задания считается правильной, если, по В. Аванесову, она позволяет точно выразить содержание, понятна всем испытуемым, исключает возможность появления ошибочных ответов по формальным признакам. Существуют четыре формы тестовых заданий.

I. Задания с выбором ответов — это задания, в которых испытуемому необходимо из ряда предложенных пронумерованных ответов выбрать один или несколько, на его взгляд, правильных ответов. Технология создания такого задания состоит из следующих этапов: формулировка вопроса, потом подготовка ответа на него, переформулировка вопроса в утверждение, затем подбор дистракторов (правдоподобных, но неверных ответов). Например, вопрос: «Почему в слове «замирать» в корне пишется буква «И»?; ответ: «Так как после корня следует суффиксА-«; переформулировка в виде утверждения: «В слове «замирать» в корне пишется буква «И», так как»; подбор дистракторов: «1) перед сочетанием «-РА-» всегда пишется «И», 2) в безударном положении в соответствии с произношением пишется «И», 3) это слово является словом-исключением из правила», 4) корень «-мир-» пишется в словах со значением «потерять способность произвольных движений». Таким образом, задание выглядит так:

В слове «замирать» в корне пишется буква «И», так как

• 1) перед сочетанием «-РА-» всегда пишется «И»
• 2) в безударном положении в соответствии с произношением пишется «И»
• 3) после корня следует суффикс «-А-»
• 4) это слово является словом-исключением из правила
• 5) корень «-мир-» пишется в словах со значением «потерять способность произвольных движений».

У этой формы задания есть следующие разновидности:

1. Задание с выбором одного правильного ответа — вид задания, где среди ответов только один является верным, в таких заданиях уже в инструкции указывается, что есть только один правильный ответ: «Заключите в кружок номер правильного ответа».

Пример задания:

Служебными частями речи являются

• 1) предлоги, союзы, частицы;
• 2) частицы, союзы, местоимения;
• 3) местоимения, предлоги, наречия.
• 2. Задание с выбором наиболее полного правильного ответа — вид задания на определение не только правильного, но и наиболее точного ответа. Инструкция к такому заданию формулируется следующим образом: «Заключите в кружок номер наиболее полного правильного ответа»

Пример задания:

Прилагательные согласуются с существительными

• 1) вроде;
• 2) вроде, числе;
• 3) в роде, числе, падеже;
• 4) в роде, числе, падеже, склонении;
• 5) в роде, числе, падеже, склонении, залоге.

Ответы 1—3 все являются правильными, но в различной мере, поэтому при начислении баллов лучше всего за первый ответ начислять 1 балл, за второй — 2 балла, а за третий (наиболее полный и правильный) — 3 балла. В таких заданиях неправильных ответов должно быть не менее 2, чтобы в случае незнания испытуемый не смог логически подобрать ответ, а в целом ответов должно содержаться не менее 5.

3. Задание с выбором нескольких правильных ответов — вид задания, в котором правильных ответов содержится не менее двух. В инструкции к такому заданию говорится: «Заключите в кружок номера всех правильных ответов»

Пример задания:

К существительным первого склонения относятся слова:

• 1) на березе;
• 2) на небе;
• 3) речь;
• 4) в сказке;
• 5) молодежь;
• 6) в музее;
• 7) цветок.

В соответствии с законом логики не следует применять такие ответы, как «правильного ответа нет» или «все ответы правильные».

Не рекомендуется использовать задания с выбором неправильных ответов (например, «Заключите в кружок номер неправильного ответа»), так как, по мнению В. Аванесова, учебный процесс сосредоточен преимущественно в мире правильных знаний. Не рекомендуется также отрицательная формулировка задания (например, «Заключите в кружок номера слов, в которых не пишется буква „ы“»), она уменьшает определенность, конкретность задания, путает тестируемого. Лучше не использовать в одном тесте задания с разными указаниями, например, в данном задании: «Заключите в кружок номера слов, в которых пишется буква «ы», в другом: «Заключите в кружок номера слов, в которых пишется буквы «и»; в этом случае у тестируемых возможны ошибки не по незнанию, а по невнимательности.

В. Аванесов разработал принципы подбора ответов к заданиям с выбором ответа:

• — принцип противоречивости для заданий с двумя ответами: использование в одном из ответов частицы «не», логическая схема такого ответа выглядит как «А и не А» (Частица «О», стоящая перед обращением, запятой от него 1) отделяется; 2) не отделяется);
• — принцип противоположности для заданий с двумя ответами: использовании в ответах антонимов как семантических, так и контекстуальных (В слове «люк» согласный «л» 1) мягкий; 2) твердый);
• — принцип однородности: ответы относятся к одному роду, виду (Суффикс «л» в глаголе «шел» является 1) словообразующим; 2) формообразующим);
• — принцип кумуляции: содержание каждого следующего ответа включает в себя содержание предыдущих (см. пример выше на задание с выбором наиболее полного правильного ответа);
• — принцип сочетания (см. пример выше на задание с выбором одного правильного ответа);
• — принцип градуирования: содержание ответов строится по нарастанию признака (В слове «объездчик» содержится 1) 7 звуков; 2) 8 звуков; 3) 9 звуков);
• — принцип удвоенного противопоставления для заданий с четырьмя ответами (В слове «сук» звук «с» 1) твердый, звонкий; 2) твердый глухой; 3) мягкий звонкий; 4) мягкий глухой).

С помощью заданий с выбором ответа можно проверить как знания лингвистических понятий, фактов, так и умения опознавательного и квалификационного характера. Задания с выбором одного правильного ответа лучше всего использовать на начальном этапе усвоения знаний, а задания с выбором нескольких правильных ответов — на этапе контроля. Анализ выбора неправильных ответов тестируемыми может помочь в определении наиболее распространенных ошибок, что поможет наметить программу коррекции знаний и умений учащихся.

Недостатками заданий с выбором ответов являются, во-первых, риск, что тестируемый запомнит неправильный ответ как верный, во-вторых, в таких заданиях, особенно с выбором одного ответа, самая большая вероятность угадывания, в-третьих, найти правильный ответ легче, чем сформулировать самому, так как в предложенных ответах не требуется обоснования.

II. Задание открытой формы — вид задания, в котором нет указания возможных ответов, испытуемому предлагается самому найти правильный ответ и дописать на месте пробела слово или словосочетание, которые свидетельствуют о наличии или отсутствии знаний и умений, проверяемых заданием. Технология создания такого задания включает в себя составление вопроса, потом формулировку ответа на него, а затем исключение из ответа ключевого слова и замена его пробелом, например, вопрос: «Как называется раздел науки о языке, изучающий правила написания слов?»; ответ: «Раздел науки о языке, изучающий правила написания слов, называется орфографией»; переформулировка в тестовое задание: «РАЗДЕЛ НАУКИ О ЯЗЫКЕ, ИЗУЧАЮЩИЙ ПРАВИЛА НАПИСАНИЯ СЛОВ, НАЗЫВАЕТСЯ_». Инструкция к такому задания выглядит следующим образом: «Допишите на месте прочерка слово или словосочетание»

Пример задания:

ПРАВОПИСАНИЕ ЧЕРЕДУЮЩИХСЯ ГЛАСНЫХ В КОРНЯХ

«-ПАР-» И «-ГОР-» ЗАВИСИТ ОТ_.

Задания этой формы формулируются в виде утверждения: правильный ответ составляет верное утверждение, а неверный — ложное. Задания этой формы может быть построено по принципу обратимости, приведенный выше пример может быть сформулирован в обратном порядке: «ОРФОГРАФИЕЙ НАЗЫВАЕТСЯ РАЗДЕЛ НАУКИ О ЯЗЫКЕ, ИЗУЧАЮЩИЙ_». Задания, построенные по принципу обратимости, можно использовать поочередно в текущем и итоговом контроле. Еще один принцип составления заданий открытой формы — формулировка задания в виде условия «Если…, то…», например, «ЕСЛИ ПРИСТАВКА ОБОЗНАЧАЕТ ПРИСОЕДИНЕНИЕ, ПРИБЛИЖЕНИЕ, ПРОСТРАНСТВЕННУЮ БЛИЗОСТЬ ИЛИ НЕПОЛНОТУ ДЕЙСТВИЯ, ТО В НЕЙ ПИШЕТСЯ БУКВА_». Допустимо ответы ставить не только в конце, но и в середине задания (например, «НЕ» С ИМЕНАМИ СУЩЕСТВИТЕЛЬНЫМИ ПИШЕТСЯ, ЕСЛИ В ПРЕДЛОЖЕНИИ ЕСТЬ ПРОТИВОПОСТАВЛЕНИЕ С СОЮЗОМ «А»), но чем ближе пропуск к началу предложения, тем хуже понимается смысл задания.

Обобщающие рекомендации по разработке заданий открытой формы приводятся в книге В. Аванесова «Композиция тестовых заданий»:

• — содержание задания должно быть понятно всем, без исключения, испытуемым;
• — содержание задания пишется прописными буквами;
• — все утверждения делаются, по возможности, короткими;
• — добавлять лучше как можно меньше слов или знаков;
• — добавлять что-то одно;
• — добавляемое слово для лучшего понимания желательно ставить ближе к концу задания.

С помощью заданий открытой формы можно проверить знания лингвистических терминов, опознавательных признаков орфограмм и пунктограмм, а также умения опознавательного характера. Преимуществами заданий открытой формы являются более широкие возможности для оценки уровня овладения учащимся системой русского языка (выше содержательная валидность), для диагностики результатов обучения и проблем в обучении, такие задания вызывают больший интерес у учащихся, чем задания с выбором ответа.

А. Майоров относит к этой группе заданий еще свободное изложение, предполагающее на месте пропуска в задании вписывание не только слова, словосочетания, но и предложения или даже нескольких предложений.

В тестологической литературе можно встретить также другие обозначения заданий данной формы: задания на дополнение (М. Мельникова), задания с конструируемой формой ответа (Е. Михайлычев), задания со свободным ответом (Е. Ковалева).

III. Задания на установление соответствия — вид задания, при выполнении которого необходимо установить соответствие между элементами двух множеств. Чаще всего задания этого типа имеют вид таблицы, где каждому элементу левого столбца соответствует один или несколько элементов правого, при этом частей левого столбца может быть в два раза меньше, чем правого. Если количество элементов в обоих частях совпадет, то последнюю пару при незнании можно вычислить методом исключения. В правом столбце могут содержаться дистракторы, то есть элементы, не имеющие отношения ни к одному из названных частей в правом. Для разграничения столбцов используют цифры в правом и буквенные обозначения в левом.

Инструкция к таким заданием имеет следующий вид: «Установите соответствие…».

Пример задания: Установите соответствие терминов разделам науки

Раздел науки Синтаксис Пунктуация Орфография

Термины

A) Уточнение Б) Дополнение

B) Дефис

Г) Перенос слов Д) Обособление дополнений Е) Двоеточие Ж) Тире 3) Определение

Задания на соответствия применяются как в текущем, так и в итоговом контроле, они проверяют знания о взаимосвязи, родо-видовых отношениях языковых явлений, признаков орфограмм.

IV. Задания на установление правильной последовательности — вид задания, выполнение которого предполагает установление правильной очередности действий, операций, явлений. Тестируемому дается случайная последовательность каких-либо фактов, и ему необходимо слева от каждого перечисления проставить его порядковый номер в верной, по мнению отвечающего, последовательности. По В. Аванесову, можно выделить несколько вариантов последовательностей: историческая последовательность, последовательность технологических действий, последовательность различных процессов (в том числе лингвистических), цепочка умственных действий, образующая систему знаний, умений, навыков и представлений. Инструкция к заданиям на установление последовательности выглядит следующим образом: «Установите правильную последовательность…»

Пример задания: Установите правильную последовательность действии при морфемном разборе

• • выделение корня
• • выделение окончания
• • выделение приставки
• • выделение постфикса

Задания на установление последовательности могут проверить алгоритмические, процессуальные умения.

Работа по созданию теста состоит из нескольких этапов: определение целей разработки и применения теста; разработка требований к тесту (спецификация теста); проектирование содержания тестовых заданий; разработка заданий в тестовой форме; логический контроль качества заданий с целью исключения логических ошибок при формулировании заданий и выборов дистракторов; эмпирическая проверка на репрезентативной выборке испытуемых; математико-статистическое обоснование качества, отбор заданий, пригодных для включения в тест, превращение заданий в тестовой форме в тестовые задания; интерпретация результатов тестирования.

После составления теста во избежание несбалансированности и диспропорции охватываемых тестом тем, а также для самопроверки нужно на каждый тест делать спецификацию (описание основных характеристик теста), которая, по В. С. Аванесову, включает следующие составляющие: название теста, его цель, задачи, решаемые с его помощью, общее описание содержания (разделы дисциплины, охватываемые данным тестом), план теста, характеристику каждого задания (что оно проверяет и измеряет), среднее время на выполнение и ориентировочную меру выполнимости (% ожидаемых правильных ответов), характеристику ответов к каждому заданию (указать меру привлекательности при незнании), количество используемых форм тестовых заданий, оценки за выполнение заданий.

Нужно иметь в виду, что не все знания, умения, владения способами действий, а тем более наличие опыта творческой деятельности можно проверить с помощью теста. Такие показатели, как умение конкретизировать свой ответ примерами, коммуникативные умения и др. с помощью тестов проверить невозможно, поэтому тестирование является лишь одним из средств контроля, которое должно выступать в совокупности с другими средствами.

Критериями оценки содержания теста являются:

• — структурная содержательность и целостность (взаимосвязь заданий теста, охват всех необходимых для контроля дидактических единиц),
• — различие заданий по трудности (традиционной мерой трудности каждого задания является доля правильных ответов испытуемых на каждое задание, если цель проверки — отбор лучших, то и задания должны быть наиболее трудные, если отсев или текущее тестирование — задания подбираются разной степени трудности),
• — логические требования (чем меньше пересечений проверяемых знаний и умений из разных областей, тем определеннее проверка содержания дисциплины, раздела, например, чем меньше в тесте заданий, правильность выбора ответов на которые зависит от чисто логических умозаключений, тем лучше проверяются знания по русскому языку),
• — соответствие содержания форме тестового задания,
• — объективность и стандартность теста (достигается через одинаковые инструкции, способы обработки и интерпретации результатов, нормирование условий тестирования),
• — корректность тестового задания (задание должно пониматься всеми одинаково, не должно быть двусмысленности), стоимость теста (максимальное количество баллов, которое может получить испытуемый за выполнение всего теста).