Требования к тестам

Выяснив цели составления тестов, уточнив подходы и выбрав уровень использования, разработчик определяет необходимые этапы создания тестового инструментария. После этого необходимо отобрать содержание образования, то есть составить модель объекта педагогического тестирования. Она может быть представлена в виде технологической матрицы. Технологическая матрица задаёт содержание, которое будет отобрано для проверки, и важность того или иного элемента содержания. Она может содержать уровни достижений, которые будут проверены, их соотношение, соответствие стандарту и некоторые другие компоненты.

Для тестов, ориентированных на критерии (критериально-ориентированных), отбор содержания теста является самым важным этапом создания, так как для принятия решения о достижении данной цели обучения, например стандарта, необходимо достаточно точно и полно описать содержание стандарта и выразить его представительной совокупностью заданий. Поэтому главной проблемой в разработке тестов, используемых для оценки достижения образовательных стандартов, является соотношение содержания стандарта и содержания теста.

В самом общем виде тестовые задания должны:

• · быть составлены с учётом соответствующих правил;
• · соответствовать содержанию учебного материала;
• · быть проверены на практике (апробированы);
• · иметь рассчитанные показатели качества — сложность и дискриминативность;
• · быть максимально разнообразными по форме.

Несмотря на многообразие видов заданий, все они могут быть сведены к нескольким типам или их сочетанию. Например, задача с переструктурированием данных может быть представлена как совокупность задач последовательности и соответствия; задания на нахождение ошибок — как частный случай заданий на исключение лишнего и так далее.

С точки зрения разработчика, минимальные требования к тестовому заданию заключаются в наличии трёх частей:

• 1. Инструкции.
• 2. Текста задания (вопроса).
• 3. Правильного ответа.

Инструкция должна указывать на то, что должен сделать испытуемый, каким образом выполнять задание, где и как делать пометки и записи, описывать то, что ученик должен сделать руками. Например:

• — «ответ запишите в рамку, которая находится ниже задания. Для промежуточных вычислений используйте место слева от вопроса…»;
• — «в третьем столбце над строчками впишите цифры, соответствующие понятиям, обозначенным буквами в этой же строке…»;
• — «используя калькулятор, проведите вычисления, ответ запишите в бланке в строке 4…» и т. д.

В тестах допускается делать одну инструкцию для группы однотипных заданий и помещать её в начале данной группы заданий. Для проверки того, как испытуемые поняли инструкцию, желательно снабдить её несколькими примерами, которые разбираются вместе с проводящим тестирование.

Текст задания или вопроса представляет собой содержательное наполнение задания.

Правильный ответ — обязательный атрибут любого тестового задания. Без него задание, за исключением, пожалуй, самых тривиальных, теряет смысл, поскольку не может быть точно проанализировано и оценено с учётом авторского замысла.

Перечисленные части тестового задания являются минимально необходимыми для составления тестов.

Кроме того, составителям тестовых заданий целесообразно указывать:

• · - возраст (класс), на который рассчитано задание;
• · тему (предмет или предметную область, в соответствии с технологической матрицей);
• · предполагаемое автором время выполнения задания;
• · сроки предъявления (календарные сроки, поскольку одно и то же задание, будучи предъявленным, например, в октябре и феврале, даст разные результаты и соответственно должно иметь разные характеристики);
• · предполагаемую статистическую сложность;
• · уровень, который соответствует данному заданию, или умения, которые оно выясняет;
• · соответствие стандарту или программному материалу;
• · данные составителя;
• · возможные варианты невербальной поддержки;
• · некоторые другие сведения, содержание которых определяется, как правило, специфическими целями создания данного инструмента.

Как правило, для составителей заданий готовятся специальные бланки, в которых формализуется требуемая информация.

Существует основное требование к тестовым заданиям:

Тестовое задание должно иметь однозначный правильный ответ.

Данное правило требует пояснения. Часто понятие однозначности ответа трактуется как требование единственности или наличия предполагаемого образца. В данном случае однозначность понимается как возможность любого пользователя на основе сравнения ответа учащегося и правильного ответа, предложенного разработчиком, сделать однозначный вывод о том, выполнил данный ученик это задание верно или нет. Поэтому правильный ответ разработчика может заключаться не только в эталонном ответе, но и в описании схемы анализа, содержать конструкции «и, … и», «…или…», описывать вариант неправильного ответа, считая все остальные правильным.

Все формулировки ожидаемых ответов должны быть предельно ясными и недвусмысленными, чтобы при оценивании у проверяющего не могло возникнуть сомнения в правильности засчитываемого ответа.

Существует два типа заданий, которые объединяют пять видов. К этим видам может быть сведено всё многообразие существующих заданий без ущерба для их качества.

К заданиям закрытого типа относят задания трёх видов: альтернативных ответов, множественного выбора и восстановления соответствия.

Тестовые задания закрытого типа предусматривают различные варианты ответа на поставленный вопрос: из ряда предлагаемых выбирается один (или несколько) правильный ответ, выбираются правильные (или неправильные) элементы списка и др. Это задания с предписанными ответами, что предполагает наличие предварительно разработанных вариантов ответа на заданный вопрос.

1. Задания альтернативных ответов (АО).

К каждой задаче этого вида даётся только два варианта ответов. Испытуемый должен выбрать один из них — «да» или «нет», «правильно» или «неправильно» и пр.

Форма задания:

утверждение 1 да нет утверждение 2 да нет утверждение 3 да нет утверждение 4 да нет и т. д.

Инструкция для заданий альтернативных ответов: обведите кружком вариант ответа «да» или «нет», который вы считаете правильным.

Задания АО являются самыми простыми, но не самыми распространёнными при составлении тестов. Это связано в основном со специфичностью того материала, которому в большей степени соответствует форма заданий. Задания альтернативных ответов применяются для оценки одного элемента знаний. Их использование в виде отдельного вопроса приводит, как правило, к тривиальному тестированию и применяется достаточно редко. Эта форма целесообразна для использования в серии, когда для одного элемента знания задаётся несколько вопросов. В такой форме задания альтернативных ответов в большей степени подходят для выявления уровня овладения сложными определениями, знания достаточно сложных графиков, диаграмм, схем и т. д.

2. Задания множественного выбора. Это основной вид заданий, применяемый в тестах достижений.

Задачи с множественным выбором предполагают наличие вариативности в выборе. Они состоят из двух частей: формулировки задания и вариантов ответов. Испытуемый должен выбрать один из предложенных вариантов, среди которых чаще всего только один правильный. Однако задачи формулируются так, чтобы в них было не менее 3 правдоподобных, похожих на правильные ответов. Именно этим обеспечивается независимость результатов от случайного выбора.

Форма представления заданий:

Вопрос (утверждение):

А. Вариант ответа 1.

В. Вариант ответа 2.

С. Вариант ответа 3.

D. Вариант ответа 4.

Е. Вариант ответа 5.

Инструкция для заданий множественного выбора: обведите кружком букву, соответствующую варианту правильного ответа.

3. Задания на восстановление соответствия.

В задачах соответствия (восстановления соответствия) необходимо найти или приравнять части, элементы, понятия конструкциям, фигурам, утверждениям; восстановить соответствие между элементами двух списков. К этому же типу следует отнести и задания, в которых требуется восстановить порядок ряда, упорядочить. Предложенные элементы задания могут рассматриваться как частный случай заданий на восстановление соответствия, в которых только один ряд. Данный вид заданий имеет достаточно много модификаций, от которых зависят инструкции. Наиболее распространённой формой ответа, которая реально применяется педагогами, особенно в начальной школе, является вариант с использованием стрелочек: нарисуйте стрелочки от элементов первого списка ко второму, соедините стрелками соответствующие понятия и т. д. Сам по себе способ с использованием стрелочек вполне правомерен, однако он имеет два существенных недостатка: первый — сложность проверки, особенно когда необходимо проверить большое количество работ; и второй — опасность того, что ученики, привыкнув к рассматриваемому способу и встретив в дальнейшем классическую форму задания, воспримут её как неизвестную, что может снизить их результаты. Форма представления:

Ряд 1.

Ряд 2.

Место для ответов 1. А _____ 2. В _____ 3. С _____ 4. О Инструкция: «в графу для ответов впишите цифры ряда 1, соответствующие ряду 2».

Задания открытого типа.

К ним относятся задания двух видов: — свободного изложения (свободного конструирования) и дополнения. Первый вид предполагает свободные ответы испытуемых по сути задания. Ограничения на ответы не накладываются, однако формулировки заданий должны обеспечивать наличие только одного правильного ответа. В заданиях-дополнениях (задачах с ограничением на ответы) испытуемые также должны самостоятельно давать ответы на вопросы, однако их возможности ограничены. Ограничения обеспечивают объективность оценивания результата выполнения задания, а формулировка ответа должна дать возможность однозначного оценивания.

Инструкция для заданий дополнения: вместо каждого многоточия впишите только одно слово (символ, знак и т. д.); вместо многоточия впишите нужное слово; выпишите на бланк слова, которые пропущены в тексте; вместо многоточия впишите нужный символ; запишите ответ в отведённое место, то есть один пропуск подразумевает одно слово (знак, символ, выражение).

Инструкция для заданий свободного изложения: закончите предложение (фразу), впишите вместо многоточия правильный ответ; дополните определение, записывая ответ в бланке, и т. д., то есть вместо многоточия можно вписать словосочетание, фразу, предложение или даже несколько предложений.

Выполнение основного требования для заданий дополнения не представляется сложным, правильным ответом будет то самое выражение, слово и т. д., которое необходимо вписать испытуемому. Для заданий свободного изложения выполнение основного требования к тестовым заданиям сложнее. Для этого необходимо формализовать сам ответ.

В том случае, когда результатом выполнения задания служат цифровые выражения, структура фразы подразумевает два-три однозначных слова. Для других случаев возможно: а) выделить в ответе ключевое слово или фразу и в зависимости от их наличия оценивать ответ как правильный или неправильный; б) выделить несколько смысловых, фиксируемых элементов и ранжировать на их основе правильные ответы. Например, «ответ на данный вопрос оценивается двумя баллами, если он содержит слова „геологической“ и „организмами“; если он содержит одно из этих слов, то — одним баллом; во всех остальных случаях задание считается невыполненным»; в) если предложенные варианты на подходят, использовать для задания иную форму.

Специфические требования к заданиям открытого типа:

• · использовать не более трёх пропусков подряд, лучше один-два;
• · дополнять наиболее важное понятие, определение, знание которого нужно проверить;
• · дополнения лучше ставить в конце предложения.

Достаточно часто в тестах достижений можно найти попытки использования специфичных заданий, специально разработанных психологами для тестов интеллекта. Это в основном три вида заданий: аналогии, классификации и исключения лишнего.

Их особенность заключается в том, что результат выполнения зависит не только от знания предметного содержания задания, но и от той интеллектуальной операции, выполнение которой предполагает данное задание. Как говорят психологи, эти задания нагружены разными факторами, один из которых — собственно результаты обучения, а другой отражает личностные особенности испытуемого. Поэтому использовать их в тестах нужно очень аккуратно, а лучше вообще отказаться в пользу нейтральных форм заданий. По форме это могут быть задания как открытого, так и закрытого типа.

Рассмотрим специфику каждого из этих трёх видов заданий.

Задания «аналогии».

Форма представления: А так относится к В, как С относится к ???

Задания аналогии имеют сокращённую форму записи, которая применяется тогда, когда задания представлены серией и нет необходимости повторять инструкции для каждого задания: А: В=С:?

Задания исключения.

В таких заданиях испытуемому предъявляется список объектов, слов, фигур, чисел и т. д. — всего, что только может придумать разработчик тестов. Испытуемый должен найти общие закономерности отношения между элементами списка и на их основании сделать заключение о подобии или различии предложенных объектов. Очевидно, что при этом необходимо выявление отношений и связей.

Задания «последовательности».

В них от учащегося требуется продолжить ряд, добавить элемент ряда в начало или середину. Наиболее известные задания этого типа — числовые последовательности.

Для правильного составления тестовых заданий важно соблюдать следующие требования:

• · вопрос должен содержать одну законченную мысль;
• · при составлении вопросов следует особенно внимательно использовать слова «иногда», «часто», «всегда», «все», «никогда», которые, с одной стороны, сами по себе содержат неопределённость и могут пониматься субъективно, что может приводить к ошибочным ответам, а с другой стороны, дают возможность учащимся догадываться о правильном ответе;
• · вопрос должен формулироваться чётко, избегая слов «большой», «небольшой», «малый», «много», «мало», «меньше», «больше» и т. д.;
• · чаще использовать количественные термины;
• · избегать вводных фраз или предложений, имеющих мало связи с основной мыслью; не следует прибегать к пространным утверждениям, так как они приводят к правильному ответу, даже если учащийся его не знает;
• · число ответов «да» и «нет» в тесте должно быть приблизительно равным, что исключает тенденцию отвечать одинаково на все вопросы;
• · не следует задавать вопросы с подвохом (скорее всего, в заблуждение будут введены наиболее способные или осведомлённые учащиеся, которые знают достаточно много для того, чтобы попасться в ловушку. Кроме того, это противоречит цели — определению уровня знаний и понимания);
• · лучше использовать один вариант правильного ответа, и если инструкция требует выбрать правильный ответ, то таковым должен быть только один. В противном случае в инструкции необходимо указать, что правильных ответов несколько;
• · все варианты ответов должны быть грамматически согласованы с основной частью задания;
• · неправильные ответы должны быть разумны, умело подобраны, не должно быть явных неточностей;
• · как можно реже использовать отрицание в основной части, особенно — многократно в одном предложении. С одной стороны, это приводит к противоречиям при чтении задания, с другой — отрицательные знания не так важны, как позитивные;
• · ответ на поставленный вопрос не должен зависеть от предыдущих ответов;
• · место правильного ответа должно быть определено таким образом, чтобы оно не повторялось от вопроса к вопросу, не было закономерным, а давалось в случайном порядке;
• · правильные и неправильные ответы должны быть однозначны по содержанию, структуре и общему количеству слов;
• · если ставится вопрос количественного характера, то ответы к нему должны располагаться упорядоченно от меньшего к большему или наоборот;
• · лучше не использовать варианты ответов «ни на один из перечисленных» и «все перечисленные». Применение первого целесообразно, когда существует недвусмысленный правильный ответ. Второй приводит к допустимости подбора вариантов с низкой дискриминативностью, поскольку разработчик знает, что все ответы правильные;
• · лучше использовать длинный вопрос и короткий ответ. В противоположной ситуации на прочтение ответов уходит больше времени и больше сил тратится на анализ высказываний. Это противоречит поставленной в данном случае цели — выявлению усвоенных учащимся заданий.

После того как задания будут составлены, необходимо их упорядочить. Для этого существуют определенные правила (по П. Клайну):

• 1. Составьте базу данных для заданий, при этом представьте каждую задачу на отдельном листе, предусмотрев место для занесения экспертных оценок, времени, необходимого для её выполнения, уровня сложности и прочих характеризующих её данных.
• 2. Проверьте содержание и формулировку задач во взаимосвязи друг с другом.
• 3. Располагайте задания каждого типа вместе. Инструкцию и пояснения необходимо давать один раз для каждой группы заданий. Это даёт возможность испытуемым приспособиться к данному типу заданий.
• 4. Располагайте задания в порядке возрастания предполагаемой трудности. Это предотвратит случаи, когда слишком старательный испытуемый тратит всё своё время (или большую его часть) на задания, которые он не может решить, и таким образом лишает себя возможности выполнить другие, по которым он мог бы получить баллы, а в результате все формы анализа заданий будут неточными. При апробации теста бывает полезно включить в инструкцию пункт о том, что если испытуемому не удаётся справиться с заданием, его необходимо пропустить, а после окончания работы, если останется время, вернуться к вызвавшему трудность заданию.
• 5. Не комплектуйте вместе такое количество заданий, для выполнения которых среднему испытуемому потребуется более получаса — для детей начальной школы; для старшеклассников — более часа (примерно столько длится период сосредоточения у детей.) Если существует необходимость выполнения заданий большей продолжительности, технология проведения должна предусматривать перерыв. Необходимо отметить, что время появления утомления во многом зависит от мотивации (при этом слишком высокая и слишком низкая мотивация быстрее вызывают утомление), разнообразия" материалов тестирования, способа проведения, эмоциональной подготовленности учеников.
• 6. При конструировании бланковых тестов лучше размещать задачи на листах брошюры так, чтобы они были пространственно разнесены и легко воспринимались. Задания и варианты ответов к ним должны располагаться на одной странице.
• 7. Важные части инструкции должны быть подчёркнуты или выделены особым шрифтом. Сделайте бланки ответов. Размножьте брошюры и бланки. Можно считать, что для проведения апробации всё готово, за исключением одного — необходимо выбрать контингент, на котором будет испытан тест. Правила построения выборки мы обсуждали в предыдущей главе. Для профессиональной работы необходимо обратиться к одному из изданий, приведённых в конце книги.