Функции тестирования. 
Тест как метод контроля знаний

В учебном плане тестирование может выполнять различные функции, в зависимости от времени его проведения и потребностей преподавателя:

• 1. Претест готовности к обучению — проверка наличия у учеников уровня знаний, необходимого для усвоения материала курса.
• 2. Входной претест — определение уровня знаний, различий в знаниях и способностях учеников.
• 3. Формирующий тест — подтверждение усвоения пройденного материала для перехода к следующей теме.
• 4. Диагностический тест — определение пробелов в знаниях и причин этих пробелов.
• 5. Нормативно-ориентированный тест достижений — определение уровня знаний по курсу в конце обучения, выставление оценки.
• 6. Критериально-ориентированный тест достижений — проверка наличия у тестируемого наличия минимально достаточного уровня знаний по курсу.

Определив место тестирования в рамках курса, можно окончательно и наиболее точно сформулировать его цели.

4.4 Отбор содержания учебного материала

Одними из требований к тесту являются требования научной достоверности, значимости, соответствия современному знанию и соответствия источникам знания. Достижение этих требований достигается на этапе отбора содержания учебного материала за счет правильного выбора его источников. Основным таким источником всегда является план учебных занятий по курсу. Среди других — могут быть рекомендованные учебные пособия и книги, методические разработки, курс лекций. Главное требование к источникам — все они должны быть известны и доступны учащимся, и конечно, соответствовать требованиям действующего образовательного стандарта. Кроме включения уже известных составителю учебников, следует провести анализ вновь выпущенной литературы, в первую очередь обратив внимание на изменения, появление новой фактической информации.

Для удобства дальнейшего составления тестовых заданий, отобранный материал следует скомпоновать в таблицу.

В процессе деления, разработчик должен следить за тем, чтобы соотношение количества учебных единиц в темах было пропорционально важности и сложности этих тем. Таким образом, обеспечивается выполнение требований полноты, оптимальности и сбалансированности теста.

Составленная таким образом таблица будет являться прообразом и основой при проектировании технологической матрицы тестирования.

4.5 Составление тестовых заданий и их экспертиза

Формулировка вопросов для теста осуществляется с использованием разработанной технологической матрицы.

В самом общем виде тестовые задания должны:

• · соответствовать содержанию учебного материала;
• · быть составлены с учетом соответствующих правил;
• · быть проверены на практике (апробированы);
• · быть ясными испытуемому.

С точки зрения Майорова А. Н. [1] минимальные требования к составу тестового задания состоят в наличии трех частей:

• 1. Инструкции.
• 2. Текста задания (вопроса).
• 3. Правильного ответа.

Инструкция должна содержать указания на то, что испытуемый должен сделать, каким образом выполнять задание, где и как делать пометки и записи, описывать то, что ученик должен «сделать руками», каким образом ему следует выполнять задание, где отмечать, как дописывать и т. д.

• · Текст задания или вопроса представляет собой содержательное наполнение задания. Майоров А. Н. [1] выделяет следующие части вопроса:
• · стимулирующий материал — материал, о котором говорится в вопросе. Он представлен обычно в виде текста, рисунка, таблицы или другого представления данных. Во многих случаях написание вопросов начинается со сбора подходящих текстов или с обдумывания ситуаций или тем, по которым можно сгруппировать ряд вопросов;
• · введение — информация, предшествующая вопросу;
• · вопрос — существенная часть вопроса;
• · ограничения ответа — вопрос должен быть высокого качества, чтобы предотвратить нежелаемые интерпретации учеников, используя ограничения, такие как: «По мнению автора…» или «Вычислите до 2-х десятичных знаков».

Структура и состав вопроса определяется в большей степени содержанием учебного материала.

Перечисленные составных части тестового задания являются минимально необходимыми для составления тестов.

Майоров А.Н. выделяет два типа заданий, которые объединяют шесть видов. К этим шести видам может быть сведено все многообразие существующих заданий без ущерба для их качества. Типы и виды тестовых заданий представлены на схеме:

К заданиям открытого типа относятся два вида — задания дополнения и задания свободного изложения. Их отличительной особенностью является то, что для их выполнения ученику необходимо самому записать одно или несколько слов (цифр, букв; возможно словосочетаний или даже предложений). Этот тип заданий не имеет вариантов неверных ответов и вариантов правильных ответов.

К заданиям закрытого типа относятся задания четырех видов: альтернативных ответов, множественного выбора, восстановления соответствия и восстановления последовательности.

Тестовые задания закрытого типа — предусматривают различные варианты ответа на поставленный вопрос: из ряда предлагаемых выбираются один или несколько правильных ответов, выбираются правильные (или неправильные) элементы списка и др. Это задания с предписанными ответами, что предполагает наличие ряда предварительно разработанных вариантов ответа на заданный вопрос.

К заданиям закрытого типа относятся:

1. Задания альтернативных ответов (да — нет).

Задания альтернативных ответов являются самыми простыми, но не самыми распространенными при составлении тестов. Это связано, в основном, со специфичностью того материала, которому в большей степени соответствует эта форма заданий. Задания альтернативных ответов применяются для оценки одного элемента знаний.

Особенностью заданий альтернативных ответов является то, что вопрос должен быть сформулирован в форме утверждения, поскольку он предполагает согласие или несогласие, которое можно отнести к утверждению, что приводит, как правило, к тривиальному тестированию и используются достаточно редко.

2. Задания множественного выбора.

Это основной вид заданий, применяемый в тестах достижений. Задачи с множественным выбором предполагают наличие вариативности в выборе. Испытуемый должен выбрать один из предложенных вариантов, среди которых чаще всего только один правильный.

3. Задания на восстановление соответствия (соответствие).

Задания соответствия (восстановления соответствия), в которых необходимо найти или приравнять части, элементы, понятия — конструкциям, фигурам, утверждениям; восстановить соответствие между элементами двух списков.

К этому же типу следует отнести и задания, в которых требуется восстановить порядок ряда, упорядочить. Эти задания могут рассматриваться как частный случай задания на восстановления соответствия, в которых только один ряд, а другим, предполагаемым, является время.

4. Задания на восстановление последовательности.

Задания на восстановление последовательности можно рассматривать как вариант задания на восстановление соответствия, когда одним из рядов является время, расстояние или иной конструкт, который подразумевается в виде ряда.

Задания на восстановление последовательности редко используются в тестах, хотя на самом деле это очень качественная форма тестовых заданий, обладающая значительными преимуществами: краткостью, простотой проверки. Оно подходит для любого предмета, там, где присутствует алгоритмическая деятельность или временные события. Для технологий это могут быть порядок технологических операций, для истории — восстановление временных последовательностей событий, для русского языка — этапы словообразования, для точных наук — алгоритмы решения задач и т. д.

Преимущества заданий закрытого типа:

• · задания могут быть надежны, поскольку отсутствуют факторы, связанные с субъективными оценками, которые снижают надежность;
• · оценивание заданий полностью объективно: между оценками различных проверяющих не может быть различий;
• · неважно, умеют ли испытуемые хорошо формулировать ответы;
• · задания этого типа легко обрабатываются, тестирование быстро проводится;
• · простой алгоритм заполнения снижает количество случайных ошибок и описок;
• · эти задания позволяют охватить большие области знания, что для тестов достижений особенно важно;
• · возможна машинная обработка ответов;
• · низкая вероятность угадывания правильных ответов;
• · возможно получение точной оценки содержательности теста, что особенно важно для определения соответствия теста целям исследования.

К заданиям открытого типа относятся задания двух видов:

Дополнения (другое название: задачи с ограничением на ответы).

В этих заданиях испытуемые должны также самостоятельно давать ответы на вопросы, однако их возможности ограничены. Ограничения обеспечивают объективность оценивания результата выполнения задания, а формулировка ответа должна дать возможность однозначного оценивания.

Свободного изложения или свободного конструирования.

Они предполагают свободные ответы испытуемых по сути задания. На ответы не накладываются ограничения. Однако формулировки заданий должны обеспечивать наличие только одного правильного ответа.

Выполнение основного требования для заданий дополнения не представляется сложным, правильным ответом будет то самое выражение, слово и т. д., которое необходимо вписать испытуемому.

Для заданий свободного изложения выполнение основного требования к тестовым заданиям сложнее. Для выполнения этого требования необходимо формализовать сам ответ. В том случае, когда результатом выполнения задания служат цифровые выражения, структура фразы подразумевает два-три однозначных слова.

Основными трудностями при составлении заданий открытого типа является соблюдение основного требования к тестовым заданиям — наличия однозначного правильного ответа.

Формулирование вариантов ответов — один из самых сложных этапов составления задания. На этом этапе большинство вопросов бракуется именно по причине невозможности подобрать к ним хороший набор ответов, особенно неправильных. Варианты ответов в закрытом задании должны отвечать следующим ключевым требованиям:

• · все варианты ответов, так же как и сам вопрос не должны допускать двусмысленностей или неопределенности их толкования;
• · все варианты ответов должны выглядеть равноценно;
• · не допускается вероятностный подход к ответам, то есть правильные варианты ответов должны быть неоспоримо правильными, а неправильные — неоспоримо неправильными;
• · неправильные варианты ответов должны выглядеть достаточно правдоподобно;
• · все варианты ответов должны иметь примерно одинаковую длину;
• · варианты должны быть логически упорядочены (по смыслу, алфавиту или длине).

После составления тестовых заданий необходимо провести их экспертизу. Даже оценка заданий всего одним специалистом (экспертом) дает гарантии устранения целого ряда недостатков. Для проведения проверки экспертам предоставляются тестовые задания, в которых они, следуя специальной инструкции, делают отметки о соответствии целям и требованиям курса. Желательно, чтобы такая экспертиза производилась сторонними специалистами, поскольку они могут дать более объективную оценку качества материалов. Некоторые методы экспертизы предусматривают выставления трехили пятибалльной оценки каждому заданию, другие — проверяют соответствие заданий некоторому набору критериев.

Зорин С.Ф. [12] предлагает следующий сокращенный перечень проверочных критериев для проведения экспертизы (скрининга):

• 1. Стиль. Является ли вопрос понятным, однозначным и простым по структуре?
• 2. Уместность. Соответствует ли вопрос теме, уровню и задачам тестирования?
• 3. Информативность. Достаточно ли в вопросе информации для правильного ответа?
• 4. Правильность. Верно ли указаны все правильные варианты ответа?
• 5. Правдоподобность. Вероятен ли каждый из неправильных ответов?

Эксперту предоставляется контрольный лист и лист со списком заданий, точно в таком же виде и последовательности, в каком планируется выдавать их ученикам. Эксперт самостоятельно отвечает на вопрос, затем сверяет ответ со значением, указанном в контрольном листе. После этого он в таблице отмечает знаками «+» выполнение каждого из проверочных критериев, а невыполнение — знаками «-». Замечания и предложения по заданиям вписываются в отдельный столбец.

Все задания, забракованные хотя бы по одному критерию, должны быть доработаны, заменены или исключены из теста. Доработанные и вновь составленные задания также в обязательном порядке проходят проверку экспертами.

4.6 Компоновка и апробация тестовых заданий

После проведения экспертизы тестовых заданий, необходимо провести еще один этап их проверки — апробацию. Однако прежде чем приступить к апробации, необходимо скомпоновать отдельные задания в единый тест.

Отбор заданий для включения в тест необходимо производить в соответствии с количеством, указанным в технологической матрице.

По мнению Зорина С. Ф. [12] более рациональным методом является замена отбракованных тестовых заданий на новые и проведение повторной апробации теста. При этом значительно снижается время разработки теста, поскольку повторная апробация — процесс гораздо менее трудоемкий, чем составление избыточных заданий.

Отобранные задания включаются в тест в порядке следования так, чтобы вопросы были связаны друг с другом по смыслу или в порядке возрастания сложности. Второй метод расположения заданий наиболее подходит для тестов скорости, в которых испытуемому нет необходимости глубоко концентрироваться на какой-либо теме. Следует обратить внимание на пространственное и шрифтовое оформление тестовых заданий. Главное требование к оформлению — оно не должно отвлекать ученика от решения заданий.

Обычно этап апробации проводится самим разработчиком, поэтому нет необходимости в составлении специальных инструкций по администрированию теста. В тест включается только инструкция для учеников по прохождению тестирования, в которой описываются следующие аспекты:

• · тема тестирования;
• · оценка за прохождение теста, её влияние на оценку по курсу;
• · количество вопросов и продолжительность тестирования;
• · возможность использования дополнительных материалов (учебники, лекции) и инструментов (калькулятор, бумага, карандаш);
• · рекомендации по последовательности решения заданий;
• · инструкции по заполнению бланков или по вводу данных в компьютер;
• · рекомендации по решению отдельных заданий (при необходимости);
• · санкции за списывание и нарушение дисциплины.

После завершения формирования теста, инструкций к нему и установления группы тестируемых для проведения пробного тестирования, можно приступать непосредственно к апробации. Проведение апробации тестового инструментария служит выполнению нескольких задач одновременно:

• · определение трудности заданий с целью оценки их пригодности;
• · отбраковка некачественных заданий;
• · выявление ошибок и неточностей в заданиях;
• · установление шкалы оценок для теста (нормирование);
• · определение времени, необходимого для решения теста;
• · выявление недостатков в инструкциях.

Весь процесс апробации должен проводится в тех же условиях, в которых планируется в дальнейшем проводить само тестирование. Все замечания, вопросы и проблемы, возникающие в ходе тестирования, незамедлительно фиксируются в протоколе для их последующего изучения и устранения.

4.7 Анализ качества тестов Анализ теста, который предшествует процессу тестирования, особенно при использовании автоматизированных систем, несет в себе определенные сложности и накладывает специфические условия организации.

Формирование тестов для автоматизированных систем осуществляется, как правило, в разные периоды времени, разными преподавателями и имеют тенденцию увеличения базы вопросов для проведения процесса тестирования. Без использования математических моделей определения повтора трудно обойтись. Даже изменение порядка следования слов в предложении уже в целом меняет сам вопрос для автоматизированной системы. Поэтому в вопросах подготовки контрольных тестов важной проблемой выступает уникальность вопроса и его предполагаемых вариантов ответа, если это только не связано со специальными приемами уточнения глубины знаний учащихся в предметной области. Для предварительного анализа качества тестов проводится тестирование их составителей.

Статистический анализ качества тестов производится по двум направлениям:

• · анализ вопросов теста на полное или частичное совпадение; анализ ответов заданий теста, как на повторяемость, так и на наличие недопустимых ответов, таких как «верны ответы а) и в)», «все ответы верны», «все ответы не верны» и т. д.;
• · анализ ответов учеников.

Статистический анализ ответов проводится для отдельного теста, когда для каждого вопроса, который был задан ученикам во время тестирования, определяется количество правильных и неправильных ответов, а также указывается, был ли изменен правильный ответ в результате апелляции.

Оценка качества тестов является важной составляющей подготовки теста к использованию при приеме экзаменов методом компьютерного тестирования. Проверка на повторяемость вопросов в тесте и дублируемость ответов среди вариантов ответов позволяет выявить точные копии вопросов и ответов среди предложенных вариантов ответов на вопрос теста. Данная проверка является первичной, которую должен проходить контрольный тест. Если анализ ответов на полное соответствие является достаточно простой задачей, выполняемой автоматизированной системой, то для анализа вопросов теста необходимо использовать специальные модели.

Степень подобия строк можно определить различными способами. Два вопроса теста следует считать подобными, если они содержат примерно одинаковое количество слов (разница составляет не более p%), длиной не менее k символов (слова, с длиной менее k символов считаются не значимыми) и не менее q% слов имеют совпадение большее, чем r%. Вопросы, которые определены автоматизированной системой, как подобные, представляются для окончательно принятия решения лицу, принимающему решение.

Так, например, два вопроса по иностранному языку «Выберите эквивалент к выражению: «Мне не везет» и «Выберите эквивалент к выражению: «В области науки» должны рассматриваться автоматизированной системой как похожие и представляться для рассмотрения лицу, принимающему решение.

По данным материалов XVIII Международной конференции. «Применение новых технологий в образовании», которая проходила 27−28 июня 2007 г. в городе Троицк Московской области на базе ГОУ ДПО «Центр новых педагогических технологий» Московской области, существуют следующие способы анализа качества теста и повышения его надежности:

• · статистический анализ ответов учеников, как для отдельного теста, так и для всех тестов, используемых при проведении экзаменов;
• · анализ ответов теста на повторяемость и наличие ответов, не пригодных для компьютерного тестирования;
• · анализ вопросов теста на полное соответствие;
• · анализ вопросов теста на нечеткое соответствие;
• · тестирование авторов для выявления некорректных вопросов;
• · сравнение вопросов теста с тематическими вопросами по дисциплине, предоставляемыми ученикам для подготовки к экзаменам;
• · переработка формулировок вопросов для получения уникального варианта теста;
• · выделение и сохранение невалидных вопросов теста для предотвращения появления их в качестве новых тестовых заданий;
• · сравнение новых тестовых заданий с имеющимися в базе данных.