Методические рекомендации для разработки системы тестового контроля

Педагогический тест как измерительный инструмент должен удовлетворять определенным требованиям качества. Он должен обладать достаточно высокой дифференцирующей способностью, быть валидным и надежным.

Оценка качества педагогического теста проводится по результатам его апробации с использованием, как классической теории тестов, так и современных математических методов [5; 28].

Разработка педагогического теста, удовлетворяющего определенным критериям качества, представляет собой весьма сложную задачу, решение которой требует участия опытных специалистов-предметников, хорошо представляющих содержание учебных стандартов, программ и учебников, владеющих методикой преподавания учебной дисциплины и знающих основы тестологии.

Классификацию педагогических тестов можно провести по различным признакам.

• 1. По характеру интерпретации результатов:
  • а) критериально-ориентированные тесты;
  • б) нормативно-ориентированные тесты.
• 2. По содержанию:
  • а) гомогенные тесты (касаются содержания отдельной учебной дисциплины;
  • б) гетерогенные тесты (по совокупности дисциплин);
  • в) интегративные (ответы на поставленные вопросы требуют знания учебного материала по двум и более дисциплинам).
• 3. По этапам контроля:
  • а) входной (проверка готовности к обучению, установление того, что знают обучаемые из содержания новой дисциплины);
  • б) текущий (в т.ч. диагностический);
  • в)тематический, г) рубежный, д) итоговый.
• 4. По средствам предъявления:
  • — бланковые (тесты «бумага и карандаш»), эти тесты в свою очередь можно разделить на два вида:
    • а) с использованием тестовых тетрадей, в которых находятся тестовые задания и в которых испытуемый фиксирует результаты;
    • б) с использованием бланков, в которых испытуемые отмечают или вписывают правильные ответы (фиксируют ответы). Бланки предъявляются отдельно от заданий;

ь предметные — в которых необходимо манипулировать материальными объектами, результативность выполнения этих тестов зависит от скорости и правильности выполнения заданий;

ь аппаратурные — тесты с использованием устройств для изучения особенностей внимания, восприятия, памяти и мышления;

ь практические — появившиеся относительно недавно эти тесты сходны с известными у нас лабораторными работами (по химии, физике, биологии и пр.), однако снабженные соответствующими инструкциями и имеющие тестовое оснащение);

ь компьютерные.

При разработке тестов необходимо придерживаться определенных принципов:

ь определение значимости проверяемых знаний в общей системе проверяемых знаний.

ь взаимосвязь содержания и формы.

ь содержательная правильность тестовых заданий. Каждое задание теста опирается, как правило, на факт, правило, теорему, норму, закон или на апробированный в практике метод.

ь репрезентативность содержания учебной дисциплины в содержании теста. Полнота и достаточность числа заданий. Число заданий традиционного теста обычно бывает не меньше тридцати.

ь соответствие содержания теста уровню современного состояния науки.

ь комплексность и сбалансированность содержания теста (итоговый тест не строится на содержании одной темы).

ь системность содержания (формулирование содержания тестовых заданий, отвечающего требованиям системности).

ь вариативность содержания (множество вариантов заданий одного и того же теста, которые примерно равны по трудности, имеют сходные показатели вариации тестовых баллов испытуемых)[14, c.29].

Основными формами тестовых заданий являются следующие:

Задания закрытой формы, в которых испытуемые выбирают правильный ответ из данного набора ответов к тексту задания. Привлекательная сторона заданий этого типа состоит в их технологичности, допускающей использование в процедуре тестирования компьютерных технологий без опаски неправильной обработки введенного ответа. Недостатком, однако, является возможность угадывания, которая уменьшается с ростом числа предложенных ответов.

Задания открытой формы, требующие при выполнении самостоятельного формулирования ответов. Эти задания являются для испытуемых более трудными, чем задания в закрытой форме. Легче выбрать правильный ответ, основываясь иногда не на знаниях, а на интуиции, чем самому его сформулировать.

Но именно это свойство делает открытые задания очень привлекательными для педагога. (Растет надежность педагогического измерения). При использовании заданий этого типа легче обеспечить параллельность тестов по содержанию, трудности. Недостаток рассматриваемого типа заданий связан с проблемами, возникающими при компьютерном предъявлении заданий. В этом случае необходимы мощные средства обработки информации.

Задания на соответствие, выполнение которых связано с установлением соответствия между элементами двух множеств. Одно множество, например, представляет собой перечень физических величин, другое множество — единицы их измерения.

Задания на установление правильной последовательности. В этом случае требуется указать правильный порядок действий или процессов, перечисленных в задании.

Выбор формы задания зависит от целей тестирования и от содержания контролируемого материала.

Общие требования к заданиям разного типа: Задания должны быть направлены на проверку значимых элементов содержания, а не тех, которые проще формулируются или просты в обработке.

К каждой серии заданий даются инструкции определенной формы («Выберите 1 правильный ответ», «Дополните», «Установите соответствие», «Установите правильную последовательность»).

Каждому заданию присваивается свой порядковый номер, установленный согласно объективной оценке трудности задания и выбранной стратегии тестирования.

Задания формулируются (преимущественно) в логической форме высказывания, которое становится истинным или ложным в зависимости от ответа испытуемого.

Текст задания должен исключать всякую двусмысленность и неясность формулировок.

Текст задания формулируется предельно кратко, т. е. освобождается от всякого постороннего материала, и должен иметь предельно простую синтаксическую конструкцию.

В задании не используются слова, вызывающие различное понимание у испытуемых, а также слова, являющиеся подсказкой, например, «иногда», «часто», «всегда», «все», «никогда».

В заданиях, носящих составной характер (например, в группе заданий, относящихся к одному тексту), необходимо обеспечить, чтобы правильность выполнения одного задания не зависела от правильности выполнения другого задания данной группы.

В заданиях, носящих составной характер (например, в группе заданий, относящихся к одному тексту), необходимо обеспечить, чтобы в заданиях не дублировался объект контроля.

В тексте задания исключается двойное отрицание.

Терминология в заданиях не должна выходить за рамки учебной литературы, используемой в образовательном учреждении.

Дополнительные требования к заданиям закрытой формы: Формулировка основной части задания должна быть законченной, т. е. испытуемый должен из ее содержания понять, какую задачу ему предстоит выполнить, до анализа предложенных вариантов ответа.

В ответы целесообразно включать не более двух-трех важных ключевых слов, при этом правильный ответ не должен отличаться какими-либо формальными признаками от неправильных ответов (дистракторов).

Из текста задания исключаются все вербальные ассоциации, способствующие выбору правильного ответа с помощью догадки.

Следует избегать формулировок заданий с отрицанием. Если таковое используется, то соответствующее слово выделяется, например, «не зависит», «не является» и т. д. В утвердительных формулировках отрицание не используется.

Задания должны иметь дистракторы, одинаково привлекательные для выбора.

Из числа неправильных ответов исключаются ответы, вытекающие один из другого или дополняющие друг друга.

Из ответов, как правило, исключаются все повторяющиеся слова путем ввода их в основной текст задания.

Все ответы должны быть приблизительно одинаковой длины.

Положение правильного ответа должно быть случайным, не подчиняться какой-либо закономерности.

Все ответы должны быть грамматически согласованы с основной частью задания.

Если ответ выражен в форме числа, то, как правило, эти числа должны располагаться упорядоченно от меньшего к большему или наоборот. При этом, если в ответе имеются числа 1, 2, 3, 4, 5, то они должны стоять под соответствующими номерами ответов.

Все ответы должны быть перечислены либо строго друг под другом, либо в одну строку с тем, чтобы испытуемые не тратили времени на ориентировку в разнообразии возможных способов пространственного размещения ответов.

Из числа тестовых заданий исключаются задания, требующие оценочных суждений и мнений испытуемого по какому-либо вопросу.

Дополнительные рекомендации к заданиям открытой формы.

• 1. Задание начинается со слова «Дополните…:».
• 2. Для выполнения задания требуется добавить одно — два слова или одну цифру.
• 3. Для лучшего понимания задания добавляемое слово (цифру) следует располагать ближе к концу задания.

Дополнительные рекомендации к заданиям на установление соответствия Задания на установление однозначного или множественного соответствия начинаются с инструкции: «Установите соответствие…».

Задание формулируется так, чтобы все содержание можно было выразить в виде двух множеств с соответствующими названиями.

Элементы первого столбца обозначаются цифрами и располагаются слева, а элементы второго обозначаются буквами русского алфавита и располагаются справа. При этом число элементов в первом и втором столбце не следует делать более 7 в каждом.

Для каждого столбца вводится определенное название, обобщающее все элементы столбца. Название столбца записывается заглавными буквами.

Элементы столбцов должны быть выбраны по одному основанию.

Для заданий на однозначное соответствие необходимо, чтобы второй столбец имел на 1−2 элемента больше, чем первый.

Каждому элементу первого столбца должен соответствовать один элемент второго. При этом один элемент второго столбца может соответствовать нескольким элементам первого (для заданий с множественным выбором) или не соответствовать ни одному элементу первого столбца (для заданий однозначного соответствия).

На практике наибольшее распространение получили пять форм тестовых заданий:

• · закрытые тестовые задания (с выбором правильного варианта ответа из нескольких предложенных)
• · полузакрытые тестовые задания (ответ известен только обработчику),
• · открытые тестовые задания (ответ не задан),
• · задания на установление соответствия,
• · задания на установление правильной последовательности.

Каждый класс заданий включает несколько видов заданий:

Открытые тестовые задания:

• · По формообразованию;
• · На интерпретацию;
• · Ассоциативные задания.

Полузакрытые тестовые задания:

• · Со свободным ответом;
• · Ассоциативные задания;
• · Задания на дополнение;
• · Задания на подстановку;
• · Задания на построение.
• · Полузакрытые задания на изменение структуры.

Закрытые тестовые задания:

• · Задания на идентификацию;
• · Альтернативные задания;
• · Предусматривающие выбор ответа;
• · Выбор ответа на основе ассоциаций;
• · Выбор ответа на основе дополнения;
• · Выбор на основе подстановки;
• · Выбор на основе расширения;
• · На установление связи;
• · На перестановку;
• · На репрезентацию[18, c.53].

Если поставить вопрос о сравнительной ценности всех рассмотренных здесь форм тестовых заданий, то можно отметить следующее: в последнее время предпочтение отдается открытой форме заданий, в которых вероятность отгадывания равна нулю. Но это не значит, что остальные формы не позволяют сделать хороший тест.

Каждая форма имеет свои достоинства и недостатки, поэтому выбор во многом зависит от учебной дисциплины, от цели создания и применения теста, от ориентации на ручную или машинную обработку результатов и даже от приверженности к той или иной теории тестов. Все это подтверждает мысль о том, что выбор формы — процесс не менее творческий, чем создание и применение тестов.

Требования к составлению теста:

• · Предметная чистота — суть каждого тестового задания должна отражать только данный предмет. Важно учитывать значимость материала, его научную достоверность, соответствие содержания теста уровню современного понимания науки.
• · Формальная чистота — форма тестового задания должна соответствовать приведенной выше квалификации. Шрифт также должен соответствовать общепринятым нормам. В данном случае форма играет не пассивную, а активную роль. Она может запутать, но может помочь учащемуся при определении его знаний.
• · Надежность — обеспечивается совокупностью тестов данного уровня с определенным количеством существенных операций в них.
• · Содержательная корректность — текст любого содержания может быть подвергнут обсуждению и оспорен коллегами по работе. Важно, чтобы это происходило в доброжелательной форме.
• · Краткость заданий — многословные задания не могут считаться тестовыми. Идеальным считается задание, в котором не более 7 слов. Время тестирования должно быть минимальным[4, c.173].

Не существует точных рекомендаций по затратам времени на тестирование. Но примерно можно придерживаться такой нормы: на одно задание должно быть затрачено не более двух минут.

Точное время для ответов на подготовленный тест определяется экспериментально. Для этого в группе, состоящей минимум из трех человек (сильный, средний и слабый ученик), проводится апробация теста. Засекается время, необходимое для опроса каждого ученика, и затем подсчитываются средние затраты времени на одного учащегося. Это время и принимается расчетным.

Тест может включать в себя задания разной формы в любом порядке и в любом количестве. Выбор формы задания зависит только от материала, знание которого нужно проверить. Количество заданий определяется объемом материала.

Общий принцип такой: чем больше заданий, тем точнее определяется уровень знаний. Последовательность заданий друг за другом определяется по принципу: от более простого к более сложному.

В идеале в тесте не должно быть очень легких, абсолютно всеми решаемых заданий. Хотя иногда намеренно в начале теста вводятся несколько таких заданий, чтобы ободрить испытуемого, повысить его уверенность в себе и помочь реализовать свой потенциал, ощутив в ходе тестирования определенный боевой настрой. Также иногда можно включать 1−2 задания высокого уровня сложности, чтобы у ученика не сформировалось чувство непогрешимости и завышенной самооценки, чтобы было к чему стремиться.

Тест должен включать в себя следующие элементы:

• · имя теста (отражение сути темы, раздела, предмета);
• · номер варианта (чем больше, тем лучше, мин.-4);
• · указание уровня усвоения.
• · бланк ответов.

Инструкция для ученика обязательно должна присутствовать до формулировки задания.

Для обработки результатов этого вида работы используется следующую шкалу:85% - 100% - «5», 65% - 85% - «4», 40% - 65% - «3», 0% - 40% - «2».

Задача современной профессиональной подготовки состоит в развитии способности учащихся стать социально и профессионально состоятельными людьми по окончании обучения и использовать полученные знания для приобретения новых, необходимых в профессионально-житейских структурах своего будущего бытия.

Решение этой поистине грандиозной задачи требует принципиальной модернизации как содержания, так и методического арсенала вузовской подготовки.

При разработке системы тестов мы придерживались определенных принципов:

• · определение значимости проверяемых знаний в общей системе проверяемых знаний.
• · взаимосвязь содержания и формы.
• · содержательная правильность тестовых заданий. Каждое задание теста опирается, как правило, на факт, правило, теорему, норму, закон или на апробированный в практике метод.
• · репрезентативность содержания учебной дисциплины в содержании теста. Полнота и достаточность числа заданий.
• · соответствие содержания теста уровню современного состояния науки.
• · комплексность и сбалансированность содержания теста (итоговый тест не строится на содержании одной темы).
• · системность содержания (формулирование содержания тестовых заданий, отвечающего требованиям системности).
• · вариативность содержания (множество вариантов заданий одного и того же теста, которые примерно равны по трудности, имеют сходные показатели вариации тестовых баллов испытуемых).

Разработка системы тестового контроля проходила в несколько этапов:

Первый этап был направлен на решение следующих задач:

• — разработка системы педагогического контроля, основанной на применении тестовых методик (уровень педагога);
• — разработка пакета материалов, обеспечивающих функционирование данной системы;
• — разработка программного обеспечения для обработки и представления результатов тестирования учащихся.

Второй этап направлен на решение следующих задач:

• — внедрение и совершенствование системы педагогического контроля, основанной на применении тестовых методик (уровень педагога);
• — создание банка тестов и заданий для педагогического и административного контроля учебного процесса;
• — разработка схемы анализа результатов педагогического контроля учебного процесса;
• — разработка методических рекомендаций по проектированию педагогической деятельности на основе проведенного анализа результатов тестирования;
• — создание банка результатов тестирования учащихся в ходе педагогического контроля учебного процесса;
• — совершенствование программного обеспечения обработки и представления результатов тестирования учащихся для их анализа.

При тестировании учитель получает оценку уровня обученности учащихся и соответствующую диагностическую картину по каждой теме учебной программы, сопровождаемых набором оценок успешности выполнения ими отдельных групп заданий в соответствии с группами диагностических признаков, позволяющую провести анализ полученных данных, составив таблицу и построив диаграмму обобщенных результатов выполнения теста по всем оцениваемым заданиям (% справившихся)[28, c.109].

Тесты имеют право на существования как одна из форм контроля, наравне с традиционными самостоятельными и контрольными работами, зачетами и т. п. Разумное сочетание всех видов контроля позволяет учителю более качественно осуществлять учебный процесс.