Педагогическое тестирование как средство повышения качества контроля и оценки эффективности учебного процесса

Мировой опыт указывает на всевозрастающую роль применения в высшей школе тестовых форм контроля. В последние годы значительное внимание уделяется данной проблеме и российской высшей школе. Об этом свидетельствует большое количество всевозможных научных публикаций, посвященных исследованию сущности и особенностей данного феномена. Среди отечественных ученых, успешно работающих в данной предметной области, можно выделить В. С. Аванесова, З. Д. Жуковскую, В. П. Мизинцева, Ю. Г. Татура и других исследователей.

Педагогические тесты (далее по тексту ТП) позволяют получить более объективные оценки уровня знаний, умений, навыков, проверить соответствие требований к подготовке выпускников заданным стандартам, выявить пробелы в подготовке обучающихся.

Под педагогическим тестом следует понимать систему заданий специфической формы и определенного содержания, расположенных в порядке возрастающей трудности, создаваемой с целью объективной оценки структуры и измерения уровня подготовленности обучающихся^[1].

Из определения следует, что ТП целесообразно рассматривать не как обычную совокупность или набор заданий, а как систему, обладающую двумя главными системными факторами: содержательным составом тестовых заданий, образующих наилучшую целостность, и нарастанием трудности от задания к заданию.

Принцип нарастания трудности позволяет определить уровень знаний и умений по контролируемой дисциплине, а обязательное ограничение времени тестирования позволяет выявить наличие навыков и умений. Трудность задания, как субъективное понятие, определяется эмпирически по величине доли неправильных ответов. Этим трудность отличается от объективного показателя — сложности, под которой понимают совокупность числа понятий, вошедших в задание, числа логических связей между ними и числа операций, необходимых для выполнения задания.

Отметим, что задания теста представляют собой не вопросы и нс задачи, а утверждения, которые в зависимости от ответов испытуемых превращаются в истинные или ложные. Исходя из технологичности процедуры тестирования, ответы кодируются двоичным кодом: «1» — истинно и «О» — ложно, и в таком виде могут поступать в современные системы обработки информации.

Тестовое задание должно отвечать целому ряду требований. Оно должно иметь четкую форму, отличаться предметной чистотой содержания, быть логически правильным, технологичным, иметь известную трудность и коррелировать с выбранным критерием. Из перечисленных требований следует, что тестовые задания должны обязательно проверяться эмпирически. От таких заданий следует отличать задания в тестовой форме, у которых отсутствуют системообразующие свойства, например, система заданий не организована по принципу возрастания трудности.

Качество тестов традиционно оценивается двумя основными критериями.

Первый — надежность теста, ассоциируемая, в первую очередь, с точностью измерения. Последняя определяется воспроизводимостью полученных результатов на том же контингенте испытуемых, использованием параллельных тестов или других методов контроля.

Второй критерий — валидность теста, определяемая обычно как способность теста измерять именно то, что он призван измерять по замыслу автора. При проверке ТП на валидность он подвергается экспертной оценке. Чтобы исключить угадывание из общего суммарного балла вычитают корреляционные по угадыванию, т. е. количество баллов которые могут быть получены обучающимися при этом убирается.

Все задачи педагогического контроля можно условно разделить на два класса. В один класс входят задачи, связанные со сравнением учебных достижений обучающихся. Эти задачи решаются нормативно-ориентированным тестированием. В другой класс входят задачи, связанные с оценкой степени овладения студентами учебным материалом. Они соответствуют критериально-ориентированному подходу.

В основе нормативно-ориентированных ТП лежит сопоставление индивидуального балла испытуемого с тестовыми баллами, полученными другими испытуемыми из той же группы. Известно, что уровень подготовки учебной группы зависит от многих факторов: состава группы, доминирующей мотивации в обучении, качества преподавания и даже числа занятий, попавших на праздничных дни. Исходя из сказанного, в качестве основного недостатка названного класса тестирования важно указать следующий. Испытуемый из слабой группы, показавший в своей группе наилучший результат, может оказаться среди отстающих при сравнении его балла с результатами тестирования в сильной группе.

В рамках одного учебного заведения эта проблема преодолевается довольно просто. Необходимо протестировать по одному и тому же тесту все учебные группы, или же прибегнуть к формированию, так называемой, выборки стандартизации. Это специально подобранная репрезентативная группа испытуемых. Результаты тестирования такой выборки называются тестовыми нормами. Отсюда и происхождение термина — «нормативно-ориентированное тестирование». Если выборка репрезентативная, то сопоставляя индивидуальный балл с полученными нормами, можно получить объективную оценку уровня достижений отдельного испытуемого по сравнению с уровнем достижений всех обучающихся, и эта оценка уже не будет зависеть от уровня подготовленности конкретной учебной группы, в которой проводилось тестирование. Специфика нормативно-ориентированных ТП тесно связана с их основной задачей — как можно более четко дифференцировать испытуемых.

Критериально-ориентированный ТП представляет собой систему заданий, позволяющую измерить уровень учебных достижений относительно полного объема знаний, умений и навыков, которыми должны овладеть обучающиеся в результате определенного курса обучения. При этом указанный объем называется областью содержания этого теста. С ней и соотносятся учебные достижения отдельных студентов, чтобы определить, какую долю учебного материала они усвоили, задачи какого уровня сложности могут решать. Выделяют два вида критериально-ориентированных ТП.

Первый вид (по-английски его обычно называют domainreferenced tests) предназначен для оценки доли от полного объема учебного материала, которую усвоили испытуемые, измеряемую обычно в процентах. Этот вид теста позволяет также оценить степень овладения тем или иным умением или навыком. Если испытуемый полностью овладел измеряемым умением и выработал соответствующий навык, то он в отведенное время выполнит 100% заданий. Если умение еще не сформировано, то нс будет выполнено ни одного задания. Если умение находится в стадии формирования, или даже сформировано, а навыка еще нет, то будет выполнена соответственно меньшая или большая часть заданий. Процент их правильного выполнения и является оценкой степени овладения.

Второй вид критериально-ориентированных тестов (mastery tests) используется для классификации испытуемых, разделения их на две (или более) группы на основании заранее выработанного критерия (зачет-незачет, аттестован — не аттестован). Для того, чтобы быть отнесенным к группе «зачет» или «аттестован», испытуемый должен достичь необходимого минимального для этой группы уровня овладения учебным материалом. Этот уровень устанавливается разработчиками теста и является критерием, на основании которого принимается конкретное решение относительно каждого обучающегося. В тесте критерий выражается определенным количеством заданий. Если испытуемый выполняет данное количество заданий или превосходит его, он аттсстовывается, в противном случае — нет. При этом за критерий обычно принимается 80−90% от общего числа заданий в тесте и тест включает небольшое количество заданий повышенной трудности. Выбирать критерий, равный 100%, нецелесообразно, так как тестирование носит вероятностный характер и испытуемый, полностью усвоивший необходимый материал, может дать неправильные ответы на несколько заданий в силу случайных обстоятельств, тем более, если задания давались в закрытой форме.

Нормативнои критериально-ориентированные тесты можно использовать для перевода тестовых баллов в традиционную систему оценок. Например, если испытуемый выполнил более 90% заданий, то он получает оценку «отлично», решивший от 75 до 90% заданий «хорошо», от 50 до 75% - «удовлетворительно». Критерий устанавливается самими разработчиками теста и зависит от сложности содержания и планируемой трудности задания.

В настоящее время в дидактике выделяют четыре основные формы тестовых заданий:

• 1. Задания закрытой формы, в которых обучающийся выбирает правильный ответ из нескольких правдоподобных, предложенных на выбор. Эти правдоподобные ответы называются «дистракторами». Чем лучше «дистрактор», тем чаще на него «попадается» студент, давая неправильный ответ. Плохие «дистракторы», которые обучающиеся не выбирают в силу их абсурдности, целесообразно убрать из тестового задания.
• 2. Задания открытой формы — ответы дают сами испытуемые, дописывая ключевое слово в утверждении и превращая его в истинное или ложное высказывание. Такое тестовое утверждение содержит в одном предложении и вопрос, и ответ. Оно должно состоять из небольшого количества слов (чем меньше, тем лучше), а ключевое слово, которое вписывает обучающийся, должно завершать фразу. При формулировании задания важно минимумом слов добиваться максимальной смысловой ясности и однозначности содержания задания.
• 3. Задания на соответствие, в которых элементам одного множества требуется сопоставить элементы другого множества, причем число элементов во втором множестве должно на 20−30% превышать число элементов первого множества. Это обеспечивает обучающемуся широкое поле для поиска правильного ответа.
• 4. Задания на установление правильной последовательности. Обучающийся указывает с помощью нумерации операций, действий или вычислений требуемую заданием последовательность. Такие задания хороши в тех областях учебной или профессиональной деятельности, которые хорошо алгоритмизируюся.

Среди преимуществ педагогических тестов перед традиционными методами контроля можно выделить следующие:

во-первых, они позволяют повысить объективность контроля, исключить влияние на оценку побочных факторов, таких как личность преподавателя и самого обучающегося, их взаимоотношения и т. п.;

во-вторых, оценка получаемая с помощью теста, более дифференцирована. В отличии от традиционных методов контроля, где используется 4-х балльная шкала, результаты тестирования, благодаря особой организации, могут быть представлены в более дифференцированном виде, содержащем множество градаций оценки. При этом, благодаря стандартизированной форме оценки, педагогические тесты позволяют соотнести уровень достижений обучающихся по предмету в целом и по отдельным существенным его элементам с аналогичными показателями в группе или любой другой выборке испытуемых;

в-третьих, тестирование обладает более высокой эффективностью, чем традиционные методы контроля. Его можно одновременно проводить как в группе, так и на курсе или факультете. При этом обработка результатов тестирования с использованием специальных «ключей» для теста намного быстрее, чем, например, проверка письменной контрольной работы;

в-четвертых, показатели ТП ориентированы на измерение усвоения ключевых понятий, тем, элементов учебной программы, а не конкретной совокупности знаний, как это имеет место при традиционной оценке. Применяя батарею ТП, можно простроить профиль овладения обучающимися всеми элементами учебной программы;

в-пятых, ТП обычно компактны и, как правило, легко поддаются автоматизации.

Безусловно, у тестирования как метода контроля есть и свои ограничения. Легче всего с помощью педагогического теста проверить степень овладения учебным материалом. Проверка глубинного понимания предмета, овладения стилем мышления, свойственным изучаемой дисциплине, в этом случае весьма затруднительна, хотя, в принципе, возможна. Отсутствие непосредственного контакта с обучающимся, с одной стороны, делает контроль более объективным, но, с другой — повышает вероятность влияния на результат других случайных факторов. Таким образом, можно сделать вывод, что наилучший эффект дает сочетание в рамках технологии обучения педагогических тестов с традиционными методами контроля.

Критика тестирования, которую можно слышать из уст отдельных преподавателей, часто обусловлена непониманием специфики этого метода и реальных возможностей его использования. Она правомерна тогда, когда при некомпетентном использовании педагогических тестов абсолютизируется тестовый балл, забывается, что любая оценка дается с определенной долей вероятности. Достоинство педагогического тестирования заключается еще и в том, что можно оценить степень этой вероятности и, следовательно, знать, насколько точен полученный результат.

• [1] '4 Аванесов В. С. Научные проблемы тестового контроля знаний. — М. 1994.