Организация контроля знаний, умений и навыков учащихся посредством компьютерного тестирования

Тесты, виды тестов, требования к тестам

Управлять, и корректировать каким бы то ни было процессом возможно лишь на основании данных контроля над его течением, не составляет исключения и процесс учебной деятельности. Эффективность применения стандартов возможна только в условиях объективного контроля знаний и умений учащихся.

Различают два метода контроля — субъективный и объективный.

Субъективный метод контроля означает выявление, измерение и оценку знаний, умений, навыков, исходящую из личных представлений экзаменатора. Этот метод оценки знаний пригоден для итогового контроля, так как не обладает необходимой точностью и воспроизводимостью результатов.

Под объективным контролем подразумевают контроль, который обладает необходимой точностью, воспроизводимостью результатов.

Инструментом, который позволяет объективно оценивать качество усвоения, является критериально-ориентировочный тест, сочетающий в себе контрольное задание и эталон, по которому можно судить по качеству усвоения.

Однако, как свидетельствует реальная практика, не всегда удается достичь достаточной степени объективности и оперативности контроля в обучении. Вследствие этого часто снижается представление об учебной деятельности учащихся.

На Западе, особенно в США, тесты используются достаточно давно, и что любопытно: мы движемся к тестовой проверке знаний, а там — в противоположном направлении. (4,87).

История возникновения и использования тестирования как диагностического метода уходит в глубь веков. Имеются сведения, что уже с III тысячелетия до н.э. в странах Древнего Востока (Египет, Вавилон, Индия, Китай) использовались системы конкурсных испытаний интеллектуального характера, предназначенные для отбора персонала на правительственные должности. Однако все эти методы исследования вряд ли можно назвать тестами в современном понимании этого термина.

Рассматривая тестирование как метод педагогического контроля, целесообразно остановиться на понятиях «тест», «тестовое задание», которые нередко отождествляются, хотя являются совершенно разными видами педагогической продукции. Тест всегда состоит из тестовых заданий, однако не каждый набор тестовых заданий является тестом. (3, 47).

Различия в понимании сущности тестов порождают различия в отношении к тестам. Зачастую мы сталкиваемся со стереотипным определением «теста» как задания на выбор правильного ответа из числа предложенных. Однако, как уже было отмечено, виды тестов отнюдь не ограничиваются данным видом тестовых заданий. Тестовые задания должны образовывать систему. Кроме того, тест обязательно должен пройти апробацию и стандартизацию (строгое определение условий процедур тестирования, обработки и анализа результатов, выработку нормативов, проверку на надежность и валидность).

На мой взгляд, можно дать следующее определение:

Тест — система заданий специфической формы, применяемая в сочетании с определенной методикой измерения и оценки результата.

Тестовое задание — это диагностическое задание в виде задачи или вопроса с четкой инструкцией к выполнению и обязательно с эталоном ответа или алгоритмом требуемых действий.

Иначе говоря, тест — это самым тщательным образом подготовленная в соответствии с определенными разработанными правилами, прошедшая предварительную экспериментальную проверку и специальную процедуру для ее улучшения, имеющая достаточные характеристики своей эффективности, совокупность вопросов и заданий, предъявляемых испытуемому с целью квалиметрического выявления социальных, психических психофизиологических характеристик его личности формализацией ответов испытуемых, выделением в них части, несущей наибольшую информационную нагрузку, что ускоряет, облегчает и объективизирует их последующий анализ, обработку и интерпретацию. (25).

Согласно классическому определению:

«Тест — это инструмент, с помощью которого по результатам выполнения стандартизированных заданий можно судить о психофизиологических и личностных характеристиках, а также о знаниях, умениях и навыках испытуемого». (8, 153).

Отметим, что слово «тест» у большинства людей ассоциируется с психологическими тестами, принципиальное отличие которых от образовательных тестов (тестов достижений) заключается в следующем.

Требование «квалиметрическое выявление» заключает в себе ряд существенных признаков понятия «тест». Наиболее важный из них — однозначность, недвусмысленность, непосредственная фиксация результатов испытаний, сравнение которых с заранее подготовленными эталонами ответов позволяет легко и точно установить правильность или ошибочность действий испытуемых. Обязательной является также точная определенность организации и проведения тестового опроса.

Основными, существенными признаками тестов можно считать:

• А) тщательность подготовки в соответствии с определенными разработанными правилами;
• Б) предварительная экспериментальная проверка и специальная процедура для улучшения редакции теста;
• В) наличие особых характеристик эффективности, позволяющих судить о возможности использования данного теста;
• Г) наличие эталона, простота сравнения с ним;
• Д) строгая регламентация процедуры тестирования;
• Е) независимость оценки результатов по тесту от личных суждений проверяющего тест;
• Ж) возможность количественного учета математико-статистической обработки результатов тестирования.

Проверка знаний и умений учащихся составляет важную часть учебного процесса, т.к. так как позволяет установить однозначную связь, между методами обучения и качеством усвоения пройденного материала, а следовательно и степенью подготовленности учащихся к дальнейшему осмысленному изучению учебного материала.

Проверка приобретённых знаний и умений является сложным процессом, и охарактеризовать это достаточно точно и полно одной лишь оценкой за выполненную работу (оцениваемую лишь по конечному результату) вряд ли может служить объективной оценкой достижения учащегося к этому моменту времени. Для разрешения этой проблемы предлагается ввести оценку достижений учащегося при помощи набора некоторых параметров, позволяющих определить степень усвоения изучаемых законов и выявить недостатки в процессе работы учителя (применяемые учебники и методы обучения). В частности, к таким параметрам могут относиться вопросы, относящиеся к определению функциональной зависимостью между изучаемыми величинами, границам применимости данного закона, установление соответствия между какой либо величиной и графиком, зависимости этой величины от какого-либо параметра. Одним из методов увеличения числа параметров, позволяющих более чётко оценить достижения учащегося, является тестовый контроль знаний. (4, 154).

Психологические тесты измеряют стабильные, малоизменчивые при обучении и тренинге свойства личности, способности, индивидуальность. Психологические тесты диагностируют максимальный уровень знаний, который может быть в принципе достигнут в процессе обучения. Образовательные тесты (тесты достижения) фиксируют достигнутый на данный момент времени уровень подготовки учащегося и позволяют определить уровень знаний на данный момент обучения. (16, 9).

Тестовый блок заданий позволяет получить весьма информативный результат о знаниях учащегося, благодаря большему количеству вопросов и задач, охватывающий изучаемый материал, чем обычные стандартные методы проверки знаний в виде контрольных работ, при той же затрате времени. (Под блоком тестов понимают определённое количество тестов, скомпонованных с целью проверки усвоения одной или нескольких ранее изученных тем.).

Задания, предложенные в тестовом блоке должны стимулировать учащегося на развитие и применение своих интеллектуальных способностей. В частности, в тестовом блоке, помимо общепринятых дидактических моментов, должны быть включены тесты на «понимание прочитанного», сопоставление графика к формуле, определяющей связь между параметрами указанными в тесте, и соответственно наоборот.

Тесты можно классифицировать по следующим основаниям:

1. Предметная область применения тестов: монопредметные, полипредметные, интегративные.

Интегративным можно назвать тест, состоящий из таких заданий, правильные ответы на которые требуют интегрированных (взаимосвязанных, обобщенных) знаний двух или большего числа учебных дисциплин. Использование таких тестов в школе, как контролирующих, так и обучающих, — отличное средство реализации межпредметных связей в обучении.

2. Общая ориентация замысла построения теста: нормативно-ориентированные или критериально-ориентированные (предметно-ориентированные).

При нормативно-ориентированном подходе разрабатываются тесты для сравнения испытуемых по уровню учебных достижений.

Главным отличительным признаком предметно-ориентированного тестирования является интерпретация выполнения теста с точки зрения его смыслового содержания. Упор делается на строго определенную содержательную область (что тестируемые могут и что знают), а не на то, как они выглядят на фоне других.

• 3. Дидактико-психологическая ориентация теста: тест достижений для контроля знаний теории; тест достижений для контроля умений и навыков различной степени сложности по данному предмету, тест обучаемости (диагностики реальных учебных возможностей по данному кругу предметных или цикловых знаний — математической, лингвистической и т. п.).
• 4. Ориентация на определенный этап контроля: тесты предварительного контроля, тесты текущего контроля, тесты итогового контроля.
• 5. Доминирующая деятельность испытуемого при выполнении тестов — устные, письменные, компьютерные.
• 6. Количество объектов контроля: тесты, имеющие один объект контроля (например, количество выполняемых на должном уровне операций) или несколько (качество, количество, скорость, строгую последовательность, осознанность тех же операций).
• 7. Степень гомогенности тестовых заданий: тесты с однородными или разнородными формами построения заданий.
• 8. Скоростной фактор: скоростные (с обязательным фиксированием времени выполнения) и нескоростные.
• 9. Форма организации тестирования: массовые, индивидуальные, групповые. (14, 52)

Отдельно выделяют так называемые адаптивные тесты, основанные на принципе индивидуализации обучения. Каждый учитель понимает, что хорошему ученику нет смысла давать легкие и очень легкие задания, так же как нет смысла давать трудные задания слабому ученику. В теории педагогических измерений была найдена мера трудности заданий и мера уровня знаний, сопоставимые в одной шкале. После появления компьютеров эта мера легла в основу методики адаптивного контроля знаний, где трудность и число предъявляемых заданий регулируются в зависимости от ответов учеников.

Беспалько В.П. предлагает классификацию тестов, основанную на различных уровнях усвоения знаний, однако исходя из принятых выше определений понятий теста и тестового задания, данная классификация представляет собой скорее классификацию тестовых заданий.

Тесты 1 уровня — выполнение деятельности по узнаванию.

Тесты 2 уровня — работа на уровне репродукции.

Тесты 3 уровня — продуктивная деятельность.

Тесты 4 уровня — работа на уровне творческой деятельности. (19, 231).

Рассмотрим наиболее популярную классификацию тестовых заданий. В рамках данной классификации тестовые задания можно разделить на две группы:

• — тестовые задания закрытого типа (с предписанными ответами, когда испытуемому необходимо выбрать из предложенных вариантов ответа тот или иной вариант);
• — тестовые задания открытого типа (со свободными ответами, когда испытуемому необходимо самостоятельно дописать слово, словосочетание, предложение, знак, формулу и т. д.).

В рамках каждого типа можно выделить несколько видов тестовых заданий в зависимости от формы вариантов ответов. Выбор типа и вида тестового задания определяется, прежде всего, целями, в соответствии с которыми проводится тестирование, характером материала, усвоение которого необходимо выявить, возрастными особенностями испытуемых. Немаловажное значение играет финансовое, кадровое и ресурсное обеспечение, а также запас времени, которым располагает разработчик.

Виды тестовых заданий представлены в таблице:

Трудность в применении заданий открытого типа заключается в формализации ответов: их неоднозначность затрудняет стандартизацию, что является серьезной проблемой в случае проведения компьютерного тестирования, поскольку при создании эталона к такому заданию необходимо предусмотреть все возможные варианты ответа, учитывая наличие и отсутствие знаков препинания, пробелов, характеристики шрифта и т. д.

Различают предварительный, текущий, промежуточный и итоговые виды контроля. (20, 279).

Цель предварительного контроля (или контроля готовности к овладению деятельностью) заключается в том, чтобы установить исходный уровень владения знаниями и присущие учащимся индивидуально-психологические качества, которые способствуют успешности обучения (память, внимание, интересы, общее развитие, склонности). Такой контроль обеспечивает дифференцированный подход к обучению, во-первых, позволяет наметить стратегии обучения и, во-вторых, сформировать учебные группы с учетом уровня подготовки и психологического развития учащихся.

Необходимую информацию педагог получает, применяя тестирование, чтобы «сделать срез» исходных знаний. Также он сможет определить и достигнутый уровень. Сравнение исходного уровня с достигнутым позволяет измерить «прирост» знаний, степень сформированности умений и навыков, проанализировать эффективность процесса, а также сделать выводы о «вкладе» педагога в достижения его учеников.

С целью сформировать учебные группы используют тесты, в том числе и психодиагностические. Так, популярный тест, относящийся к группе интеллектуальных тестов, используется для оценки различных аспектов умственной деятельности человека, в том числе и его способностей.

Текущий контроль позволяет судить об успешности овладения знаниями, процессе становления и развития навыков и умений. Этот контроль должен быть регулярным и направлен на проверку усвоения учащимися определенной части учебного материала. Он позволяет вовремя менять виды работы, их последовательность в зависимости от особенностей той или иной группы учащихся.

Он необходим для диагностирования дидактического процесса, сопоставления реально полученных на отдельных этапах результатов с запроектированными. Текущий контроль стимулирует учебный труд, способствует своевременному устранению пробелов в усвоении материала. Обычно текущий контроль осуществляется посредством устного опроса: педагоги все шире практикуют такие его формы, как уплотненный, фронтальный и др. Но можно использовать и тестовый контроль. Задания для текущего контроля (их число обычно не превышает 6−8) формируются так, чтобы охватить все важнейшие элементы знаний, умений, полученных на протяжении последних 2−3 уроков. Длительность выполнения теста не должна превышать 5−8 минут. После завершения работы обязательно анализируются допущенные ошибки. Такие тесты включают в себя задания в виде теоретических вопросов; графики отражающие зависимость между изучаемыми параметрами; простые расчетные задачи.

Промежуточный контроль применяется после изучения определённой темы. Он позволяет судить об эффективности овладения разделом программного материала. Объектом контроля в этом случае будут умения. Однако в отличие от итогового контроля проверке могут подлежат не все виды деятельности, а лишь некоторые из них. Кроме того, проверка будет носить фронтальный, а не индивидуальный характер. Указанное отличие обусловлено тем, что в противном случае затраты времени на контроль сократят и без того небольшое количество учебных часов, отводимое на обучение. Применение этих тестов должно быть после того, как в качестве предварительной подготовки были решены типовые задачи и выполнены лабораторные работы. Данный блок тестов должен включать в себя задания, требующие понимание прочитанного (что особенно важно на сегодняшний день, когда дети практически не читают); а также умения определять параметры, необходимые для решения поставленной задачи из приведенных графиков. (Для решения тестов размешенных в данном блоке требуется один урок, т. е. 40−45 минут). Промежуточный контроль является своего рода подготовкой к итоговому контролю.

Итоговый контроль (контроль результатов учебной деятельности) направлен на установление уровня владения знаниями, достигнутого в результате усвоения значительного по объему материала (в конце семестра, учебного года). Подобной проверке должен быть подвергнут каждый ученик в отдельности. До конца учебного года или всего курса обучения проводится подобная проверка с целью определения того, достиг или не достиг каждый учащийся требуемого уровня обученности. Это в свою очередь повлечет за собой изменение подхода к выбору контрольных заданий. Для этого используются специальные тесты, позволяющие оценить результаты обученности каждого учащегося. Итоговым тестом чаще всего является контрольная работа. Важно пользоваться разнообразными приемами исправления ученических ошибок.

Все перечисленные виды контроля составляют единую систему: предварительный контроль готовит к текущему, текущий контроль подготавливает промежуточный, а последний в свою очередь готовит к итоговому.

Необходимо отметить, что тестовый метод контроля знаний в отличие от обычных методик проведения уроков, стимулирует постоянную работу всех учащихся, а также исключает субъективное мнение преподавателя.

При проведении тестового контроля, на каждый тест или блок тестов отводится заранее оговоренное время, что позволяет определить не только знание проверяемого материала, но и степень (глубину) его усвоения. Обычно четкое установление времени выполнения тестов определяется экспериментально после многолетней работы с данным блоком тестов, хотя примерное время работы с данным блоком могут установить и опытные учителя. Правда, в дальнейшем, для более детальной корректировки времени можно добавлять или убирать несколько тестов в данном тестовом блоке.

Как было сказано, блоки тестов имеют ограничение по времени выполнения, однако возможны так называемые «тренировочные тесты» — решения которых не требует определенного времени.

Решение данного типа тестов не предусматривает верхней границы времени, поэтому решение данных заданий могут и должны включать в себя гораздо большее количество промежуточных действий в отличие от временных (требующих ограничение по времени).

Для учащихся показывающих определенный интерес к изучаемому предмету, в качестве тренировочных тестов могут быть предложены и тесты повышенной сложности требующих от учащихся знание дополнительной информации. Текст теста должен быть сформулирован таким образом, что он должен заинтересовать учащегося и «подтолкнуть» его на чтение дополнительной литературы, использовать поиски в Интернете, в энциклопедиях. Тем самым развивается и повышается мотивация учащегося к изучению данного предмета.

Все тесты, входящие в тестовый блок контроля можно разделить на следующие:

А) Текстовые — в этих тестах вся необходимая информация для решения содержится в данном тесте.

B) Иллюстративные — вся необходимая информация для решения содержится в осмысленном анализе предложенного графика, схемы, чертежа, рисунка.

C) Комбинированные — тесты, включавшие в себя текстовую и иллюстративную информацию, которые взаимно дополняя друг друга, позволяют выработать правильную тактику решения.

D) Тест-прогноз — наиболее важный с методической точки зрения тип тестов. При решении такого типа тестов, учащийся, обладая определенными знаниями в ранее изученной теме, обобщает и переносит их на новую, незнакомую ему ситуацию. (4, 161).

Требования к тестам.

Тесты должны удовлетворять определенным требованиям, так как случайно подобранный набор заданий нельзя назвать тестом.

1) Валидность (или адекватность целям проверки).

В теории тестирования различаются следующие типы валидности теста:

• — Внешняя (определяется той мерой доверия, которую формат теста вызывает у пользователя). Внешняя валидность во многом определяется отношением общества к тестированию, которое пока еще остается неоднозначным. Это снижает внешнюю валидность тестирования в целом.
• — Содержательная (валидный тест соответствует объекту тестирования).
• — Конструктная (измерение только заявленного объекта тестирования). Конструктная валидность теста также зависит от введения темпоральных (время выполнения задания) ограничений. Исследования показывают, что в условиях навязанного учащимся дефицита времени тестовые задания измеряют не столько заявленный объект, сколько свойства интеллектуальной деятельности тестируемых школьников.
• — Критериальная валидность. (Общая валидность теста зависит от критериальной валидности, которая подразделяется на совпадающую и прогнозирующую.

  Заключение

  о совпадающей валидности теста делается в том случае, если результаты получены одновременно и хорошо согласуются между собой. Совпадающая валидность теста будет низкой, если результаты тестирования окажутся высокими, а подробное собеседование с учащимися выявит значительные пробелы в знаниях. Еще больше проблем возникает при попытках использовать тесты с целью прогнозировать успешность овладения материалом).

• — Внутренняя валидность (внутреннее постоянство) теста является привычной характеристикой многих тестовых заданий по уровню их сложности. В этой связи требует внимательного изучения «многоуровневый тест», каким является, например, Единый государственный экзамен показывает, что многоуровневый тест «теряет» внутреннее постоянство, но приобретает свои преимущества. Многоуровневый тест позволяет определить уровень достижений учащихся с использованием оценочных критериев по отношению к более сложным заданиям. Тест дает ощущение успеха от выполнения хотя бы некоторой части теста и стимулирует дальнейшие познавательные усилия. Многоуровневый тест позволяет более точно диагностировать сильные и слабые стороны познавательной деятельности школьников. Такое тестирование дает возможность проследить за постепенным повышением уровня сложности успешно выполненных заданий.

Все виды валидности обеспечивают так называемую информативную валидность теста, то есть конструктивность и полезность получаемой с помощью теста информации о ходе, эффективности, результативности и качестве учебного процесса. Информативная валидность теста позволяет повысить их «функцию успеха», то есть вероятность правильного выполнения задания с учетом характеристик этого задания и познавательных возможностей учащихся.

2) Надежность контрольного задания — это его способность с достаточной для практики одинаковостью характеризовать, исследуемый в дидактических экспериментах, показатель, как заданий в целом, так и его частями, или по-другому, тот же показатель одним и тем же заданиям, но в разные моменты времени. Тестовая валидность неотделима от надежности теста. Тест считается надежным, если его результаты хорошо согласуются между собой в случаях повторного применения и, одновременно, устойчиво совпадают с результатами независимой оценки. Тестирование продуктивных видов деятельности (говорение и письмо) с форматом типа «комментарий» или «эссе» по объективным причинам является менее надежным, чем тестирование рецептивных видов (слушание и чтение) с форматом типа «множественный выбор».

Тест типа «заполнение пропусков в связном тексте» представляет собой более надежную процедуру по сравнению с форматом «исправление ошибок». Одновременно, исследования показывают низкую надежность такого привычного способа измерения учебных достижений, как подстановка. Проблема заключается в том, что тестовые задания различаются между собой по степени надежности, хотя вся информация считается надежной в равной степени.

3) Определенность.

После прочтения заданий каждый учащийся понимает, какие действия он должен выполнить, какие знания продемонстрировать. Если учащийся после прочтения задания правильно действует и отвечает менее 70% учащихся, то его необходимо проверить на определенность.

4) Простота.

Формулировка заданий и ответы должны быть четкими и краткими.

Показателем простоты является скорость выполнения задания.

5) Однозначность.

Задание должно иметь единственный правильный ответ — эталон.

6) Равнотрудность.

При составлении тестов в нескольких вариантах равнотрудность определяется стабильностью результатов по вопросам во всех вариантах одного и того же задания. (16,7).

Как известно, процесс контроля регламентируется рядом известных дидактических принципов: научности (надежности и валидности), эффективности, иерархической организации, объективности, систематичности, справедливости, всесторонности и т. д. Соблюдение многих из вышеперечисленных принципов в современной российской школе можно поставить под сомнение.

Так, одним из требований, предъявляемых к контролю знаний, является требование содержательной валидности контроля. В контрольных заданиях должно быть отражено все основное содержание проверяемого раздела или темы. Существующая практика контроля с использованием традиционных методов это требование, как правило, не реализует. Во время проведения устного опроса учащиеся обычно получают 1 — 2 «случайных» вопроса, при письменном опросе — до 5. Учащиеся, в свою очередь, готовятся к урокам по принципу «повезет — не повезет». Поэтому зачастую невозможно составить целостную картину об усвоении учащимися пройденного учебного материала.

Требование надежности контроля заключается в обеспечении устойчивости последовательных результатов контроля одного и того же ученика. В связи с введением Единого Государственного Экзамена (ЕГЭ) проблема надежной оценки знаний приобрела особую остроту. К сожалению, не редки случаи, когда отметка, полученная учащимся за ЕГЭ, значительно отличается от той, которая год за годом выставлялась ему по данной дисциплине в школе, причем обычно не в лучшую сторону. В этом заключается одна из причин резко негативного отношения к ЕГЭ некоторых учителей и родителей. Результат итогового контроля знаний должен быть предсказуемым и являться разумным продолжением текущей оценки знаний учащихся. Очевидно, что без надежной текущей оценки знаний невозможно грамотное обоснованное управление процессом обучения на любом этапе.

Принципы объективности и справедливости контроля тесно связаны между собой. Проблема субъективности оценивания учителем знаний учащихся не утрачивает актуальности уже в течение многих десятилетий и до сих пор не получила своего разрешения. Согласно известному исследованию Р. Розенталя и Л. Якобсона «Пигмалион в классе» (1969) учитель воспринимает детей соответственно своим ожиданиям, а потому неадекватно. Учитель имеет установки относительно «хороших» или «плохих», по его мнению, учащихся и в соответствии с этим переоценивает или недооценивает уровень их подготовки и интеллектуального развития. В свою очередь, отношение учителя к ученикам зависит от многих факторов, в числе которых поведение учащихся на уроке, наличие у учащихся дефектов речи, физических недостатков, аккуратность, а также некоторые психологические характеристики учащихся (устойчивость внимания, память и т. д.). Таким образом, предметом оценивания зачастую становятся не усвоенные знания и умения, а особенности учащихся, которые должны являться предметом отдельного, в том числе психологического, измерения.