Адаптивное тестирование при автоматизации контроля знаний

Решением задачи объективного контроля знаний, умений и навыков обучающихся может служить применение автоматизированной системы контроля знаний, представляющей собой вид компьютерного тестирования, которое использует тестовые задания закрытой формы и реализует метод адаптивного тестирования оценивания знаний.

Одним из способов быстрой проверки знаний является тестирование и всё большее внимание уделяется тестам, как быстрому и удобному способу оценки знаний. Однако кажущаяся простота создания тестов и возросший спрос на них породили множество некачественных материалов, называемых тестами.

Разработка тестовых заданий и обработка результатов тестирования очень важны, однако не менее важное значение имеет порядок предъявления заданий обучающемуся и метод определения его уровня знаний по результатам тестирования, т. е. модель тестирования. При измерении уровня знаний согласно классической модели тестирования, для каждого обучающегося формируется тест определенной длины из выбранных случайным образом заданий тестового пространства. Для обеспечения максимальной информативности результатов контроля необходимо, чтобы средняя сложность предъявляемого обучающемуся теста соответствовала его гипотетическому уровню обученности. Практически это можно осуществить только с помощью адаптивного тестирования (АТ)[1].

Под адаптивным тестированием понимают компьютеризованную систему научно обоснованной проверки и оценки результатов обучения, обладающую высокой эффективностью за счет оптимизации процедур генерации, предъявления и оценки результатов выполнения адаптивных тестов. Эффективность контрольно-оценочных процедур повышается при использовании многошаговой стратегии отбора и предъявления заданий, основанной на алгоритмах с полной контекстной зависимостью, в которых очередной шаг совершается только после оценки результатов выполнения предыдущего шага. После выполнения тестируемым очередного задания каждый раз возникает потребность в принятии решения о подборе трудности следующего задания в зависимости от того, верным или неверным был предыдущий ответ. Алгоритм отбора и предъявления заданий строится по принципу обратной связи, когда при правильном ответе тестируемого очередное задание выбирается более трудным, а неверный ответ влечет за собой предъявление последующего более легкого задания, чем-то, на которое обучающимся был дан неверный ответ. Таким образом, можно сказать, что адаптивная модель напоминает преподавателя на экзамене — если обучающийся отвечает на задаваемые вопросы уверенно и правильно, преподаватель достаточно быстро ставит ему положительную оценку. Если обучающийся начинает «плавать», то преподаватель задает ему дополнительные или наводящие вопросы того же уровня сложности или по той же теме. И, наконец, если обучающийся с самого начала отвечает плохо, оценку преподаватель тоже ставит достаточно быстро, но отрицательную.

Многошаговые стратегии АТ можно подразделить на фиксировано-ветвящиеся и варьирующе-ветвящиеся в зависимости от того, как конструируются многошаговые адаптивные тесты. Если один и тот же набор с фиксированным расположением заданий на оси трудности используется для всех испытуемых, но каждый движется по набору индивидуальным путем в зависимости от результатов выполнения каждого очередного задания, то стратегия АТ является фиксировано-ветвящейся.

Варьирующе-ветвящаяся стратегия АТ предполагает отбор заданий непосредственно из банка по определенным алгоритмам, которые прогнозируют оптимальную трудность последующего задания по результатам выполнения испытуемым предыдущего задания адаптивного теста. Таким образом, появляется своеобразная последовательность текущих значений уровня подготовленности обучаемого, применительно к которым подбирается трудность заданий адаптивных тестов.

Сопоставление различных видов АТ приводит к выбору компьютерного АТ, основанного на многошаговых варьирующих стратегиях, в качестве основного подхода. Наиболее важное преимущество варьирующих стратегий связано с возможностью оперативного реагирования на результаты выполнения учебных заданий путем переоценки уровня подготовленности обучающегося после выполнения каждого очередного задания адаптивного теста.

Тестирование обычно начинается с заданий средней сложности, но можно начинать и с легких заданий, т. е. идти по принципу повышения сложности. Тестирование заканчивается, когда обучающийся выходит на некоторый постоянный уровень сложности, например, отвечает подряд на некоторое критическое количество вопросов одного уровня сложности. Надежность результатов тестирования в данном случае самая высокая, т. к. осуществляется приспособление под уровень знаний конкретного обучающегося, что обеспечивает более высокую точность измерений.

На основе метода АТ можно построить требуемую автоматизированную систему контроля знаний (АСКЗ). Такой комплекс мог бы применяться для текущего и промежуточного контроля знаний (проведения зачетов и экзаменов) [2]. Задача состоит в создании более гибкого алгоритма тестирования, позволяющего выявить глубину и полноту знаний обучающегося, и эффективной методики расчета итоговой оценки, учитывающей относительную важность каждого вопроса и степень истинности выбранных обучающимся ответов.

АСКЗ должна иметь некоторые свойства, присущие процессу общения преподавателя и обучающегося. Для этого характерно[1,2]:

• а) вывод оценки на основе сравнения частной информационной модели обучающегося с такой же частной информационной моделью преподавателя; это ведет к повышению объективности контроля знаний;
• б) широкая шкала оценки каждого ответа. «Живой» опрос подразумевает возможность неполного, неточного, не совсем правильного ответа;
• в) гибкий алгоритм вывода итоговой оценки;
• г) переменное количество вопросов, предъявляемых обучающимся;
• д) адаптивный алгоритм контроля знаний обучающегося.

Адаптивный алгоритм контроля знаний может быть реализован следующим образом. Подмножество ответов на каждый вопрос имеет шкалу оценки «правильно — неполно — неточно — неопределенно — неправильно». Этой нечеткой шкале соответствует нормированная числовая шкала (1, t₁, t₂, t₃, 0). Всем ответам, кроме правильного, ставится в соответствие последующий вопрос с подмножеством ответов. Если на i-том шаге тестирования (обозначим вопрос D_i) дан неточный ответ, следующим задается уточняющий вопрос (D_i¹), причем подмножество ответов содержит как «более правильные» («правильно», «неполно»), так и «менее правильные» («неопределенно», «неправильно») ответы. Если и на этот вопрос дан ответ, отличный от правильного, дальнейшие дополнительные вопросы не задаются (иначе трудоемкость составления такой структуры вопросов была бы очень велика), тестирование переходит на i+1-й шаг (вопрос D_i+1). Таким образом, процесс тестирования можно представить в виде движения по ориентированному графу <G>, где вершинами являются вопросы, а дугами — переходы от предыдущего вопроса к последующему (рис. 1).

При задании преподавателем стратегии тестирования могут применяться два подхода: тестирование в глубину и тестирование в ширину. В обоих случаях все множество тестовых вопросов разбивается на подмножества, образованные близкими по тематике вопросами. S_u={S₁, S₂,…, S_n} Каждое подмножество S_m покрывает так называемый «островок» знаний. Первоначально вопросы выбираются случайным образом из всех подмножеств. Если используется тестирование в глубину, при получении на вопрос D_iS_m ответа, отличного от правильного, задается дополнительный вопрос D_i+j, j[1.4], затем последующие вопросы D_i+5n, D_i+5(n+1), … задаются из того же подмножества. D_i+5nS_m, n=1,2,…,p. При этом ставится цель определить, насколько велик пробел в знаниях обучающегося в пределах данного «островка» знаний.

Рис. 2.2. Граф <G>, отражающий последовательность предъявления тестовых вопросов

При тестировании в ширину в случае получения на вопрос D_iS_m ответа, отличного от правильного, задается дополнительный вопрос D_i+j, j[1.4], затем последующие вопросы D_i+5n, D_i+5(n+1), … задаются из других подмножеств. D_i+5nS_v, vm. В данном случае ставится цель определить общее знание предмета обучающимся.

Оценивание результатов теста производится следующим образом. На этапе формирования множества тестовых вопросов с подмножествами ответов на них каждому вопросу D_i присваивается весовой коэффициент K_i, а каждому ответу — числовое значение q функции принадлежности, характеризующее степень правильности ответа. Причём K_i[0.10], q[1.4], Весовой коэффициент K_i=0 может присваиваться шуточным вопросам, не влияющим на итоговую оценку и предназначенным для психологической разрядки обучающегося.

При вычислении оценки коэффициенты K_i нормируются делением на сумму весов всех предъявленных вопросов, умножаются на значение q функции принадлежности. Полученные произведения суммируются:

.

где R — оценка; T₁ — множество номеров предъявленных вопросов;

T₂ — множество номеров выбранных обучающимся ответов.

Полученная оценка R[0;1] проецируется на шкалу [0;r₁;r₂;r₃;1],.

где 0r₁r₂r₃1 — границы интервалов, соответствующих оценкам от «неудовлетворительно» до «отлично». Таким образом, если:

R[0;r₁) — оценка «неудовлетворительно»;

R[r₁;r₂) — оценка «удовлетворительно»;

R[r₂;r₃) — оценка «хорошо»;

R[r₃;1] - оценка «отлично».

Оценка может вычисляться как по окончании теста, так и во время его. В этом случае имеется несколько критериев окончания теста:

Задаваемый априори объём теста N;

Заданное время проведения теста;

R=R_i — R_i-1, N>N_min,.

где R_i, R_i-1 — две последовательно вычисляемые во время теста оценки;

— заданная погрешность оценивания (достаточно мало);

N — фактический, N_min — минимальный объемы тестов.

Предполагается, что если R, то обучающийся отвечает достаточно «ровно», и вычисленная оценка отражает его уровень знаний с приемлемой точностью.

Автоматизированная система, построенная по сформулированным принципам, может быть реализована в виде отдельной системы программированного обучения или в виде подсистемы тренажерного комплекса. В первом случае, в зависимости от цели тестирования, может быть выбрана одна из существующих программных оболочек или разработана новая, если существующие оболочки не позволяют реализовать поставленную цель тестирования. Во втором случае, подсистема тестирования будет интегрирована в программную оболочку тренажерного комплекса. Применение системы позволит повысить эффективность контроля знаний, снизить нагрузку на преподавателя, автоматизировать его труд и повысить объективность оценивания знаний.