Анализ материала и изучаемых методик обучения и контроля

Модель адаптивного контроля знаний.

Профессором Л. А. Растригиным [2,с. 52] было предложено рассматривать процесс обучения как процесс управления сложной системой. Аналогично можно представить и процесс управления адаптивным контролем знаний (рис. 1).

Рис. 1. Модель адаптивного контроля знаний.

ЧТО ТАКОЕ АДАПТИВНЫЙ КОНТРОЛЬ?

Блок «Алгоритм контроля» выполняет следующие функции:

• · анализ деятельности студента (проверка правильности его ответов и выполняемых действий);
• · управление процессом контроля знаний на основе выбранного метода;
• · определение результатов контроля, которое обычно сводится к выставлению оценки студенту.

База знаний (БЗ) содержит методы и/или модели процесса контроля, а также совокупность знаний предметной области. База данных (БД) включает наборы вопросов и задач, предназначенных для проверки знаний студента и/или данные для формирования заданий. Контрольные задания могут также генерироваться автоматически на основе БЗ. База данных и база знаний совместно с моделью студента образуют основу системы контроля.

Модель студента включает разнообразную информацию о студенте: предыстория обучения; результаты текущей работы (тип выполненных заданий, время выполнения заданий, число обращений за помощью и т. д.); личностные психологические характеристики (тип и направленность личности, способность к обучению, особенности памяти и др.); общий уровень подготовленности и другие [3, с. 204−206].

Формировщик вопросов и задач используется для формирования и выдачи студенту очередного задания (вопроса или задачи). Контроль знаний осуществляется следующим образом: студент выполняет предложенное задание, и результат его работы помещается в модель студента. Блок «Алгоритм контроля» на основе анализа ответа студента, целей контроля Z и используемого метода проведения контроля, учитывая внешние ресурсы R₁ (например, возможности системы контроля) и внутренние ресурсы студента R₂ (например, время контроля), а также состояние среды D_x, определяет параметры задания, которое должно быть предложено студенту. Формировщик вопросов и задач, получив от «Алгоритма контроля» данные о параметрах следующего задания, выбирает из БД и/или БЗ необходимую информацию I, формирует текст задания и выдает его студенту. В простейшем случае работа этого блока сводится к выбору нужного вопроса или задачи из базы данных. При некоторых видах контроля (например, при текущем КЗ или самопроверке) может быть предусмотрена обратная связь К, которая состоит в выдаче комментария на ответ студента.

Таким образом, для управления адаптивным контролем знаний необходимо наличие:

• · методов и моделей организации (проведения) контроля;
• · моделей определения и оценки знаний, умений и навыков студента по результатам выполнения контрольных заданий.

Методы и модели проведения контроля Процесс контроля знаний состоит из трех этапов: формирование вопросов для КЗ на основе контрольных заданий, хранящихся в БД; выдача их студенту и получение его ответа, возможно, с обратной связью; выставление оценки за контроль. Первые два этапа относятся к организации процесса компьютерного контроля и при адаптивном КЗ обычно объединяются.

Методы организации контроля знаний можно разделить на три класса (рис. 2):

• · неадаптивные методы;
• · частично адаптивные методы;
• · полностью адаптивные методы.

К неадаптивным методам контроля относятся:

• · Строгая последовательность. Набор заданий для контроля заранее подготавливается преподавателем или разработчиком контрольной работы и помещается в БД системы. Как правило, это одинаковая последовательность вопросов для всех студентов. Недостатки данного метода очевидны: отсутствие разнообразия (одно из требований педагогики), понижение самостоятельности выполнения заданий и др. Этот метод считается наихудшим, поэтому и применяется крайне редко. Метод можно несколько улучшить, например, подготовив несколько вариантов контрольной работы и/или выдавая задания студентам в произвольной последовательности.
• · Случайная выборка. Набор заданий формируется непосредственно перед контролем на основе заданий, хранящихся в БД, т. е. вариант контрольной работы — это n случайно выбранных заданий. Значение n может быть заранее задано преподавателем (разработчиком контрольной работы) или выбрано студентом (например, при самороверке). Преимущество данного метода состоит в том, что каждому студенту предлагается индивидуальная последовательность вопросов. Основной недостаток метода — вариант контрольной работы генерируется без учета трудности заданий. Таким образом, набор заданий для одного студента может включать лишь самые трудные вопросы, а для другого — только легкие. Это часто приводит к искажению результатов контроля. Существуют различные модификации данного метода, позволяющие учитывать метаданные вопросов. Например, а) могут быть заданы тема и общее время контроля, время ответа на каждый вопрос, число попыток дать ответ и т. п.; б) дополнительно к (а) устанавливается число вопросов разной степени трудности и/или из разных тем в каждом варианте контрольной работы.
• · Комбинированный метод, в основе которого — «Случайная выборка», дополненная «Строгой последовательностью». В этом случае преподаватель (разработчик контрольной работы) задает один или несколько вопросов, которые непременно должны быть включены в каждый вариант контрольной работы. Остальные задания генерируются случайным образом, как во втором методе.

Рис. 2. Методы организации контроля знаний.

Общим для всех неадаптивных методов является то, что вариант контрольной работы для каждого студента формируется до контроля (заранее или непосредственно перед КЗ), т. е. на первом этапе КЗ, что, с одной стороны, повышает скорость контроля (не требуется поиск задания в БД и его загрузка), с другой — позволяет выдавать задания двумя способами: по одному или списком. В последнем случае студент сам может выбрать последовательность выполнения заданий.

Частично адаптивные методы контроля предполагают использование информации из модели студента (МС) или учебного материала (УМ) при формировании набора контрольных вопросов. К этому классу моделей относятся:

Случайная выборка с учетом отдельных параметров модели студента. Метод является развитием неадаптивных методов КЗ. Он аналогичен «Случайной выборке» и/или «Комбинированному методу», т. е. набор заданий также формируется непосредственно перед контролем, но при генерации используются такие параметры МС, как общий уровень подготовленности, способность к обучению и, возможно, другие [4, с.112]. Таким образом, каждому студенту генерируется набор заданий, соответствующий его уровню подготовленности и способностям, что является главным преимуществом данного метода. Другое достоинство метода: студент, выполняя задания, соответствующие его способностям, не испытывает лишней психологической нагрузки во время контроля. В качестве недостатка данного метода можно отметить следующее: студенты получают задания различной трудности (это, безусловно, должно быть учтено при выставлении оценки), т. е. один выполняет только простые задания, а другой — трудные. Поэтому, генерируя вопросы студенту, соответствующие его способностям, целесообразно включить в набор и один — два задания повышенной трудности и значимости.

Контроль на основе ответов студента. В этом методе контроль осуществляется по заранее составленному сценарию или, другими словами, по разветвленной контролирующей программе. Пример такого сценария приведен на рис. 3, где вершины графа В_i соответствуют вопросам, предлагаемым студенту, а дуги указывают следующий выдаваемый вопрос в зависимости от правильности ответа: Пр — правильный ответ, Нт — неточный, Нп — неправильный ответ. Предварительная подготовка сценария КЗ дает возможность включить в программу вопросы разной степени трудности и значимости, расположив наиболее значимые и трудные задания в основной ветви программы (на рис. 3 это вопросы В₁ и В₆), а более простые — в разветвлениях. Таким образом, студенты получают разное число вопросов, а, следовательно, и время, затрачиваемое ими на контроль, различно, что является достоинством данного метода. Другое преимущество метода — простота обеспечения обратной связи (выдачи соответствующего комментария).

Ответы студента, как параметр проведения КЗ, используются и в другом методе, который основан на байесовском подходе к принятию решений в условиях неопределенности. Метод предусматривает вычисление вероятностей для оценки знаний студента. Если рассчитанные вероятности не позволяют однозначно оценить проверяемые знания, то студенту предлагается еще один вопрос. В противном случае контроль продолжается, причем минимальное число вопросов n задается заранее.

Рис. 3. Пример сценария контроля.

Контроль на основе модели учебного материала (УМ). В данном методе формирование набора заданий для КЗ происходит на основе модели учебного материала (курса, темы, раздела темы), которая представляет собой ориентированный граф: множество вершин графа соответствует объектам изучения, а множество ребер — связям между ними. Изучение УМ, равно как и организация контроля, осуществляется в соответствии с оптимальной последовательностью изложения учебного материала, которая обычно есть ничто иное, как линейная последовательность объектов изучения. Таким образом, сначала генерируется задание для проверки знаний первого учебного объекта, затем — второго и т. д., т. е. последовательность выдачи заданий аналогична последовательности изучения учебного материала по модели УМ. При этом, если планируется проверить и знания, и умения, то одному учебному объекту могут соответствовать несколько вопросов. Возможна модификация данного метода, предусматривающая генерацию контрольных заданий с учетом уровня подготовленности студента.

Модульно-рейтинговый метод. Этот метод во многом аналогичен предыдущему. Учебный материал разделяется на отдельные составляющие — модули, для каждого из которых заранее подготавливается комплект контрольных заданий. В процессе КЗ студенту сначала предлагается вопрос из первого модуля. При этом после каждого ответа студента вычисляется его рейтинг. Переход к вопросам следующего модуля осуществляется при достижении определенного, заранее установленного рейтинга, причем студент с целью повышения своего рейтинга, а, следовательно, и оценки, может продолжить выполнение заданий текущего модуля и лишь затем перейти к следующему. Методы данной группы, так или иначе, связаны со структурой учебного материала, а также учитывают уровень подготовленности студентов, т. е. налицо признаки адаптации.

Адаптивные методы максимально используют информацию из моделей студента и/или учебного материала. К ним относятся:

Контроль по модели студента. В этом методе учитываются многие параметры модели студента, а именно:

• · уровень подготовленности влияет на трудность предлагаемых заданий;
• · направленность личности влияет на формулировку текста выдаваемого задания;
• · уровень беспокойства-тревоги определяет как наличие обратной связи, так и форму, и детальность комментариев;
• · особенности памяти являются условием для определения времени выполнения задания и контрольной работы в целом;
• · ответ студента, точнее, правильность ответа влияет на выбор следующего контрольного задания.

Сценарий контроля обычно формируется динамически в процессе КЗ, хотя набор сценариев для различных групп студентов может быть создан и заранее аналогично методу «Контроль по ответам студента».

Контроль по моделям студента и учебного материала. Данный метод является развитием предыдущего, т. е. при формировании контрольных заданий используются приведенные ранее параметры модели студента, но процесс КЗ строится на базе модели учебного материала, учитывая взаимосвязи между проверяемыми понятиями.

Таким образом, существует большое количество методов организации компьютерного контроля знаний, часть из которых в той или иной мере можно считать адаптивными. В таблице 1 приведены основные характеристики методов проведения контроля.

Таблица 1. Методы проведения контроля и используемые модели.

Модели и методы оценки знаний Определение и оценка знаний представляет собой задачу распознавания, основанную на обучении. Решение проблемы оценивания состоит из трех этапов (рис. 4):

• · определение параметров контроля (обучение), выполняемое до начала КЗ;
• · сбор, анализ и/или преобразование данных, получаемых в процессе контроля (распознавание);
• · выставление оценки за контрольную работу по завершении контроля (распознавание).

Рис. 4. Модель оценивания знаний при контроле.

На первом этапе по результатам контрольного эксперимента определяются метаданные заданий (трудность, значимость и т. д.) и устанавливаются параметры КЗ (число вопросов, время на ответ и др.). Метаданные и параметры помещаются в основание системы и используются на последующих этапах. На втором этапе при выполнении студентом контрольных заданий осуществляется сбор, анализ и, возможно, предварительная обработка полученных данных. На последнем этапе выставляется общая оценка за работу. В большинстве методов оценивания предусматривается вычисление некоторой величины, которая затем сравнивается с предварительно заданными граничными значениями. То есть оценка определяется по формуле:

где I — оценка за контрольную работу; {c₁, c₂, …, c_м} - вектор граничных значений; M — максимальная возможная оценка (например, при пятибалльной шкале M = 5).

Методы оценивания в основном используются на втором и третьем этапе, хотя существует ряд методов, которые применяются для выставления оценки только на последнем этапе.

Методы оценки знаний можно разделить на два основных класса (рис. 5):

• · математические методы;
• · классификационные методы.

К математическим моделям оценки знаний относятся:

Простейшая модель. Данная модель является самой простой и самой распространенной. Ответ студента на каждое задание оценивается по двухбалльной (правильно или неправильно) или многобалльной (например, пятибалльной) шкале. Оценка выставляется путем вычисления значения R:

где R_i — правильный ответ обучаемого на iе задание; k — количество правильных ответов из n предложенных (k n), которое затем обычно округляется по правилам математики. К достоинствам данной модели следует отнести простоту ее реализации. Недостатком модели является ее зависимость от единственного параметра (количества правильных ответов), т. е. она не учитывает не полностью точные ответы и характеристики заданий. Простейшая модель имеет самую низкую надежность, т.к. не позволяет объективно оценить знания студента.

Рис. 5. Модели и методы оценки знаний.

Модели, учитывающие параметры заданий. В этих моделях при выставлении оценки используются характеристики контрольных вопросов. Существуют различные модификации данного типа моделей.

Модель, учитывающая время выполнения задания и/или общее время контрольной работы. Для правильных ответов рассчитывается значение R_i по формуле:

.

где t — время выполнения задания; t_max — время, отведенное для выполнения задания.

Далее итоговая оценка вычисляется аналогично «Простейшей модели».

Модель на основе уровней усвоения. В этой модели характеристикой задания является уровень усвоения, для проверки которого оно предназначено. Таким образом, задания разделяются на пять групп, соответствующих уровням усвоения: понимание, опознание, воспроизведение, применение, творческая деятельность [5, с.50]. Для каждого задания определяется набор существенных операций. Под существенными понимают те операции, которые выполняются на проверяемом уровне. Операции, принадлежащие к более низким уровням, в число существенных не входят. Для выставления оценки используется коэффициент К_a:

где Р₁ — количество правильно выполненных существенных операций в процессе контроля;

Р₂ — общее количество существенных операций в контрольной работе;

a = 0, 1, 2, 3, 4 — соответствуют уровням усвоения.

Оценка выставляется на основе заданных граничных значений по соотношениям:

К_a< 0.7 — неудовлетворительно;

• 0.7 К_a < 0.8 — удовлетворительно;
• 0.8 К_a < 0.9 — хорошо;

К_a 0.9 — отлично.

Модели на основе вероятностных критериев. Главным в данных математических моделях контроля знаний являются утверждения о зависимости вероятности правильного ответа студента от уровня его подготовленности и от параметров задания [6, с.160]. Суть этих моделей состоит в том, что на основе известных априорных вероятностей рассчитываются апостериорные вероятности Р (H_i) гипотезы H_i, что студент заслуживает оценку i. При вычислении вероятности Р (H_i) учитываются: сложность и время выполнения заданий; число предложенных обучаемому заданий; число неправильно выполненных заданий и др. Рассчитанные вероятности анализируются и/или сравниваются с граничными значениями, учитывая риски недооценки и переоценки выставления оценки i. Если полученные результаты однозначно позволяют выставить оценку, то контроль, как правило, завершается. В противном случае студенту выдается очередное задание.

Основная идея классификационных моделей заключается в отнесении студента к одному из устойчивых классов с учетом совокупности признаков, определяющих данного студента. При этом используется специальная процедура вычисления степени похожести (оценки) распознаваемой строки (совокупности признаков обучаемого) на строки, принадлежность которых к классам заранее известна.

Алгоритм, основанный на вычислении оценок (АВО) был впервые предложен Ю. И. Журавлевым [6, с.31] и позднее использовался для классификации обучаемых по уровням подготовленности [3, с.207−212] и для оценки знаний в качестве дополнительного метода. Данная модель предусматривает построение таблицы обучения Т^о_nm, в которой каждая строка представляет собой набор признаков обучаемого характеризующих работу студента в процессе КЗ: количество предложенных заданий (n), средний балл (A), количество попыток выполнения заданий (k_n), количество обращений к справочной информации (k_c), ранг ®. При выставлении оценки вычисляется степень похожести совокупности признаков конкретного студента I (S) = {₁, ₂, …, _m} на строки, входящие в таблицу обучения Т^о_nm, на основании чего осуществляется отнесение его к определенному классу K_j. Для этого вычисляется число строк каждого класса K_j, близких по выбранному критерию классифицируемому объекту S. Строка таблицы обучения Т^о_nm I (S^j_i) = {a ^j_i1, …, a^j_im} и распознаваемая строка I (S) = {₁, ₂, …, _m} считаются похожими, если выполняются неравенства |a^j_ik —_k|, где (k =1, …, m) — точность сравнения. Студент относится к классу K_j, имеющему максимальную оценку max Г_j (S, K_j), j = 1, …, m. Данная модель в настоящее время применяется с единственным отличием: вместо одной таблицы обучения, содержащей данные для различных классов, в КИОС используются четыре таблицы обучения для классов «отлично», «хорошо», «удовлетворительно» и «неудовлетворительно», названные эталонными таблицами оценивания.

Таким образом, для оценивания знаний студентов применяются разные модели и алгоритмы, начиная с самых простых, учитывающих лишь процент правильно выполненных заданий при двухбалльной системе оценки отдельного вопроса, и заканчивая сложными составными, в которых используются всевозможные параметры контроля и многобалльная система оценки как отдельных заданий, так и работы в целом [6, с.190]. Все методы оценивания предусматривают в процессе КЗ сбор данных о ходе контроля. Метод линейно-кусочной аппроксимации и модели на основе вероятностных критериев предполагают также вычисление некоторых функций, которые обычно используются для определения дальнейшего хода контроля.