Интеллектуальная информационная система оптимального контроля знаний

Одна из важнейших задач процесса обучения заключается в формировании и оценке компетентности учащихся на основе компетентностного подхода [1], повышения качества управляемых процессов по ликвидации негативных явлений в учебном процессе [2], оценки эффективности процесса обучения [3]. Одной из основных составляющих решения этой задачи является создание оптимальной системы контрольных мероприятий с точки зрения структуры их размещения и оценки степени усвоения соответствующего учебного материала.

Цель данной работы заключается в разработке графовой модели, представляющей собой интеллектуальную информационную систему оптимального управления контролем знаний учащихся с применением понятия внешней устойчивости нечёткого графа [4].

Решение данной задачи рассмотрим на примере дисциплины «Линейная алгебра» (направление подготовки 80 100 «Экономика», профиль «Бухгалтерский учет, анализ и аудит»), модуль 2 «Векторная алгебра», согласно программе бакалавриата, разработанной в Тверской государственной сельскохозяйственной академии.

Данный модуль содержит 8 практических занятий, двухи четырехчасовых. Перечислим по порядку следования учебные вопросы этих занятий:

П31. Действия над векторами (2 часа).

• 1. Линейные операции в алгебраической форме.
• 2. Линейные операции над векторами в геометрической форме.

П32. Вычисление скалярного произведения (2 часа).

• 3. Вычисление длины вектора.
• 4. Различные способы вычисления скалярного произведения.
• 5. Исследование векторов на ортогональность.

П33. Решение треугольников (4 часа).

• 6. Нахождение длин сторон, медиан, высот треугольника.
• 7. Нахождение углов и площади треугольника.

П34. Решение задач на векторное и смешанное произведение (2 часа).

• 8. Применение векторного произведения для решения практических задач.
• 9. Применение смешанного произведения.

П35. Линейное пространство, базис (2 часа).

• 10. Отработка понятия линейного пространства.
• 11. Исследование системы векторов на линейную зависимость и линейную независимость.
• 12. Отыскание базисов.

П36. Применение ранга при исследовании систем линейных уравнений (4 часа).

• 13. Вычисление ранга.
• 14. Исследование систем при помощи ранга.

П37. Линейные преобразования (4 часа).

• 15. Отработка понятия линейного преобразования.
• 16. Анализ преобразования на линейность.
• 17. Отыскание собственных векторов и собственных значений линейного преобразования.

П38. Квадратичные формы (2 часа).

• 18. Приведение квадратичной формы к каноническому виду. Закон инерции.
• 19. Исследование на положительную (отрицательную) определённость.

Граф определим следующим образом. Он имеет 19 вершин согласно числу сформулированных учебных вопросов. Если знание вопроса j определяет знание вопроса, то вопрос i будем называть контролируемым, а вопрос j — контролирующим. На графе в этом случае идёт дуга из вершины x_i в вершину x_j, для которой определяется функция принадлежности степени использования учебного материала i-го вопроса при изучении j-го учебного вопроса. Граф будем рассматривать нечёткий, сначала воспользуемся матричным представлением графов. Запишем матрицу смежности этого графа с учётом введённого на вершинах отношения контролируемости согласно рассмотренной выше части учебной программы (табл.1).

Таблица 1 — матрица смежности.

Значения функции принадлежности получены на основе суждений экспертов (преподавателей кафедры). Каждой вершине x_j графа ставится в соответствие булева переменная P_j, принимающая значение 1, если данная вершина принадлежит некоторому нечёткому внешне устойчивому множеству, и равная 0 в противном случае. Пусть — степень внешней устойчивости множества. Высказыванию ставится в соответствие нечёткая переменная. Согласно общему алгоритму [4], находим минимальные внешние устойчивые множества :

Здесь i-й сомножитель равен i-й строке матрицы, коэффициенты при слагаемых в скобках равна соответствующим значениям _. С учётом правил, ,, , если и, формула преобразуется в дизъюнкцию конъюнкций с соответствующими постоянными множителями [4]. Каждый такой дизъюнктивный член соответствует минимальному внешнему устойчивому множеству вершин графа при взаимно однозначном соответствии, числовой коэффициент при соответствующем произведении равен, согласно определению нечеткой конъюнкции, минимальному из коэффициентов при сомножителях в данном слагаемом. Этот коэффициент показывает степень выполнения контрольных мероприятий по изучению рассмотренного выше фрагмента программы. По определению, коэффициент не превосходит 1. Если, то это означает 100%-е выполнение контрольных мероприятий, чем ближе к нулю, тем хуже происходит выполнение контрольных мероприятий. В то же время большое значение имеет количество этих мероприятий, т.к. на каждое из них тратится достаточное количество сил и времени как при аудиторной, так и самостоятельной работе. Минимальное количество контрольных мероприятий определяется минимальным числом сомножителей в дизъюнктивных членах суммы Ф_Т. Не будем проводить громоздкие преобразования формулы Ф_Т, к тому же эти преобразования можно осуществить с использованием Microsoft Excel. Установим критерий отбора минимальных внешних устойчивых множеств: во-первых, множитель, характеризующий степень выполнения контрольных мероприятий (степень контроля), должен быть максимально возможным в данной ситуации, во-вторых, число сомножителей, равное числу контрольных мероприятий по данному фрагменту учебной дисциплины, должно быть минимально возможным. Для рассматриваемого примера данному критерию удовлетворяют четыре минимальных внешних устойчивых множества:

К примеру, на основе табл. 1 для первого из этих множеств можно утверждать, что вершина x₆ контролирует вопросы 1−6, x₉ — вопросы 2−5, 7−9, вершина x₁₂ — вопросы 1,5,10−12, вершина x₁₈ — вопросы 1,2,10,13−18, вершина x₁₉ — вопрос 19, таким образом, под контролем оказываются все учебные вопросы данного фрагмента дисциплины.

Коэффициент степени контроля у каждого из этих множеств равен 1, т. е. соответствует 100%-у выполнению контрольных мероприятий. Число вершин в каждом множестве равно пяти, что соответствует пяти контрольным мероприятиям. Какой вариант предпочтительнее в данной ситуации, решает преподаватель индивидуально в контексте общего уровня подготовленности и склонности к обучению группы. Проведем анализ предполагаемых контрольных мероприятий. Согласно первым двум вариантам, первое контрольное мероприятие охватывает вопросы 1−6, т. е. практические занятия № 1 и № 2, и только первую половину практического занятия № 3 (четырехчасового), вторая половина этого занятия попадает в следующее контрольное мероприятие. Третий и четвёртый варианты предполагают проведение первого контрольного занятия после прохождения практического занятия № 3. Первый и второй варианты предпочтительнее, если первое контрольное мероприятие достаточно объемное, а второе контрольное мероприятие, охватывающее вопросы 7−9, — не очень загружено. В противном случае предпочтительнее вторые два варианта. Однако, в случае второго и четвертого вариантов предполагается в третье контрольное мероприятие отнести вопрос № 13, разбив тем самым практическое занятие № 6 на две половины. Такое разбиение целесообразно, если практическое занятие № 3 не очень загружено в противовес практическому занятию № 4, которое проводится после изучения учебного вопроса № 18. Кроме того, разбиения практического занятия № 3 и практического занятия № 6 и отнесение вторых вопросов к следующему контрольному мероприятию дают возможность повторного опроса учебного материала по тематике указанных занятий. Особо стоит остановиться на контроле учебного вопроса № 19. На графе вершина имеет петлю, других контролируемых вопросов, связанных с этой вершиной, нет, поэтому неизбежна проверочная работа, как после изучения вопроса № 18, так и после изучения вопроса № 19.

Таким образом, в курсе «Линейная алгебра» при изучении перечисленных вопросов минимальное количество контрольных мероприятий должно быть равно пяти. В то же время в программе данной учебной дисциплины на этот фрагмент отведено только одно контрольное мероприятие — двухчасовая классная контрольная работа, проводимая после 4-го практического занятия (вопросы 1−9). Следовательно, остальные контрольные мероприятия должны проводиться либо как домашние контрольные работы, либо в виде тестирования по этим вопросам, либо представлять собой реализацию интерактивного метода «Ромашка», представляющего собой краткий и быстрый опрос основных понятий данных учебных вопросов.

На основе матрицы смежности построим следующий граф (рис. 1). Он похож на двудольный граф, у которого одну долю образуют выделенные, например, по первому варианту вершины, а вторую долю образуют остальные вершины, стрелки на графе направлены от вершин второй доли к вершинам первой доли согласно ненулевым значениям в столбцах таблицы для контролирующих вершин, каждая из которых имеет петлю. Во избежание громоздкости на рисунке вершины кодированы своими номерами. Вершины, от которых идут стрелки в контролирующую вершину, образуют группы зависимости данной контролирующей вершины, т. е. знание учебных вопросов группы зависимости определяет знание учебного вопроса, соответствующего данной контролирующей вершине. Применение данного графа дает возможность упростить анализ «пробелов в обучении» и активизировать их ликвидацию.

Рисунок 1. Граф учебных вопросов Другая важная задача планирования контрольных мероприятий связана с определением такого множества К контролируемых вопросов, чтобы знание всех остальных учебных вопросов рассматриваемого фрагмента дисциплины «Линейная алгебра» зависело от множества К. Данную задачу также будем решать на основе понятия внешней устойчивости нечёткого графа. Соответствующий граф будет иметь 19 вершин по числу сформулированных вопросов рассматриваемого учебного фрагмента. Если контрольное мероприятие проводится непосредственно после изучения i-ого учебного вопроса, то на графе имеется петля в вершине, кроме того, если для знания какой-то части i-ого вопроса необходимо знание j-ого вопроса, то на графе из вершины идет стрелка в вершину. Это нечёткий граф. Для каждой его дуги определяется функция принадлежности степени использования материала j-го учебного вопроса при изучении материала i-го вопроса. Возможны разные способы оценки степени использования. Например, как результат экспертного оценивания группой специалистов. Возможен и такой подход. Каждый учебный вопрос разбивается на элементарные подвопросы, которые взвешиваются согласно их важности и сложности. Вес каждого подвопроса данного учебного вопроса делится на их сумму, получаются приведённые веса. Тогда степень использования j-го учебного вопроса при рассмотрении i-го равна сумме приведённых весов соответствующих элементарных подвопросов. К примеру, вопрос № 3 о вычислении длины вектора полностью используется при рассмотрении вопроса № 4, связанного с вычислением скалярного произведения векторов. Поэтому для этих вершин функция принадлежности равна 1. А вопрос № 7, содержанием которого является нахождение углов и площади треугольника, связан лишь с первым и третьим подвопросами вопроса № 6, относящимися только к нахождению длин сторон и высот треугольника, но не медиан. Как известно, задача отыскания длин высот треугольника (при известных вершинах) существенно сложнее задачи нахождения длин сторон и длин медиан. Так, если длина стороны находится в одно действие по теореме Пифагора при заданных координатах вершин, то при нахождении длины медианы необходимо ещё одно предшествующее действие для отыскания неизвестной вершины, а при вычислении длины высоты количество подобных действий составит уже множество из 3х-4х действий. Три действия получаются, если учащийся помнит формулу расстояния от точки до прямой. Тогда первые два действия — нахождение уравнения противоположной стороны и подстановка в это уравнение координат данной точки, третье действие — деление на нормирующий множитель. Если учащийся не помнит формулу расстояния, то сначала записывается уравнение противоположной стороны, затем — уравнение перпендикуляра к ней (высоты), в третьем действии находится точка пересечения основания с высотой, в четвертом — расстояние между данной вершиной и найденной точкой пересечения. Если треугольник задан уравнениями своих сторон, то для отыскания длины стороны надо произвести три действия, для отыскания длины медианы четыре действия, для нахождения высоты — 2 действия, если учащийся помнит формулу расстояния от точки до прямой, и — 3 действия, если он эту формулу на помнит. Для простоты будем считать все действия равноценными, тогда при известных вершинах веса подвопросов, связанных с вычислением длин стороны, медианы и высоты в случае, если учащийся помнит указанную формулу, можно определить, соответственно, как и. В этом случае. Для случая, когда он эту формулу не помнит,. Считаем оба случая равновозможными, отсюда среднее значение. Если треугольник задан уравнениями сторон, то из аналогичных рассуждений получается среднее значение. графовая модель нечёткий граф Оба типа задач по нахождению длины стороны, медианы и высоты будем считать равноценными. Поэтому итоговое среднее значение характеризует степень использования вопроса 6 при рассмотрении вопроса 7. Из-за громоздкости нечёткий граф данного модуля рисовать не будем. Ограничимся заданием матрицы функции принадлежности, которая является нечёткой матрицей смежности. Для рассматриваемого примера это квадратная матрица порядка 19 (по числу учебных вопросов модуля), в которой — первая вершина дуги , — вторая (табл. 2).

Таблица 2 — матрица функции принадлежности.

Находим все минимальные внешние устойчивые множества:

Аналогично предыдущей формуле Ф_Т данная формула преобразуется в дизъюнкцию конъюнкций с некоторыми числовыми множителями. Числовой множитель при данном слагаемом равен нечеткой конъюнкции числовых коэффициентов всех его сомножителей и характеризует степень использования учебного материала совокупности учебных вопросов, связанных с данным слагаемым, при изучении всех учебных вопросов рассматриваемого фрагмента дисциплины. Критерий отбора минимальных внешних устойчивых множеств оставим таким же, как и в предыдущем примере. С учетом этого после упрощения формулы Ф_Т можно выделить четыре минимальных внешних устойчивых множества, удовлетворяющих рассматриваемому критерию:

.

Множество вершин в каждом слагаемом соответствует множеству контролируемых вопросов, которые используются при изучении всех остальных учебных вопросов данного фрагмента со степенью использования, равной 1. Количество контролируемых вопросов, образующих минимальное внешнее устойчивое множество, можно уменьшить до трех — после раскрытия скобок в Ф_Т одно из слагаемых будет. Однако в этом случае степень совместного использования вопросов № 1, 3, 12 будет равна 0,5. Предложенный метод исследования позволяет осуществлять оптимальное планирование контрольных мероприятий, оценить степень использования в изучении данной дисциплины различных групп учебных вопросов и провести соответствующую градацию весовых коэффициентов.

Текущий контроль успеваемости играет первостепенную роль в обучении. В [5] рассмотрен волновой процесс обучения в соответствии с мероприятиями текущего контроля. В [6] рассмотрен нечёткий контролер знаний учащихся, построенный на основе нечётких онтологий. Эту идею можно усовершенствовать в двух направлениях. Во-первых, проверке подвергать не только онтологии, но и доказательства утверждений, схемы доказательств, алгоритмы вычислений, правила решений, моделируемые нечёткими графами. Во-вторых, сравнение полученных результатов с эталоном можно осуществлять, используя изоморфизм нечётких графов с одинаковыми вершинами. Приведём общее определение степени изоморфизма графов [4]. Пусть и — нечёткие ориентированные графы, где и — множества вершин, а.

.

— нечёткие множества ребер с функциями принадлежности и, при этом число вершин в графах одинаковое. Степень изоморфизма нечётких графов определяется как значение выражения:

(1).

где «min"обозначает операцию минимума, эквивалентность определяется как, где «» — операция нечёткой импликации, в частности, в логике Лукасевича определяемая как .

Степень изоморфизма можно рассматривать в качестве степени усвоения данными учащимися данного вопроса (данной задачи).

Рассмотрим пример оценки степени усвоения правила отыскания экстремумов функции для конкретного примера. Пусть требуется найти экстремум функции. Решение (эталон) оформим в виде графа. Вершина соответствует вычислению производной. Вершина обозначает тот факт, что — производная приравнивается к нулю и ищутся критические точки, вершина соответствует найденному решению 1,5; вершина — значению —. При этом в вершине имеется развилка, связанная с вершинами и. Вершина соответствует случаю, когда левее числа 1,5 производная отрицательная, вершина соответствует случаю правее точки 1,5. В вершине — развилка в и. Вершина определяет случай левее точки — , — случай правее точки —. В вершине — развилка в и. Вершина связана с максимумом функции, вершина — с минимумом. Граф эталонного решения показан на рис. 2.

Рисунок 2. Граф эталонного решения При этом. Рассмотрим пример неэталонного графа учащегося решения данной задачи. Пусть, к примеру, этот граф имеет вид, изображенный на рис. 3.

Рисунок 3. Граф неэталонного решения Учащийся неправильно нашёл производную, поэтому для его графа, а насколько эта степень меньше, чем 1, определяется либо путем экспертного оценивания степени серьёзности ошибки, либо по графу вычисления производной, который строится аналогично графам на рис. 2 и рис. 3. Пусть, к примеру, критические точки для своей неправильной производной нашел правильно, тогда и. Поскольку на графе 3 нет дуг (,), (,), (,) (,), соответствующие значения функций для указанных дуг будут равны нулю. Предположим, что до вершин и учащийся «добрался» благополучно, а вывод относительно вершины сделал ошибочный, перепутав максимальное и минимальное значения. В этом случае, а и. Конкретные значения функции для этих дуг определяются путем опроса экспертов. Пусть, например, и. Воспользуемся формулой (1). Для этого найдем Аналогично получаем:

; ;

; ;

; ;

; ;

; .

Окончательно по формуле (1) имеем: степень изоморфизма f=0. Следовательно, степень усвоения решения данного примера у данного учащегося равна 0.

Можно задать градацию балла успеваемости по решению данной задачи согласно степени изоморфизма. Например, степень изоморфизма в границах от 0 до 0,5 соответствует неудовлетворительной оценке, более чем 0,5, но менее, чем 0,75, — удовлетворительной оценке, от 0,75 до 0,9 (не включая 0,9) — хорошая оценка, от 0,9 до 1 — отличные знания.

Предложенный метод позволяет оценивать не только в целом знания обучаемых по рассматриваемому учебному материалу, но также производить оценку структуры знаний относительно связей между отдельными вопросами, заданиями, шагами решений, онтологиями и т. п. Такой подход дает возможность упорядочить знания учащихся, а также предлагаемый для изучения материал. Объективность оценки увеличивается.

Итак, в работе предложена информационная система рационального контроля знаний учащихся, позволяющая для каждой дисциплины (каждого её фрагмента) определить оптимальное количество и оптимальное размещение контрольных мероприятий по ходу изучения, а также осуществлять оценку структуры знаний. Предложенная система может с успехом использоваться не только в учебном процессе, но также при планировании, анализе и оценке любого процесса в экономике, технике, биологии и т. д.

• 1. Ганичева А. В. Метод определения оптимальных модулей и компетентности обучаемых // Качество. Инновации. Образование. 2013. № 10. С. 19−23.
• 2. Ганичева А. В. Математическая модель повышения качества учебного процесса // Естественные и технические науки. 2011. № 2 (52). C. 425−430.
• 3. Ганичева А. В. Оценка эффективности процесса обучения // Интеллект. Инновации. Инвестиции. 2011. № 2. C. 134−138.
• 4. Берштейн Л. С., Боженюк А. В. Нечеткие графы и гиперграфы. М.: Научный мир, 2005. 256 с.
• 5. Ганичева А. В., Ганичев А. В. Структурно-гармонический анализ показателей качества учебного процесса // Качество. Инновации. Образование. 2014. № 1(104). С. 24−30.
• 6. Морозова О. И. Методы нечеткого управления в адаптивной системе оценивания качества обучения // Радиоэлектронные компьютерные системы. 2011. № 2 (50). С. 89−94.