Методика оценки эффективности процесса обучения при наличии СОЗ

Процесс выполнения СОЗ состоит из этапов, результаты выполнения которых фиксируются и используются для оценки эффективности как самого этапа, так и курса в целом. Для оценки эффективности всего учебного курса и каждого этапа строится математическая модель, которая разрабатывается по алгоритму, состоящему из последовательности действий:

• 1. определение частных показателей эффективности;
• 2. определение вида свертки частных показателей в интегральный;
• 3. определение весов показателей;
• 4. определение итоговой формулы расчета интегрального показателя эффективности;
• 5. определение способа нормирования абсолютных фактических значений показателей.

Построение модели оценки эффективности для оценки этапа курса

а) Определение частных показателей эффективности Процесс обучения при наличии СОЗ характеризуется рядом показателей, которые рассчитываются по данным, полученным и накопленным в результате проверки уровня усвоения ЗУН и компетенций. Показатели определены в работе [8]. Множество показателей имеет вид:

П = {П1, П2, П3, П4, П5},.

где П1? повторяемость ошибок у разных студентов; П2? количество попыток сдачи одной работы (этапа); П3? количество ошибок; П4? процент ошибок бэкграунда; П5? процент ошибок оформления.

б) Определение вида свертки частных показателей в интегральный Для оценки эффективности обучения используется интегральный (обобщенный) показатель, который может быть получен с помощью различных методов свертки, описанных в работе [9]. Может использоваться метод главного показателя, линейная (аддитивная) свертка (метод взвешенной суммы [10]), мультипликативная свертка. Первый метод не подходит, т.к. среди показателей нет главного, существенно отличающегося от остальных. Линейная свертка не подходит, т.к. низкая оценка по одному показателю не может быть компенсирована высокой оценкой по другим. Поэтому для оценки эффективности выбрана мультипликативная свертка. В данном случае интегральный показатель эффективности обучения рассчитывается по формуле [9]:

, (1).

где n? количество показателей, n = 5; pi? вес i-го показателя.

в) Определение весов показателей Частные показатели неодинаково влияют на интегральный показатель эффективности. Одни оказывают большее влияние, другие меньшее. Для определения степени влияния используются веса показателей. Для определения весов показателей используется метод экспертных оценок.

Используются групповая экспертная оценка и такой экспертный метод как анкетирование с обратной связью [11]. Применяется очное и заочное анкетирование (через электронную почту) в зависимости от предпочтений экспертов. В качестве экспертов были опрошены преподаватели с опытом преподавания дисциплин в полностью дистанционной форме не менее 3-х лет и наличии полных методических пособий по проводимым курсам. Экспертами выступали преподаватели в должности доцента или старшего преподавателя с кафедр «Автоматизированные системы управления (далее АСУ)» и «Экономическая информатика» в Уфимском государственном авиационном техническом университете (далее УГАТУ). В анкетировании приняло участие 5 человек. Дистанционное обучение проводилось опрошенными преподавателями различными способами:

• · с помощью системы Moodle;
• · с помощью собственноручно разработанной системы;
• · через электронную почту.

Существуют различные методы, с помощью которых можно оценить показатели, такие как: ранжирование, парное сравнение, множественное сравнение, непосредственная оценка (гиперупорядочение), последовательное сравнение и др. Данные методы рассмотрены в работах [11, 12] Рассмотренные методы, несмотря на различие, дают близкие результаты [11] Для оценивания критериев в данном случае используется метод ранжирования, который можно использовать при небольшом числе показателей. В результате использования данного метода показатели выстраиваются в упорядоченную последовательность. Каждому показателю назначается ранг. Ранг равен единице для наиболее предпочтительного показателя. Для второго по предпочтению показателя ранг равен двум и т. д. Так выставляются ранги для показателей со строгим порядком. Если между показателями присутствует отношение эквивалентности, когда показатели для эксперта одинаковы по важности, то для таких показателей назначаются одинаковые ранги. Значение ранга в данном случае рассчитывается как среднее арифметическое значений рангов для данных показателей. [11, 13].

В результате экспертной оценки формируется матрица рангов R. Далее строится обобщенная ранжировка. Применение методики вычисления медианы или средней ранжировки связано с большой сложностью расчетов. Используется более простой метод: метод суммы рангов. Данный метод заключатся в том, что показатели ранжируются по сумме рангов, которые были даны всеми экспертами. [11].

Суммы рангов рассчитываются по формуле [11]:

(2).

где i — номер показателя, i = 1, 2… m, m = 5; l — количество экспертов, l = 5.

В таблице № 1 представлены результаты ранжирования показателей обучения экспертами дистанционного обучения.

Таблица № 1.

Ранжирование показателей процесса обучения.

Сумма рангов показывает степень предпочтения показателя. Показатель с наименьшим значением суммы рангов является самым важным, а показатель с наибольшим значением — самым последним по важности.

Таким образом, коллективное предпочтение показателей имеет вид:

Для оценки согласованности мнений экспертов используются коэффициенты:

• · конкордации. Используется, когда количество экспертов более 2;
• · ранговой корреляции: Кендалла и Спирмена. Используется, когда количество экспертов равно 2 [11].

Для определения согласованности экспертов в данном случае используется дисперсионный коэффициент конкордации, т.к. количество экспертов равно 5. Данный коэффициент при отсутствии связанных рангов рассчитывается по формуле [13]:

(3).

где W — сумма квадратов фактических отклонений сумм рангов для каждого показателя от среднего значения.

W рассчитывается по формуле [11]:

(4).

где — среднее значение суммы рангов для одного показателя.

Среднее значение суммы рангов для одного показателя рассчитывается по формуле [11]:

(5).

Коэффициент конкордации при наличии связанных рангов рассчитывается по формуле [11]:

(6).

где Dj — показатель связанности рангов в ранжировке j-го эксперта.

Показатель связанности рангов D рассчитывается по формуле [11]:

(7).

где Sj — количество наборов одинаковых рангов в ранжировке j-м экспертом; st — количество одинаковых рангов в наборе t при ранжировании j-м экспертом.

При K = 1 мнения экспертов совпадают, при K, близком 0, различия во мнениях очень сильны [13]. Оценка значимости коэффициента конкордации при количестве показателей от 3 до 7 и количестве экспертов от 3 до 20 определяется с помощью таблиц, представленных в работе [13]. Если количество показателей и экспертов больше, то для оценки используется хи-квадрат распределение с степенью свободы m -1. Таблицы содержат значения W, соответствующие 1 и 5% уровню существенности. Если рассчитанное значение более табличного, то это говорит о том, что мнения экспертов согласованы.

Далее проведем расчет коэффициента конкордации для определения согласованности мнения экспертов при ранжировании показателей эффективности обучения при наличии СОЗ. Так как в полученных ранжировках есть связанные ранги, то для расчета коэффициента конкордации используем формулу (6).

Далее оценим значимость коэффициента конкордации. Табличное значение W равно 112,3 для 5% и 142,8 для 1% уровня существенности. 116,5>112,3, Следовательно, значение коэффициента конкордации существенно с 5%-м уровнем существенности. Соответственно, мнения экспертов согласованы.

Для получения весовых коэффициентов показателей необходимо нормировать полученные суммы рангов для показателей. Сначала полученные ранги преобразуются следующим образом: самый высокий ранг 1 заменяется самым низким рангом 5, ранг 2 — рангом 4 и т. д. Т. е. ранжирование представляется в обратном порядке. В таблице № 2 представлены преобразованные ранги.

эффективность оценка учебный показатель Таблица № 2.

Ранжирование показателей процесса обучения в обратном порядке.

Нормирование проводится по формуле:

pi? [0;1] (8).

Подобная методика определения весов использовалась в работе [14] при сравнении результатов метода ранжирования с другими методами оценки.

Использовав формулу (8), получаем следующие значения весовых коэффициентов показателей:

Таким образом, формула расчета интегрального показателя эффективности принимает следующий вид:

(9).

г) Определение способа нормирования фактических абсолютных значений показателей.

Нормирование используется для того, чтобы все критерии привести к одной мере и использовать для расчетов не абсолютные значения критериев, а относительные. Для нормирования используется шкала Харрингтона, приведенная в таблице № 3.

Таблица № 3.

Шкала Харрингтона [15].

Минимальное недопустимое значение для каждого показателя соответствует верхней границе «плохо» шкалы Харрингтона и имеет количественное значение, равное 0,37. Максимальное значение показателя при нормировании получает значение 1, а минимальное — значение 0.

В таблице № 4 представлены усредненные минимальные недопустимые значения показателей.

Таблица № 4.

Усредненные минимальные недопустимые значения показателей.

Минимальные значения для всех показателей равны 0. Максимальное значение показателей, выражаемых в процентах равно 1 (соответствует 100%). Максимальные значения показателей, выражаемых не в процентах, определяются экспертно. В таблице № 5 приведены данные значения для показателей П2 и П3.

Таблица № 5.

Максимальные значения показателей, полученные экспертно.

Максимальное значение показателей П2 и П3 определяется по формуле:

хmaxi = sup{M}, (10).

где М? множество ответов экспертов; i — номер показателя.

Нормирование значений показателей производится по формуле:

(11).

где fi — нормированное значение i-го показателя; хфактi — фактическое значение i-го показателя; xдопi — минимальное недопустимое значение i-го показателя; xmaxi — максимальное значение i-го показателя.