Экспериментальное исследование эффективности применения нейронных сетей

Оценка студента при проведении реального экзамена может зависеть от различных факторов. Прежде всего это уровень требований преподавателя, его квалификация и знание предмета. Часто преподаватель проявляет гибкость (например, учитывая сложность и взаимосвязь вопросов, (иногда всего один правильный ответ может обеспечить положительную оценку, а незнание этого ответа — неудовлетворительную даже в том случае, когда студент правильно ответил на все остальные вопросы). Кроме того, оценка может зависеть и от психофизического состояния преподавателя, его настроения, самочувствия или даже погоды. Таких тонкостей может быть множество и преподаватель не всегда даже их осознает.

Необходимо также отметить, что при проведении в течение нескольких лет экзамена с одинаковыми вопросами на оценку преподавателя кроме выше перечисленных характеристик, изменяющихся каждый раз, может влиять и изменение его знаний и суждений из года в год.

Следовательно, для правильного оценивания знаний студентов необходимо построить достаточно гибкую и точную нейронную сеть, чтобы адекватно отобразить все нюансы в проставлении оценки преподавателем.

В данном проекте в качестве экспериментальных данных используются результаты экзаменов, проводившихся в Московском Энергетическом Институте.

В МЭИ в 1993, 1994, 1995 годах проводился экзамен одним и тем же преподавателем. Студенты должны были ответить на 8 вопросов, которые из года в год оставались неизменными. Ответ на каждый вопрос оценивался по 10-тибальной шкале (10 — отлично, 0 — не ответил). Затем выставлялась итоговая оценка за экзамен по 4-хбальной шкале (5 — отлично, 4 — хорошо, 3 — удовлетворительно, 2 — плохо). Таким образом были собраны данные об ответах и оценках 296 студентов за 3 года (99, 98, 99 человек соответственно в каждом году). Данные приведены в таблице 1.

Определим коэффициент распознавания D как отношение правильно распознанных образов к общему числу предложенных образов.

D = (15+21+32+20) / 99 = 0.89.

Это оптимистичная оценка распознавания сети.

Для более точной оценки проанализируем принадлежность кластеру и значение выхода, проставленное преподавателем, каждого образца. По результатам проведенного анализа рассчитаем D1.

D1 = 0.83.

Таким образом, можно утверждать, что сеть Кохонена может адекватно решать задачу автоматической классификации и может использоваться в системах дистанционного обучения для проведения автоматического тестирования студентов.

Для повышения точности распознавания необходимо увеличить число образов обучающей последовательности, использовать более мощные профессиональные средства моделирования нейронных сетей, для каждой индивидуальной задачи необходимо находить свой оптимальный набор параметров и характеристик сети.

Результаты экспериментов позволяют сделать следующие выводы.

Полученные сети обладают высокой степенью распознавания образов (не менее 70%).

Для повышения качества работы сети необходимо собрать большое число статистических данных.

Построенные и обученные в проекте нейронные сети адекватно отображают характерные особенности проставления оценок преподавателем и могут использоваться в системах дистанционного обучения для проведения автоматического тестирования студентов.