Автоматизированная обучающая система с расширенными функциями тестового контроля знаний, анализа и классификации информации

Человеческая цивилизация вступила в новый период своего развитияпериод построения информационного общества. В развитых странах в сфере обработки информации в настоящее время занято 60−70% трудоспособного населения. В США 54% продукции производится в сфере ИТ. Информатизация общества привела к изменению характера профессиональной деятельности на основе внедрения в нее новых информационных технологий (НИТ).

Внедрение НИТ изменяет и характер профессиональной деятельности: изменяются методы организации труда и взаимодействия вычислительной техники с людьми и производственным оборудованием, возникают связанные с этим социальные, экономические и культурные проблемы. Профессиональная деятельность становится многомерной. Техническая деятельность развивается в окружении, которое усиливает человеческие связи, делает необходимым соблюдение таких критериев, как управление, точность, качество, и вызывает критическое поведение и творческую активность. Жизненно важным фактором становится — научить справляться с изменяющимися ситуациями в работе.

В современной профессиональной деятельности необходимо учиться действовать в условиях внедрения НИТ и овладевать новыми областями их применения, углублять и расширять обучение для получения обновляющихся знаний и предотвращения их старения. По данным американских исследователей, в сфере современных информационных технологий за 2−3 года происходит устаревание знаний (по данным International Data Corporation (IDC)). В тоже время, эффективность инвестиций в образование составляет 200−300% на вложенные средства (по данным IDC).

В этих условиях перед высшим и средним профессиональным образованием стоит задача подготовки специалистов к профессиональной деятельности с использованием НИТ. Решение этой задачи невозможно без использования программных средств учебного назначения. Вопросами создания такого рода систем рассматриваются многими исследователями [Вержбицкий В. В., Колесникова И. В., 1990], [Шеншев JI.B., 1992], [Александров Г. Н., 1993], [Галеев И.Х., 1998], [Кривошеев А.О., 1998], [Зайнутдинова JI.X., 1999], [Васильев В.И., Тягучева Т. Н., 2000;2003], [Аванесов B.C., 1994;2003] и др. Существующие в настоящее время программные средства учебного назначения, по классу решаемых задач, можно разделить на: электронные учебники, контролирующие системы, тренирующие системы, обучающие системы, учебные курсы [84]. Наиболее развитым в настоящее время является класс обучающих систем, которые позволяют проводить комплексное обучение по заданной дисциплине. По принципам использования их можно условно разделить на обучающие системы, содержащие знания по конкретной предметной области, и инструментальные системы, предназначенные для наполнения их знаниями по произвольной предметной области с целью создания обучающей системы. Наиболее перспективными с точки зрения соотношения конечного результата и трудозатрат на создание и поддержку являются инструментальные системы, которые принято называть автоматизированными обучающими системами (АОС) [9,36,41,80,133]. К основным достоинствам АОС относятся:

— интенсификация обучения [6,158];

— возможность индивидуальной адаптации курса обучения к потребностям обучаемых или условиям обучения [113,99];

— возможность использования и тиражирования передового опыта [99];

— повышение доступности образования [42,63,154];

— обучение навыкам самостоятельной работы [53,104];

— разгрузка преподавателя от ряда рутинных, повторяющихся действий (чтения лекций, проверки контрольных работ и т. д.) [85];

— возможность использования в рамках дистанционного обучения, переобучения и повышения квалификации [3,10,32].

Анализ большинства известных АОС и систем контроля знаний показал, что они имеют ограниченные возможности контроля знаний. Кроме того, в них отсутствуют средства оценки корректности тестового задания и теста в целом, возможности информационного поиска. Это ограничивает возможности разработчика курса в отношении использования различных вариантов тестовых вопросов и способов анализа ответов обучаемых. Наличие обратной связи подразумевает возможность предоставления обучаемому дополнительной информации по результатам тестирования. В сети Интернет в настоящее время насчитывается приблизительно 350Гб только русскоязычных документов различной тематики (по данным Yandex.ru) и этот объем постоянно увеличивается. Поэтому тематика исследований, затрагивающих организацию расширенного контроля знаний и гибкого механизма информационного поиска в сети Интернет, является актуальной.

Целью настоящей работы является повышение эффективности процесса обучения на основе разработки АОС с расширенными функциями тестового контроля знаний, поиска, анализа и классификации учебных материалов в Интернет.

В рамках данной работы решаются следующие задачи:

— анализ существующих автоматизированных обучающих систем и систематизация требований, которые предъявляются к АОС как к специализированному программному обеспечению;

— разработка модели и алгоритмов, расширяющих валидность тестовых заданий, позволяющих оценить корректность теста и ответов обучаемых;

— разработка модели и алгоритмов анализа, классификации и поиска учебных материалов в сети Интернет.

— проверка работоспособности и эффективности предложенных моделей и алгоритмов на практике.

Для решения поставленных задач, в работе использованы методы теории поиска и классификации текстовой информации, тестологии, теории вероятности, статистики, комбинаторики, математического моделирования, формализованного представления сложных структур данных. В разработке программного обеспечения использовались технологии объектно-ориентированного подхода и построения реляционных баз данных.

Научная новизна результатов, полученных в диссертации, заключается в следующем:

• разработана концептуальная модель автоматизированной обучающей системы, расширенная подсистемами статистической оценки качества тестовых заданий, классификации и поиска учебных материалов в Интернет и в базе данных системы, принятия решений о пополнении базы знаний системы и корректировке тестовых заданий;

• для организации обучения использованы алгоритмы анализа имеющегося учебного материала и поиска на его основе недостающего материала в сети Интернет, позволяющие адаптировать знания, накопленные в АОС к индивидуальным потребностям обучаемого;

• предложен эффективный комплексный алгоритм сравнения формул, основанный на методах синтаксического разбора формул, позволяющий осуществлять оценку и поиск формул (с достоверностью оценки 95%).

• разработана модель базы данных для хранения тестовых заданий и статистики тестирования, позволяющая автоматизировать статистическую оценку качества тестов, выявлять некорректно составленные тестовые задания на основе сравнительного анализа совокупности неправильных ответов обучаемых и формировать итоговые рекомендации по дальнейшей стратегии обучения;

Практическая ценность работы заключена в следующем:

1. На основании полученных теоретических моделей создана информационно-справочная система «SG-PRO 2003» (свидетельство об официальной регистрации программ для ЭВМ Роспатента № 2 003 612 420 от 30 октября 2003 г.). Внедрение системы существенно ускорило создание обучающих курсов и тестов (с оценкой степени корректности тестовых заданий).

2. Система инвариантна к предметной области, что позволяет использовать ее для создания различного рода обучающих курсов.

3. Система использовалась для контроля знаний студентов по дисциплине «Информатика» в Астраханском государственном университете, создания «Электронного справочного пособия для учителей школ Астраханской области», профессионального отбора государственных служащих в Администрации Астраханской области.

Диссертационная работа состоит из введения, четырех глав, общих выводов и списка использованной литературы, содержащей 158 наименований.

Выводы.

В четвертой главе описываются разработанная система и результаты педагогического эксперимента по ее использованию.

Основные особенности разработанного комплекса:

1. Интегрированная система классификации и поиска, расширенная система тестовых заданий и интегрированная система оценки корректности теста.

2. Подсистема контроля знаний, обеспечивающая более полные возможности представления и анализа ответов обучаемых и включающая:

• алгоритм сравнения формул,.

• алгоритм оценки графического варианта ответа.

3. Встроенные алгоритмы оценки результатов тестирования и составления корректных тестов.

Результаты проведенного педагогического эксперимента подтвердили корректность реализованных теоретических разработок.

ЗАКЛЮЧЕНИЕ

.

К основным результатам работы можно отнести следующие:

Разработана концептуальная модель АОС, с расширенными функциями тестового контроля, анализа и классификации информации, повышающими эффективность адаптации к индивидуальным особенностям обучаемых и требованиям образовательных стандартов. Для организации адаптивного обучения использованы алгоритмы поиска, фильтрации и классификации текстовой информации, основанные на методах латентно-семантического анализа, что позволило на основании статистики результатов тестирования пользователей находить дополнительную информацию в сети Интернет с релевантностью 84%.

Разработаны модели контроля знаний, обеспечивающие расширенные возможности представления и анализа ответов обучаемых и включающие: a. Модель анализа формульного ответа на основе комплексного взаимодействия алгоритмов сравнения формул, методами синтаксического разбора и статистического анализа формул с достоверностью оценки 95%. b. Модель анализа графического ответа, основанную на алгебраических методах динамического построения графиков функций по заданным формулам.

Разработана модель базы данных для хранения тестовых заданий и статистики тестирования, и алгоритмы, позволяющие выявить некорректно составленные тестовые задания на основе сравнительного анализа совокупности неправильных ответов обучаемых.

Разработана модель оценки качества тестов, на основе статистической обработки и методов корреляционного анализа результатов тестового.

115 контроля, что позволило оценивать качество тестовых заданий и выявлять неправильно сформулированные задания в автоматическом режиме.

На основе предложенных моделей и алгоритмов реализована АОС «SG-PRO 2003» (свидетельство об официальной регистрации программ для ЭВМ Роспатента № 2 003 612 420 от 30 октября 2003 г.) с улучшенными возможностями адаптации к обучаемому, которая внедрена в Астраханском государственном университете и Администрации Астраханской области.