Методика проектирования программных средств для интеллектуального анализа данных и принятия решений

1. Актуальность проблемы.

Построение модели предметной области имеет своей целью решение практически важных задач: управления, поддержки принятия решений и т. д. Конкретизация целевой задачи неизбежно приводит к необходимости различной глубины формализации предметной области, т. е. приближению в модели к адекватному отображению реальных отношений, их свойств, состояний и проявлений. Эта проблема значительно осложняется, когда речь идет о предметной области, плохо или мало поддающейся формализации. Кроме того, следует учесть несовпадение вербальных сообщений эксперта предметной области с его профессиональной интеллектуальной активностью.

К классу предметных областей, трудно формализуемых, следует отнести образование, представляющее стратегический ресурс любой страны и поэтому требующее постоянного мониторинга, принятия решений с целью эффективного управления. В дальнейшем будем именовать предметную область образования объектом исследования. Для него в настоящее время отсутствуют надёжные методы анализа данных оперативного мониторинга. Класс таких объектов характеризуется:

1. Невозможностью организации активного эксперимента с целью создания математической модели;

2. Большим числом параметров (как внутренних, так и внешних — межотраслевых, социальных и пр.), влияющих на качество образовательного процесса;

3. «Дрейфом» во времени отдельных параметров, переводящих объект в класс динамических нестационарных, поэтому усложняющих выбор стратегий управления;

4. Отсутствием обоснований для выбора параметров в качестве значимых;

5. Отсутствием точных данных о взаимосвязях между параметрами и их влиянии на качество наблюдаемых процессов.

В таких условиях построение модели с использованием аналитических методов невозможно. Поэтому мы приходим к необходимости применения подходов, базирующихся на знаниях о предметной области. Адекватность модели теперь будет зависеть от привлечения новых знаний, их аксиоматического, формального описания, логических отношений и т. д., образующих теорию. Очевидно, этому этапу должен предшествовать этап извлечения, приобретения знаний.

Таким образом, формируется триада: приобретение знаний (data mining), представление знаний и обработка знаний. Настоящая диссертационная работа посвящена разработке средств, реализующих два этапа: извлечение знаний и построение некоторой модели предметной области (объекта) и создание прикладной системы, сочетающей средства автоматизации построения статистических моделей и некоторые черты экспертности, способствующей принятию решений на основе анализа моделей.

Лишь сравнительно недавно интеллектуальный анализ данных с целью извлечения знаний (Data Mining) стал мультидисциплинарным научным направлением, возникшим и развивающимся на базе достижений прикладной статистики, методов искусственного интеллекта, теории баз данных [1]. Традиционная математическая статистика, долгое время претендовавшая на роль основного инструмента анализа данных, перестала удовлетворять требованиям содержательности результатов обработки в условиях неограниченных объемов информации, сложнейших скрытых причинно-следственных отношений между отдельными содержательными ее компонентами. Методы математической статистики оказались полезными, в основном, для проверки заранее сформулированных гипотез и первичного анализа, составляющего основу оперативной аналитической обработки данных (Online Analitical Processing — OLAP) [3].

В качестве примеров успешного применения методов интеллектуального анализа к проблемам из различных предметных областей служат работы: прогнозирования фьючерсных котировок [4], оперативного мониторинга атомных станций [5], в телекоммуникационных сетях [2].

В связи с этим актуальной является задача разработки программной системы многоаспектного анализа и обработки данных с целью построения модели прогноза оценки состояния образовательного потенциала России. Полученные результаты прогноза необходимы для принятия управленческих и организационных решений. Эта тема затрагивает также проблемы программы модернизации системы образования, утвержденной правительством РФ на период 2007;2010 годы.

2. Цели и задачи исследования.

Целями настоящего исследования являются:

1. Создание прогностических моделей оценки состояния образовательного потенциала России как на федеральном, так и на региональном уровнях.

2. На основе полученных моделей разработать теоретические положения для конструирования правил логического вывода.

3. Создание программного комплекса автоматизации формирования прогностических оценок и принятия решений.

4. Разработка методов и программных средств создания базы знаний и средств ее управления.

Для достижения поставленных целей сформулированы следующие задачи:

1. На основе корреляционного и регрессионного анализа определить статистически значимые факторы для построения статистически обоснованных моделей.

2. Оценить для последующего прогноза трендовую составляющую модели.

3. Определить структуру правил вывода и механизмы вывода в системе прогноза.

4. Разработать методику интеграции БД и БЗ в программной системе прогноза.

3. Научная новизна.

1. Разработаны программно-методические средства интеллектуального анализа данных.

2. На основе экспертных знаний предложена методика построения правил вывода принимаемых решений.

3. В целях построения базы знаний и интеграции ее с пассивной базой данных предложен метод, на основе которого решается проблема классификации данных и формирования правил вывода.

Методы исследований, примененные в диссертационной работе, опираются на теоретические и методологические основы статистики, теории машинного обучения, теории баз данных и методы интеллектуального анализа данных.

4. Практическая значимость результатов исследования и их внедрение в практику.

На основе исследований, предпринятых в рамках настоящей работы, реализован программный комплекс для прогнозирования развития образовательного потенциала России. Полученные результаты являются инструментом для принятия решений федеральными и региональными органами управления образованием.

Программная система внедрена в практику оперативного управления и планирования при выработке решений по выполнению госзаказа в Центре по формированию и конкурсному размещению государственного задания на подготовку специалистов с высшим профессиональным образованием при Московском Государственном Университете Приборостроения и Информатики и в Научно-Исследовательском Институте Высшего Образования при выполнении проекта.

5. Апробация работы.

Основные результаты диссертационной работы докладывались на конференциях и семинарах в Московском Государственном Университете Приборостроения и Информатики:

1. VI Всероссийская научно-техническая конференция с докладом по теме диссертационного исследования.

2. VII Всероссийская научно-техническая конференции с докладом по теме диссертационного исследования.

3. В учебном процессе на кафедре «ИТ-7» Московского Государственного Университета Приборостроения и Информатике.

6. Публикации.

По теме диссертации опубликовано 6 научных работ.

7. Объем и структура диссертации.

Диссертационная работа изложена на 108 страницах машинописного текста, состоит из введения, четырех глав, заключения, библиографического указателя, включающего 57 источников, иллюстрирована 18 рисунками и 10 таблицами.

Основные результаты исследования проведённого в настоящей диссертации состоят в следующем:

1. В процессе выполнения диссертационного исследования был проведен анализ методов прогнозирования развития трудноформализуемых систем к которым отнесена система подготовки высококвалифицированных специалистов (система профессионального образования). Применение методов корреляционного и регрессионного анализа для решения задач прогнозирования не позволяет в полной мере автоматизировать процесс принятия решений в этой сфере. Автором была исследована возможность применения современного метода интеллектуального анализа данных, который до сих пор не исследовался для оценки состояния образовательных систем.

2. Для определения текущего состояния системы образования была выявлена структура отношений между факторами, от которых зависит изменение состояния системы. Наиболее значимые факторы (показатели развития) были определены и показано, что пространство факторов может быть редуцировано в зависимости от жесткости бинарных отношений. Созданы прогностические модели основанные на различных подходах. Показано, что возможность применения каждого из рассматриваемых подходов определяется уровнем доступной априорной информации об объекте исследования. На этой основе разработаны программно-методические средства интеллектуального анализа данных.

3. Получены прогностические модели, основанные на различных подходах. Степень применимости каждого из этих подходов определяется уровнем априорной информации об объекте исследования.

4. Сделана попытка применить для решения задач прогнозирования методы обучающихся нейронных сетей. Показано, что прогнозирование на основе нейронной сети представляет собой наиболее «независимый» от знаний статистических характеристик распределений исследуемых факторов, и является более предпочтительным в ситуациях оперативного принятия решений.

5. В условиях неопределенности изменения факторов, влияющих на целевую переменную построен алгоритм нечеткого логического вывода на системе нечетких продукционных правил.

6. Формирование экспертных решений реализовано на основе прямого и обратного методов нечеткого логического вывода.

7. На базе разработанных методик и алгоритмов создан программный комплекс интеллектуального анализа данных, в том числе прогноза, по поддержке принятия решений в условиях неопределенности факторов, характеризующих объект исследования. Программный комплекс внедрен в НИИВО и зарегистрирован в Российском патентном ведомстве.

8. Результаты диссертационного исследования были применены в НИИ высшего образования для прогнозной оценки состояния системы высшего профессионального образования на период до 2010 года. Кроме того автор опубликовал основные положения диссертации в 6 опубликованных статьях, получено свидетельство об отраслевой разработке № 6018 от 04.04.06 г., выступал на конференциях в МГУПИ с докладами. В приложении представлен один из вариантов прогнозной оценки системы высшего профессионального образования.

Заключение

.