Методы и модели интеллектуального анализа данных в задачах управления в социальных и экономических системах

Актуальность темы

исследования. Ключевым фактором обеспечения качественного управления в социальных и экономических системах является организация непрерывного поиска новых, нетривиальных, практически полезных и доступных для интерпретации знаний, необходимых для эффективной поддержки принятия управленческих решений (УР). Важнейшим инструментом поиска таких знаний является глубокий и всесторонний анализ данных, описывающих процессы и явления, протекающие в социальных и экономических системах, с использованием современных информационных технологий.

Высокая динамика и сложность современной экономической и социальной сфер предъявляет особые требования к организации таких исследований. Смещение центров принятия УР от высших эшелонов управления на уровень специалистов, непосредственно интегрированных в социальные, экономические и бизнес процессы, требует разработки методов и моделей анализа данных, которые могут применяться на практике широким кругом лиц, не имеющими специального образования. Результаты анализа должны быть обобщаемы и тиражируемы для возможности применения построенных моделей для решения аналогичных задач на новых данных.

Наиболее перспективным направлением информационных технологий, используемым для организации поддержки принятия решений в социальных и экономических системах, в настоящее время является интеллектуальный анализ данных (ИАД), также известный как Data Mining (DM) — раскопка, разработка данных. Это междисциплинарное направление, включающее элементы искусственного интеллекта, математической статистики и машинного обучения, применяемых для решения задач численного предсказания, классификации, кластеризации и ассоциативного анализа.

Вместе с тем DM не дает шаблонов готовых решений и не предписывает строгих алгоритмов для той или иной задачи анализа. Он представляет собой методологию организации аналитической обработки данных, приемы и методы которой позволит извлечь из них максимум полезных знаний. Ядром аналитических технологий БМ являются методы машинного обучения, позволяющие в автоматическом режиме восстанавливать структуры, зависимости и закономерности в данных, интерпретация и осмысление которых экспертом или аналитиком, позволяет делать заключении и выводы об особенностях состояния и развития явлений и процессов, вырабатывать рекомендации по более эффективному управлению ими.

Процесс внедрения БМ-технологий в практическую деятельность предприятий и организаций для решения конкретных задач повышения эффективности управления, в большинстве случаев достаточно затратный и трудоемкий. Основными проблемами являются отсутствие формальной постановки задачи и стратегии поиска знаний, эвристический характер большинства интеллектуальных моделей, высокая размерность и низкое качество исходных данных. Поэтому разработка новых подходов и методов по реализации ОМ-проектов при решении конкретных задач повышения эффективности управления в социальных и экономических системах, является актуальным.

Степень разработанности проблемы. В качестве отправного этапа развития методов анализа данных с целью извлечения полезных знаний можно рассматривать работы Паскаля и Ферма по применению вероятностных моделей к статистическим данным еще в 17 веке. В 18−19 веках значительный вклад в развитие практической статистики внесли Гаусс, Кетле, а в 20 в. — К. Пирсон, Р. Фишер, У. Госсет (Стьюдент), Вальд, а также советские математики А. Н. Колмогоров, А. Я. Хинчин, Н. В. Смирнов, Б. В. Гнеденко и другие.

Зарождение ИИ как научного направления относится к первой половине 17 в., а именно работам Р. Декарта «Рассуждение о методе» и Т. Гиббса «Человеческая природа», в которых была заложена теория механистического материализма, рассматривающая живые организмы как некий сложный механизм. Технологическими предпосылками ИИ были работы над созданием механических вычислительных машин В. Шикарда (1623), Б. Паскаля (1643), К. Лейбница (1671), Ч. Беббиджа, Л. Лавлейс и С. Н. Корсакова в 19 в. Начало формирование ИИ как науки можно отнести к работе Б. Рассела и А. Уайтхеда «Начала математики», где показывалась возможность определения основных понятий математики в терминах логики. Но подлинный расцвет ИИ начинается 50-х годах XX в. с появлением ЭВМ и развитием нейроинформати-ки. Большой вклад в развитие ИИ внесли Н. Винер, Д. Маккарти, А. Тьюринг. В 1943 г. У. Мак-Каллок и У. Питтс предложили концепцию искусственной нейронной сети и модель искусственного нейрона. В работе «Организация поведения» Д. Хебба (1949) описаны основные принципы обучения нейронов, впоследствии развитые американским нейрофизиологом Ф. Розенб-латтом, который разработал устройство, моделирующее процесс распознавания образов мозгом, и назвал его «персептроном». В 1960;х годах ряд пионерских работ в области ИИ был выполнен советскими учеными Д. А. Поспеловым, В. Ф. Турчиным, С. Масловым и др.

При разработке систем ИИ используются два основных подхода: семиотический — создание экспертных систем, баз знаний и систем логического вывода, и биологический — моделированием интеллектуального поведения на основе биологических элементов. В рамках первого подхода получила развитие инженерия знаний (ИЗ), а в рамках второго — машинное обучение (МО) — самостоятельное приобретение знаний интеллектуальной системой в процессе её работы. Последние два направления являются основой БМ, и тесно связаны с понятием индуктивного вывода.

Большой вклад в развитие ИИ и МО внесли зарубежные ученые Б. Уидроу, М. Мински, П. Дж. Вербос, Дж. Хопфилд, Д. Румельхарт, С. Пайперт, и отечественные: А. Б. Новиков, А. И. Галушкин, А. Н. Горбань, С. И. Барцев, В. А. Охонин, В. Н. Вапник, А .Я. Червонескис, Ю. И. Журавлев, К. В. Рудаков и др.

В 70−80 г. XX в. в рамках МО были предложены такие алгоритмы анализа как деревья решений (Дж. Р. Куинлен, Л. Брейман), ассоциативные правила и последовательные шаблоны (Р. Агравал, Р. Шрикант), самоорганизующиеся карты признаков (Т. Кохонен), машины опорных векторов (В. Вапник) и др.

Формирование БМ как направления, в рамках которого были объединены методы «обнаружения в данных ранее неизвестных, нетривиальных, практически полезных и доступных интерпретации знаний, необходимых для принятия решений в различных сферах человеческой деятельности», началось в конце 80-х начале 90-х годов 20 в. Идеологом направления стал Г. Пятецкий-Шапиро, который и ввел термин в 1989 г.

Значительный вклад в области моделирования социальных и экономических систем с целью анализа их функционирования и синтеза управленческих решений внесли В. Н. Бурков, Д. А. Новиков и др.

Предметом исследования в работе являются методы и алгоритмы DM, методология и проблемы их применения в задачах моделирования объектов и процессов в экономической, социальной и бизнес среде.

Объектом исследования избраны: аналитические технологии Data Mining, технологии машинного обучения: нейронные сети, деревья решений, карты Кохонена, ассоциативные правила, методы их применения для реализации практических задач в социальной, экономической и бизнес среде.

Цели диссертационной работы. Целью диссертационной работы является разработка методов и моделей анализа социальных и экономических систем с использованием аналитических технологий Data Mining для повышения эффективности синтеза управленческих решений на основе знаний, обнаруженных в массивах данных.

Для реализации поставленной цели в диссертационной работе были поставлены и решены следующие задачи:

1) провести обзор и сравнительный анализ инструментальных средств DM и существующих подходов к организации процесса интеллектуальной аналитической обработки данных, разработана система критериев и классификации аналитических инструментов;

2) определить основные факторы, влияющие на успешное внедрение аналитических DM-проектов на уровне специалистов, непосредственно интегрированных в процессы управления в социальных и экономических системах, разработана модель для оценки сложности аналитических DM-проектов;

3) разработать концепцию сценарного подхода к организации интеллектуальной среды аналитического ЭМ-приложения на основе межотраслевого стандарта организации интеллектуального анализа данных СШ8Р-ОМ;

4) разработать сценарии построения базовых интеллектуальных моделей на основе нейронных сетей, деревьев решений, карт Кохонена, и интерфейс пользователя для их реализации;

5) разработать комплексную интеллектуальную модель урожайности зерновых по данным агрохимического обследования почв на основе нейронной сети, дерева решений, карт Кохонена и ассоциативной модели, агрегируемых в ансамбль на основе алгоритма стекинга;

6) разработать комплексную модель для анализа клиентской базы кредитной организации на основе ансамбля моделей, основанных на машинном обучении.

Область исследования. Диссертационная работа выполнена в рамках п. 1.10. «Разработка методов и алгоритмов интеллектуальной поддержки принятия управленческих решений в экономических и социальных системах» и п. 1.12. «Разработка новых информационных технологий в решении задач управления и принятия решений в социальных и экономических системах», паспорта специальности 05.13.10 — «Управление в социальных и экономических системах». Теоретическую и методологическую основу исследования составили современная теория прикладной статистики, машинного обучения, искусственного интеллекта, теории информации, агротехнологий. В процессе работы над диссертацией использовались труды отечественных и зарубежных ученых в области моделирования экономических и социальных объектов и явлений на основе методов математической статистики, искусственного интеллекта и машинного обучения.

Информационно-эмпирическую базу исследований составили ведомости агрохимического обследования почв ОАО СГЖ «Рассвет» Тульской области и набор анкетных данных клиентов компании, специализирующейся в области потребительского кредитования. Обработка данных производилась на основе свободно распространяемой аналитической платформы Deductor Academic российской компании «ООО Аналитические технологии» (www.basegroup.ru).

Положения, выносимые на защиту и их научная новизна.

1. Система классификации программных средств Data Mining с целью выбора программного обеспечения для реализации и внедрения проектов интеллектуального анализа данных. Существенными отличиями являются:

— максимально широкой охват инструментальных средств DM различных разработчиков и уровней сложности;

— разработка критериев и рекомендаций для выбора DM-средств с точки зрения внедрения на уровне специалистов, непосредственно интегрированных в процессы в социальных и экономических системах.

2. Двухуровневый сценарный подход к организации и управлению аналитическими проектами DM в области моделирования социальных и экономических систем в соответствии со стандартом CRISP-DM. Существенными отличиями от существующих подходов являются:

— иерархически структурированная последовательность операций аналитической обработки данных, представляемая в виде дерева с возможностью управления процессом моделирования посредством модификации его узлов и ветвей;

— сценарии построения интеллектуальных моделей, основанных на машинном обучении, с использованием декомпозиции процесса моделирования на этапы, реализуемые с помощью эвристических процедур;

— интеллектуальный интерфейс пользователя для реализации разработанных сценариев.

3. Комплексная модель урожайности зерновых по данным агрохимического обследования почв с помощью ансамбля интеллектуальных моделей, основанных на машинном обучении, агрегируемых с использованием стекинга. Основными отличиями являются:

— комплексное использование нескольких типов интеллектуальных моделей (нейронной сети, дерева решений, карты Кохонена и ассоциативной классификации) позволяет сопоставлять и сравнивать результаты, полученные с помощью различных моделей с целью оценки их согласованности и достоверности;

— концепция интеллектуального моделирования урожайности, позволяющая перейти от использования ретроспективных данных, к пространственным, что, в частности, более удобно для организации точного земледелия;

— усовершенствованный алгоритм построения дерева решений с автоматическим выбором наиболее значимого атрибута разбиения в условиях неопределенности критерия Gain-Ratio, на основе остаточной взаимной энтропии;

— усовершенствованная модель ассоциативной классификации на основе алгоритма поиска ассоциативных правил Apriori с использованием нового показателя — актуальности правил.

4. Комплексная интеллектуальная модель для анализа клиентской базы кредитной организации с целью совершенствования маркетинговой стратегии на основе исследования зависимости свойств клиента и его отклика на коммерческие предложения. Основными отличиями являются:

— комплексное применение нескольких моделей с целью повышения достоверности результатов и объясняющей способности бинарной классификации;

— методика сокращения размерности пространства входных признаков в условиях наличия большого количества числовых и категориальных факторов в исходных данных на основе применения дивергенции Кульбака-Лейблера.

Практическая значимость исследования заключается в том, что сформулированные выводы и предложения, разработанные подходы и модели могут быть использованы широким кругом специалистов, занимающихся разработкой и внедрением проектов интеллектуального анализа данных на основе аналитических платформ и приложений. Модель урожайности на основе данных arpoхимического обследования почв может быть использована предприятиями АПК, специализирующимися в области растениеводства, для повышения эффективности управления производством на основе оценивания урожайности с целью оптимизации агротехнологических мероприятий и определения их экономического эффекта. Модель реакции клиентов на рекламную рассылку по анкетным данным может использоваться компаниями в области потребительского кредитования, для повышения эффективности маркетинговой стратегии.

Апробация результатов работы. Основные результаты исследования докладывались и обсуждались на:

— Международной научно-практической конференции Дни науки (Прага, 2011);

— VII Международной научной конференции «Гуманитарные науки и современность» (Москва, 26 сентября 2012 г.);

— Всероссийской научно-практической конференции «Актуальные проблемы и их инновационные решения в АПК» (Рязань, 2011);

— семинарах и научных сессиях учетно-экономического факультета Рязанского государственного агротехнологического университета;

— семинарах и научных сессиях Рязанского государственного радиотехнического университета;

— научно-практической конференции «Интеграция науки с сельскохозяйственным производством» (Рязань, 2011);

— результаты диссертационного исследования использовались в НИР «Разработка системы поддержки принятия решений в структурах АПК на основе современных платформ бизнес-аналитики», поддержанной субсидией Министерства сельского хозяйства и продовольствия Рязанской области на проведение работ по разработке приоритетных направлений научно-технического прогресса в агропромышленном комплексе.

Внедрение результатов исследования. Предложенные методы и модели аналитической обработки данных прошли успешную верификацию на реальных данных. Отдельные результаты диссертационного исследования нашли применение в практической деятельности компании ООО «НАНОАГРОТЕХ», ООО «Аналитические технологии». Результаты исследований применяются при чтении курсов лекций «Информационные технологии в экономике», в Рязанском государственном агротехнологическом университете, «Интеллектуальные подсистемы САПР» в Рязанском государственном радиотехническом университете, «Статистика» по специальности «Государственное и муниципальное управление» и «Управление персоналом» в Рязанском государственном университете им. С. А. Есенина.

Публикации. По теме диссертационного исследования опубликовано 18 работ, в том числе:

— 6 статей в изданиях, рекомендованных ВАК РФ;

— 1 монография (2 издания: 2009 и 2011 г.);

— 1 учебное пособие;

— 10 работ в изданиях, зарегистрированных в Госкомнадзоре РФ и сборниках трудов научных и научно-практических конференций.

Выводы по 4 главе.

Таким образом, в 4-й главе разработана комплексная интеллектуальная модель для анализа клиентской базы кредитной организации с целью повышения эффективности рекламных акций, основанных на почтовой рассылке. В качестве базовых моделей классификатора использовались НС, ДР и модель логистической регрессии, оптимизированная по кривой ошибок.

В результате, была обнаружена целевая группа клиентов, которая наиболее охотно откликается на коммерческие предложения: люди в возрасте до 32 лет, имеющие доход свыше 18 ООО руб., а также среднее специальное или высшее образование. Использование данной информации позволило повысить процент отклике по рекламной рассылке на 18%.

ЗАКЛЮЧЕНИЕ

.

Таким образом, в работе рассмотрены теоретические, методические и практические аспекты использования технологий и методов БМ для поиска полезных знаний, используемых в процессе поддержки принятия решений в социальных и экономических системах и решены следующие задачи.

1. На основе проведенного в работе обзора и сравнительного анализа инструментальных средств ОМ и существующих подходов к организации процесса интеллектуальной аналитической обработки данных, была разработана система критериев и классификации аналитических инструментов на основании которых были сделаны выводы и сформулированы рекомендации по выбору программных средств БМ для внедрения аналитических проектов масштаба предприятия;

2. На основе анализа ранее реализованных аналитических проектов в различных проблемных областях были определены основные факторы, влияющие на успешное внедрение аналитических ЭМ-проектов на уровне специалистов, непосредственно интегрированных в процессы управления в социальных и экономических системах, разработана модель для оценки сложности аналитических ВМ-проектов. Применение данных моделей позволило сократить среднее время разработки и внедрения аналитических проектов сравнимой сложности платформе Беёиаог на 7%;

3. Разработана концепция сценарного подхода к организации интеллектуальной среды аналитического БМ-приложения на основе межотраслевого стандарта организации интеллектуального анализа данных СШБР-ОМ;

4. Разработаны сценарии построения базовых интеллектуальных моделей на основе нейронных сетей, деревьев решений, карт Кохонена, и интерфейс пользователя для их реализации;

5. Разработана комплексная интеллектуальная модель урожайности зерновых по данным агрохимического обследования почв на основе нейронной сети, дерева решений, карт Кохонена и ассоциативной модели, агрегируемых в ансамбль на основе алгоритма стекинга. Практическое внедрение модели на предприятиях АПК, специализирующихся на выращивании зерновых, позволило снизить среднюю себестоимость продукции на 3,2% и повысить среднюю урожайность на опытных полях на 5,2%;

6. Разработана комплексная модель для анализа клиентской базы кредитной организации на основе ансамбля моделей, основанных на машинном обучении. С помощью модели были определены основные целевые группы клиентов с повышенным процентом отклика на рекламные акции. Практическое внедрение модели позволит повысить процент отклика клиентов на рекламные акции, проводимые на основе директ-маркетинга на 18%.