Разработка математического и программного обеспечения интеллектуального анализа данных в микроэкономических системах на основе нейросетевых технологий

Одной из наиболее характерных черт современного мира, является наличие в нем огромного количества информации разного рода, нуждающейся в хранение, передаче и обработке. И если две первые задачи можно считать практически решенными, по крайней мере человечество может хранить больше информации, чем может добыть на текущий момент и обладает технологиями позволяющими передавать эту информацию с приемлемой скоростью, то задача обработки информации остается открытой.

Автор склонен понимать под обработкой информации любой процесс производимый над существующей информацией в результате которого появляется новая информация, ценность которой значительно выше ценности информации обработка которой была произведена. Возникает резонный вопрос: А как определять ценность информации и в каких количественных единицах ее считать? Думаю данный вопрос не имеет однозначного ответа, ценность информации можно считать практически в чем угодно:

• В рублях, если вам удалось на основе информации о поведении брокеров на бирже спрогнозировать завтрашние котировки акций;

• В минутах, если вам исходя из информации о пробках на дорогах удалось выбрать для себя оптимальный маршрут;

• В человеческих жизнях наконец, если вам удалось на основе имеющихся наблюдений спрогнозировать землятрясений или иное стихийное бедствие.

Примеров можно приводить бесконечно много и в каждом из них единица измерения ценности информации будет своей собственной.

Предположим что информация прождается некоторым объектом в процессе его жизнедеятельности, тогда, в конечном итоге, результатом, возможно многоэтапной, обработки информации является осуществление на ее основе каких-либо воздействий на объект с целью увелечения эффективности его жизнедеятельности. В данной работе таким объектом является производственное предприятие и мы попытаемся автоматизировать процесс обработки порождаемой им информации с целью выработки рекомендаций по принятию решений, целью которых будет повышение эффективности деятельности предприятия.

В Экономической науке удовлетворение потребностей именуется потреблением, а средством удовлетворения потребностей является товар, который представляет собой как материальные так и нематериальные ценности. Получение товаров называется производством. Основной единицей коммерческой деятельности, в недрах которой появляется товар, является коммерческое предприятие. С каждым годом, ни смотря ни на что Россия все ближе и ближе подходит к тому, что называется рыночной экономикой. Без всяких сомнений основным признаком рыночной экономики является свободная (под свободной конкуренцией автор понимает в первую очередь равенство внешних условий в которых находятся конкурирующие компании, при продолжительном неизменении этих условий) конкуренция между различными поставщиками того или иного товара или услуги, а также свобода выбора предприятием (в рамках закона конечно) стратегии своего развития и поведения на рынке.

При этом следует заметить, что если на заре рыночной экономики конкуренция велась на одном уровне — «цена — качество», то к настоящему времени выделяют уже четыре уровня товара на которых различные производители могут конкурировать между собой. Современный потребитель обращает свое внимание не только на цену и качество товара, но и на такие свойства приобретаемого им товара, как упаковка, безопасность товара для окружающий среды, послегарантийное и сервисное обслуживание, количество и качество дополнительных бесплатных услуг, прилагаемых к товару.

Из вышесказанного можно сделать следующий вывод: «За время существования рыночной экономики поведение потребителей в сильной степени эволюционировало и производителям приходится прикладывать все большие усилия чтобы удовлетворить его запросы лучше конкурентов». А чем жестче и изощренней становится конкуренция, тем более строгими становятся требования к системе управления предприятием производителем и его системой сбыта. Система управления предприятия должна оперативно отслеживать все изменения на рынке, как например изменения в поведении потребителя, действия конкурентов, направленные на победу в борьбе за рынок, изменения в законодательстве, изменение объема рынка и т. д. и т. п. и адекватно реагировать на них, принимая соответствующие управляющие решения, а это не возможно без эффективного использования статистической и оперативной информации, имеющейся в распоряжении предприятия.

Уже давно ни для кого не секрет, что в наиболее развитых странах индустриальное общество давно сменилось обществом информационным, а в таком обществе кто владеет информацией и умеет правильно ее интерпретировать, тот получает огромное преимущество перед конкурентами и, как следствие, обыгрывает их на рынке.

Рассмотрим теперь каким образом обычно принимаются решения на современном предприятии. Центральной фигурой при принятии решения являются менеджеры различного ранга. Именно менеджер должен собрать информацию проанализировать ее и выдать управляющее решение, предварительно оценив его последствия. В процессе своей нелегкой повседневной деятельности менеджерам среднего и высшего звена управления предприятием, прежде чем принять какое либо решение, приходится сталкиваться с огромными объемами разнотипной информации, и год от года объемы этой информации только увеличиваются. Все очевиднее становится тот факт, что человек физически не способен проанализировать весь этот поток информации за приемлемый промежуток времени, а в результате не вовремя принятые или принятые вовремя, но недоработанные решения и убытки, убытки, убытки.

Зададимся вопросом, а в чем же формально заключается работа менеджера?. На данный вопрос можно ответить следующим образом: «Менеджер большую часть своего рабочего времени занимается прогнозированием последствий принимаемых им решений». Практически весь смысл работы менеджера в этом, ведь он должен принять управленческое решение, которое должно привести объект управления к оптимальному состоянию. Существуют конечно менеджеры от бога которые интуитивно могут принимать не просто совершенно правильные решения, а решения приводящие к совершенно потрясающему росту эффективности деятельности предприятия, однако таких людей очень мало.

Кроме того, в настоящее время во всем мире идут активные работы по разработке, так называемой, парадигмы тотального управления предприятием. Постараемся вкратце объяснить, что скрывается под этим понятием. Это понятие не имеет ничего общего с тоталитаризмом, оно означает, что при принятии управленческого решения в любой области будь то кадровая, производственная, маркетинговая или любая другая, должны быть учтены параметры деятельности всего предприятия в целом, а последствия этого решения должны быть проанализированы для всех подразделений предприятия. Работы по созданию автоматизированных систем способных поддержать данную парадигму идут уже давно и уже дали некоторые результаты, главным из которых является появление на рынке программного обеспечения продуктов, позволяющих создать на предприятии единое информационное поле.

Но если сбор информации о деятельности предприятия в целом является задачей вполне понятной и уже имеющей качественные практические решения, то задача анализа этой информации является задачей гораздо более сложной. Менеджер, если он конечно не гений, в одиночку не в силах справиться с этой задачей, следовательно парадигма тотального управления не будет активно применятся до тех пор пока менеджеры на предприятиях не получат в свои руки инструмента анализа необходимой информации.

Задача данной работы — создать систему, способную осуществлять анализ огромного потока информации, возникающего в процессе деятельности предприятия и тем самым обеспечить менеджеру возможность принимать решения, придерживаясь той самой парадигмы тотального управления.

Уже на начальном этапе постановки задачи очевидно, что создаваемая система должна будет уметь анализировать большие потоки разнотипной информации, и именно исходя из этого требования, автор подбирал математический аппарат, который будет использоваться в данной работе.

В качестве математического аппарата выбрано сравнительно молодое, но уже набравшее силу направление математики, получившее название — нейросетевая обработка информации. Данное название направление получило из-за того, что основной принцип обработки данных был максимально приближен к тому, что нам на текущий момент известно об обработке информации человеческим мозгом. У данного направления есть несомненные преимущества, главное из которых параллельность вычислений, которые указывают на то, что принципы нейросетевой обработки данных будут активно использоваться в вычислительной технике, как на программном, так и на аппаратном уровне.

Кроме того, основные нейросетевые парадигмы уже реализованы как программно так и аппаратно, а так как они являются пожалуй одним из самых универсальных вычислительных инструментов, то они легко могут быть использованы в готовом виде практически под любую задачу, в том числе и под задачу, решаемую в данной работе.

Однако, утверждение о том, что применение готовых парадигм нейросетевых вычислений это просто, не выдерживает никакой критики. Для того чтобы применить к имеющимся у нас данным какую-либо из существующих парадигм эти данные необходимо собрать и подготовить. Кроме того, как правило, задача не решается применением одной из парадигм, а требует некоторого их оптимального набора. При этом нейронная сеть, которая строится исходя из той или иной парадигмы, как правило, имеет один или несколько параметров настройки от выбора значений которых в сильной степени зависит ее работоспособность.

Отметим сразу, что для того чтобы применить при решении задачи нейросетевые технологии, необходимо обладать некоторой статистикой изменения исследуемых величин. Как правило, такой статистикой обладают те предприятия, которые вовремя поняли необходимость использования средств автоматизации в производственном процессе и в результате помимо оптимизации собственно самого процесса они получили возможность наблюдать статистику изменения параметров с помощью которых осуществляется управление процессом.

Еще большими возможностями для анализа обладают торгово-производственные организации использующие локальные или глобальные вычислительные сети для связи со своими торговыми точками, так как это позволяет такой организации собрать полную статистическую картину начиная от закупки сырья и заканчивая реализацией готовой продукции. Этим небольшим отступлением автор хотел подтвердить следующий принцип, который он всегда использует во время разработки технико-экономического обоснования использования той или иной АСУ. Никогда не следует забывать, что помимо выполнения своих прямых функций, автоматическая система управления может являться источником бесценной статистической информации, которая может быть использована для анализа деятельности предприятия и оптимизации его деятельности.

Итак, теперь совершенно понятно, что в данной работе должен быть разработан алгоритм интелектуальной обработки данных в информационных системах, используемых для автоматизации работы коммерческих предприятий, с целью выработки на основе этих данных рекомендаций на принятие решения.

Интеллектуальный анализ данных определяется в большинстве публикаций афористически — «извлечение зерен знаний из гор данных», «разработка данных — по аналогии с разработкой полезных и скопаемых». При этом в английском языке существует два термина, переводимые как ИАД, — Knowledge Discovery in Databases (KDD) и Data Mining (DM). В большинстве работ они используются как синонимы, хотя некоторые авторы рассматривают KDD как более широкое понятие — научное направление, образовавшееся «на пересечении искусственного интеллекта, статистики и теории баз данных» и обеспечивающее процесс извлечения информации из данных и ее использования, a DM — как совокупность индуктивных методов этого процесса, то есть то, что ниже будет определено как стадия свободного поиска ИАД.

Мы дадим следующее определение: ИАД — это наиболее эффективный процесс обработки информации известный в настоящее время, который позволяет в процессе обработки информации максимально возможно увеличить ее ценность. Следует отметить, что большинство методов ИАД было первоначально разработано в рамках теории искусственного интеллекта в 70−80-х годах, но получили распространение только в последние годы, когда проблема интеллектуализации обработки больших и быстро растущих объемов корпоративных данных потребовала их использования в качестве надстройки над хранилищами данных. Именно в последние годы менеджеры перестали справляться с непрерывно возрастающими потоками информации и обратились за помощью к информатике.

Первая глава работы посвящена детальному изучению проблемы принятия решения, поставленной в данной работе. В ней представлены существующие на сегодняшний день в данной области подходы и теории, предложенные такими научными направлениями как экономическая теория, маркетинг, менеджмент, системный анализ. Рассмотрены реализованные на сегодняшний день попытки применения средств автоматизации и систем с искусственным интеллектом для поддержки принятия решений.

1 Также в первой главе развернуто представлен математический аппарат, который будет использоваться для решения поставленной задачи, показаны его сильные и слабые стороны, приведены примеры его успешного применения при решении реальных задач. В заключении первой главы автором представлена развернутая постановка задачи и алгоритм ее решения, в котором выделены основные этапы ее решения и сделан акцент на самые ключевые моменты этих этапов.

Во второй главе автором представлено теоретическое решение поставленной в работе задачи. Особое внимание уделено таким аспектам решаемой задачи как:

• Выбор статистической информации для анализа;

• Выбор показателей эффективности;

• Предварительная подготовка статистической информации;

• Выбор архитектуры, алгоритма обучения и оптимальных параметров нейронной сети;

• Оценка качества обучения нейронной сети;

• Анализ результатов полученных с помощью нейронной сети и выработка на его основе рекомендаций на принятие управленческого решения;

Следует отметить, что решая каждую из задач представленных в данном списке автор, программист со стажем, действовал по принципу: «Никогда не надо делать второй раз то, что уже хорошо сделано до тебя» .

Лучше использовать уже сделанные наработки, иначе можно заново изобрести колесо.

Любая теория мертва, если она не используется на практике, поэтому теоретическое решение задачи реализовано в виде программного комплекса, который был написан с использованием последних достижений в области технологии программирования и телекоммуникаций. Программный комплекс предназначен для работы под управлением операционных систем семейства Microsoft Windows и состоит из трех модулей:

1. Модуль сбора статистической информации. Данный модуль фактически представляет собой информационную систему предприятия и предназначен: для поддержки всех основных производственных операций на предприятии в результате которых порождается какая-либо информация о его жизнедеятельности, для сбора этой информации как в условиях работы системы на отдельно взятой вычислительной машине, так и при условии что на предприятии активно используются вычислительные сети, построенные на основе протокола TCP/IP. В этом случае система позволяет синхронизировать всю необходимую для работы предприятия информацию на всех серверах его корпоративной вычислительной сети;

2. Модуль подготовки статистической информации для ее анализа с помощью нейросетевых технологий. Данный модуль тоже осуществляет обработку информации, однако ее не стоит называть интеллектуальной. Обработка информации в данном модуле осуществляется в рамках возможностей структурированного языка запросов SQL. В результате работы модуля являются представленные в табличном виде данные, выбранные из информационной системы предприятия;

3. Аналитический модуль осуществляет интеллектуальный анализ данных, полученных с помощью модуля подготовки статистических данных, применяя для этого нейросетевые технологии. Он в свою очередь сам состоит из нескольких структурных единиц: нейронного симулятора, интерфейса пользователя и управляющей программы.

Разрабатывая программный комплекс автор стремился сделать его использование максимально удобным как для конечного пользователя так и для прикладного программиста. Как ни странно первое сделать гораздо проще, чем второе, если конечно вы хотите сохранить свои права на написанную вами программу. Если говорить коротко, то автор попытался написать программу с которой человек, получивший ее в свое распоряжение смог бы сделать все, что ему заблагорассудится, при наличии у него соответствующих знаний конечно. Описание программного комплекса приводится автором в третьей главе работы.

В заключении к данной работе, вы найдете ее основные результаты. Также там произведен критический самоанализ работы, выявивший ее сильные и слабые стороны.

Автор выражает благодарность людям без наставлений и поддержки которых было бы не возможным появление на свет этой работы:

Заведующему кафедрой ИТ-7 МГАПИ — Петрову Олегу Михайловичу;

Преподавателю кафедры ИТ-7 МГАПИ — Ашинянцу Роберту Арамовичу;

Научному руководителю, преподавателю кафедры ИТ-7 МГАПИКругу Петру Германовичу;

Консультанту по менеджменту на предприятии, техническому директору холдинга «Ка1еуа», автору проекта «Магазин готового бизнеса'' - Файзиеву Сергею Анваровичу;

Хорошему другу Букиной Ольге за помошь в переводе на английский некоторых публикаций;

И конечно любимой супруге — Ирине, которая кроме того была замечательным консультантом по реальной экономике и современному бухгалтерскому учету.

I. ПОСТАНОВКА ЗАДАЧИ.

4.3 Результаты исследования.

Исследования полученной функции показали, что выводы сделанные менеджерами компании, о том, что снижение цен, а следовательно и доли прибыли предприятия, на продукцию за счет снижения ее качества, приведет к росту чистой прибыли предприятия за счет увеличения спроса (окна станут по карману большему количеству москвичей), хотя и не являются ошибочными, но точно не являются оптимальными.

Снижение цены изделия действительно повышает спрос на него, но не более чем на 5%, в то время как например сокращение срока изготовление изделия повышает спрос на него более чем на 30%, а избавление клиента от его скрытых затрат (вывоз мусора, демонтаж старых окон и прочее) на 24,5%. Также выяснялось, что выгоднее затрачивать на рекламу на 53% больше средств и при этом доходы от продаж перекроют эти расходы.

Ну, а наибольшее влияние на спрос оказывает пассивный параметр воздействия — средний доход москвича или, что тоже самое его покупательная способность. За первую половину 2001 года спрос на окна вырос независимо от ценовых колебаний на 32%, и что самое интересное доля дешевых изделий в этом проценте всего 5%.

В результате исследование руководство предприятия отказалось от выпуска более дешевой, но менее качественной продукции в пользу превлечения покупателей качеством сервиса и строгим соблюдением сроков выполнения заказов.

Заключение

.

В работе затронут не большой, но важный участок вопроса о поддержки принятия решений на предприятии: Принятие решений на базе анализа накопленного опыта, представленного в виде статистических выборок с применением нейросетевых технологий. Можно выделить следующие основные результаты проведенных исследований и разработок:

1. Предложен алгоритм формализации процесса принятия решения менеджером предприятия произвольного звена, основанный на анализе доступных менеджеру воздействий на область его власти.

2. Частный случай формальной задачи менеджера, принятие решения на базе накопленного опыта, сведен к задаче построения отображения параметров воздействия на область власти в показатель эффективности ее деятельности и предложен алгоритм аппроксимации этого отображения.

3. Предложен способ разбиения множества доступных статистических наборов на набор для обучения сети и набор для проверки качества обучения, обеспечивающий максимальную равномерность проверки на всех входных переменных.

4. Разработан новый градиентный метод, для настройки весов перцептрона с использованием метода обратного распространения для нахождения градиента функции ошибки, который использует не только знак, но и значение градиента, а параметры настройки алгорима позволяют варьировать скорость и вероятность схождения обучения в зависимости от требований задачи.

5. Предложен алгоритм нахождения экстремумов аппроксимированной нейронной сетью функции, использующий градиентные подходы, аналогичные подходам, применяемым при обучении нейронных сетей.

6. Разработано программное обеспечение, которое делает доступным нейросетевой анализ статистических данных доступным для пользователей с невысоким уровнем математической подготовки.

То есть результатом работы является законченная система, которая нашла своего пользователя в реальном секторе российской экономике, что пожалуй в наибольшей степени обрадовало автора.