Принятие решений на основе нечёткозначных моделей и алгоритмов обработки графических данных в технологии машинного обучения

Последние десятилетия сопряжены с увеличивающимся потоком информации. Во всех областях человеческой жизнедеятельности происходит автоматизация важнейших процессов. Глобализация, как закономерное следствие эволюции цивилизации, принесла новый взгляд на ведение экономической деятельности. Чем дальше человечество уходит от традиционного уклада жизни, тем сложнее становятся хозяйственные связи между субъектами, и тем эти связи становятся более распределёнными, что показательно. И если раньше большая часть населения была занята в производственной сфере, то ныне в развитых странах доля трудящихся в сфере обслуживания и сферах, несвязанных непосредственно с производством, в разы превышает долю «производственников».

Важнейшим показателем глобализации является вынос производственных мощностей в азиатские страны и страны третьего мира. Выгода таких решений очевидна. Для управления производством, элементы которого разнесены на тысячи километров, более не достаточно телефона или телетайпа — не тот порядок обмена информацией. На помощь приходят специальные компьютерные системы, зачастую, уникальные для каждого предприятия. В рамках таких ERP-систем автоматизируется документооборот, производственные процессы, управления кадрами и состоянием складов, отношения с поставщиками и субподрядчиками, а также многое другое [1]. Современные ERP-системы достаточно хорошо обрабатывают цифровые данные, но немного таких, которые используют графические данные как входную информацию, в то время как всё больше информации поступает именно в графическом виде, поскольку такая информация наиболее приемлема для человеческого восприятия.

Претерпели изменения и финансовые отношения. На первый план выходят электронные деньги. С их помощью совершают покупки не только рядовые граждане, но и осуществляются многомиллионные сделки между транснациональными корпорациями. Более того, деньги сами стали предметом торговли. Но поскольку любая торговля сопряжена с накладными расходами, финансовыми и временными, то участники торгов пытаются их уменьшить. Для этого был разработан международный рынок FOREXвнебиржевой международный рынок конвертируемых валют [2]. Посредством специальных программных средств и сети Интернет становится возможным осуществлять торговлю не выходя из дома. Предметом торговли может быть не только валюта, но и акции предприятий, природные ресурсы, обязательства и другое.

Данная тенденция не обходит стороной металлургические предприятия. Акции самых крупных из них давно участвуют в международной торговле, принося своим владельцам прибыль. Как и многие другие, владельцы пакетов акций стремятся увеличить свою прибыль и уменьшить убытки. Чтобы достичь этой цели, они прибегают к специальным методикам, советам специалистов и программным комплексам, использующим особые алгоритмы. Актуальность развития именно в этом направлении особенно отчётливо видна на фоне недавнего мирового финансового кризиса.

Сейчас, как и во все времена, прибыль от торговли напрямую зависит от правильности принимаемых решений. Однако в новом информационном веке необходимо принимать решение, основываясь на огромном количестве факторов, многие из которых имеют глобальную природу, или даже на первый взгляд не связаны с проводимой сделкой [3,4]. Одной из важнейших задач для эффективного управления экономикой является создание информационных систем, которые бы обеспечивали хранение и анализ информации, а также снабжали специалистов данными, необходимыми для принятия верного решения.

Таким образом, отличительной особенностью вышеприведённых задач является их существование в таких условиях, которые могут меняться в процессе выработки решения. Подобные спорадически осциллирующие системы обусловливают необходимость применения новых подходов для разработки технологий поддержки принятия решений в динамической предметной области.

С ростом производительности компьютеров стало возможным решать задачи предсказания в реальном времени. Под реальным временем подразумевается время принятия решения, которое может варьироваться от минут до часов, в зависимости от вида прогноза. Так, например, пятиминутный прогноз требует принятия решения в течение минуты или двух, а дневной прогноз вполне может проводиться несколько часов. В связи с этим существенно разнится объём информации, которая подаётся на вход анализатора.

Другим важным фактором, оказывающим непосредственное влияние на качество прогноза, являются исходные данные. Обычно анализ данных осуществляется человеком-экспертом, который раз за разом должен вносить изменения в настройку системы по мере обновления данных. Это весьма трудозатратный процесс, к тому же не лишённый характерных ошибок, связанных с человеческим фактором.

Таким образом, актуальность работы заключается в огромном количестве доступной информации, с разной степенью влияющей на принятие решения, и отсутствием средств, которые позволяют её обработать, предложив верное решение с большой долей вероятности. Графическое представление исходной информации является специфической особенностью данной работы. На основе известных методов можно сделать вывод, что наибольшие накладные расходы происходят на этапе формирования исходной выборки. Существенно сократить их помогает машинное обучение, методика которого представлена в настоящей работе.

Цель работы заключается в исследовании поведения спорадически осциллирующих систем в динамической предметной области, представляемых в виде двумерных графиков, проблем применения технологии машинного обучения в таких средах, а также создании информационной системы поддержки принятия решений, основанной на нечёпсозначных моделях и машинном обучении.

Для достижения поставленной цели были выполнены задачи:

• проанализированы существующие подходы к использованию графической информации в различных сферах деятельности;

• изучены различные интеллектуальные технологии, используемые для принятия решений на основе графических данных;

• рассмотрены варианты применения технологии машинного обучения на графических данных;

• созданы методы и алгоритмы распознавания фигур на графиках в динамической предметной области;

• в целях апробации разработанного метода создан прототип системы поддержки принятия решений на финансовом рынке. Научная новизна работы заключается в следующем:

• разработаны нечеткозначные модели фигуры «флаг» и участка ценового ряда тренд", а также дано формальное описание общей модели произвольной I ленточной фигуры;

• в работе описан метод машинного обучения на примерах, представленных в виде графических данных («FuzGraph»). В качестве модели описания (репрезентации) выборки примеров была использована нечеткозначная формализация геометрических фигур;

• разработан метод и алгоритм распознавания фигур на графиках в динамической предметной области;

• разработано алгоритмическое решение задач прогнозирования и мониторинга на финансовых рынках. Теоретическая значимость заключается в следующем:

• исследованы корреляционные зависимости между различными параметрами графических фигур, учитываемых в процессе принятия решений;

• описаны нечеткозначные фигура «флаг», участок ценового ряда «тренд», произвольная ленточная фигура, а также функции принадлежности для них;

• выполнена формальная постановка задачи для разработки системы принятия решений, основанной на технологии машинного обучения на графических данных («FuzGraph»), с использованием нечётких функций принадлежности;

• создан алгоритм поиска линий поддержки и сопротивления;

• построена модель машинного обучения на графических данных. Практическая значимость заключается в:

• возможности построения информационной системы металлургического предприятия, которая позволяет эффективнее управлять его рыночными активами;

• возможности более эффективного контроля над открытыми позициями на валютных и фондовых рынках;

• использовании разработанной технологии обработки графической информации в различных областях, таких как: медицина, финансовый анализ и др.

В рамках данной исследовательской работы создан прототип системы поддержки принятия решений.

Методы исследования.

При разработке программного комплекса использовались:

• методы реляционной алгебры, методы статистического анализа и теория нечётких множеств для описания моделей нечёткозначных фигур и для формирования базы правил в рамках системы принятия решений;

• парадигма машинного обучения для формирования обучающей выборки графических фигур;

• методы алгоритмического моделирования и методы объектноориентированного программирования для построения опытного образца системы «ЕМ»;

• методика технического анализа на финансовых рынках для апробации предложенных моделей и алгоритмов. Результаты работы были практически реализованы в виде программного комплекса, включающего в себя набор инструментов для обучения системы экспертом, глобального анализа исторической информации, контролем над развитием тенденции в реальном времени, реляционной СУБД, хранящей все необходимые данные для работы комплекса.

Апробация работы. Результаты работы докладывались на следующих научных конференциях:

• Когнитивное моделирование в лингвистике (выставка программных продуктов) CML-2005, Варна, Болгария 2005 г.

• РОАИ-8−2007, Йошкар-Ола, Российская Федерация 7−13 октября 2007 г. Теоретические вопросы диссертации освещаются в следующих научных публикациях, в том числе одна публикация в издании, рекомендованном ВАК:

• В. Н. Поляков, Е. Н. Леонов. Метод машинного обучения на графических данных (Тезисы) — Труды международной конференции «Когнитивное моделирование в лингвистике 2005». Изд. Учеба, М.-Варна, 2005. с. 282.

• В. Н. Поляков, Е. Н. Леонов, И. В. Поляков. Формирование инвестиционного портфеля и выработка стратегии принятия решения на фондовом рынке, основанной на нечёткозначной модели фигуры «флаг». Деп. в ВНИТИ — Москва, 2006 — 63 с.

• В. Н. Поляков, Е. Н. Леонов, И. В. Поляков. Построение комплексной модели принятия решения на финансовых и фондовых рынках на основе взаимосвязи технических факторов — Труды 8-ой международной конференции «Распознавание образов и анализ изображений» (РОАИ-8−2007), 2007 г., Том 3. с. 100−110.

• В. Н. Поляков, Е. Н. Леонов. Метод машинного обучения на графических данных. Учёные записки Казанского государственного университета. Серия Физико-математические науки. 2007. Том 149, книга 2, с. 92−104.

Работа соответствует паспорту специальности 05.13.01, и выполнена в следующих областях исследования:

• Формализация и постановка задач системного анализа, оптимизации, управления, принятия решений и обработки информации.

• Методы и алгоритмы интеллектуальной поддержки при принятии управленческих решений в технических, медицинских и социальных системах.

• Визуализация, трансформация и анализ информации на основе компьютерных методов обработки информации.

• Методы получения, анализа и обработки экспертной информации.

Структура диссертации.

Работа состоит из введения, шести глав, заключения, списка литературы и четырёх приложений.

В первой главе рассматриваются различные интеллектуальные технологии поддержки принятия решений на основе обработки графических данных. Приводятся примеры применения интеллектуальных систем в рамках управления реальными металлургическими предприятиями, в частности, ОАО «ГМК Норильский никель», АО «КазЦинк». Рассматривается такая разновидность интеллектуальных систем, как автоматизированные системы управления (АСУ). Уделено внимание некоторым особенностям устройства автоматизированных систем управления технологическими процессами. Многие из современных устройств, контролирующих технологические процессы на производстве, предоставляют выходные данные в графическом виде. От умения ЛПР правильно интерпретировать полученную информацию во многом зависит дальнейшее развитие событий, в том числе, различные критические ситуации, которые могут возникнуть. Одной из важнейших задач является своевременное выявление потенциальных аварийных ситуаций ЛПР.

В подтверждение тезиса о возрастающей роли графического представления исходных данных, приведены примеры из области медицины. В рамках таких важных методов исследования человеческого организма, как электрокардиография, реография, электроэнцефалография, приводятся примеры использования графического представления входных данных.

Также показано оперирование одновременно числовыми и графическими данными в рамках систем механической торговли, таких как SmartMoney, MetaStock, Quote.ru. Подробно рассматриваются принципы организации таких систем, их преимущества и недостатки.

Во второй главе вводится понятие нечёткозначных фигуры «флаг» и участка ценового ряда «тренд». После описания особенностей фигуры «флаг» и её отличия от других фигур, популярных среди трейдеров, следует обоснование выбора для работы разновидности этой фигуры — «бычьего флага». Подробно описывается модель фигуры «бычий флаг». Делается акцент на формализации этой фигуры путём ввода совокупности двумерных функций принадлежности. Внимание уделено участку ценового ряда «тренд» в нечёткозначном описании. Поскольку фигура «бычий флаг» наиболее полно проявляет свои особенности именно на восходящих трендах, то в рабочее пространство вводится модель фигуры «UP-тренд». Подробно освещаются её параметры, их назначение, а также функции принадлежности, которые можно построить для этой фигуры. Помимо прочего даётся формальное описание общей модели произвольной ленточной фигуры, частными случаями которой являются нечёткозначные фигура «флаг» и участок ценового ряда «тренд». /.

Третья глава рассматривает технологии машинного обучения в динамической предметной области. Начало главы посвящено модели машинного обучения, представленной в виде n-ки. Затем, в ходе рассуждения о реализации метода, приводится подробные описание и схема процесса обучения. В результате формируется обучающая выборка по фигурам «бычий флаг» и «UP-тренд».

Четвёртая глава посвящена постановке задачи принятия решения на основе нечетких данных в графоаналитической форме. Помимо общей постановки задачи, особое внимание уделяется оптимизации качества системы, поскольку именно этот параметр является приоритетным. Также подробно рассматриваются критерии, позволяющие улучшить качество системы в зависимости от предметной области, в которой она применяется.

Пятая глава посвящена моделям и алгоритмам распознавания фигур на графиках в динамической предметной области. Производится логико-математическая постановка задачи по поиску флагов на графиках. Обусловливается важность использования правил для принятия решений. Большое внимание уделяется методикам прогнозирования. Отдельно рассматривается методика для выявления фигуры «бычий флаг» как на исторических, так и на текущих данных. Помимо прочего сделан акцент на минимизации убытков посредством мониторинга открытых позиций, который использует метод динамического стоп-лосса.

Шестая глава описывает программный комплекс поддержки принятия решения трейдером «ЕМ». Подробно рассматриваются такие блоки, как:

• ввод данных;

• поиск флагов и трендов;

• управление группами финансовых инструментов;

• прогноз за период по историческим данным;

• прогноз на текущую дату;

• формирование отчетов;

• вспомогательные программы;

По каждому из блоков приведена исчерпывающая информация, включающая в себя описание назначения и функционала в текстовом и графическом виде.

В заключении подводится итог проделанной работы. Предложенные методы и алгоритмы распознавания фигур на графиках воплощены в информационной системе поддержки принятия решений «ЕМ». Для формирования обучающих данных для этой системы по различным финансовым инструментам применяется метод машинного обучения «FuzGraph». Минимизация убытков на открытых позициях происходит посредством мониторинга, использующего метод динамического «стоп-лосса».

Приложение 1 содержит алгоритм выявления флага для конкретной точки на графике исторических данных.

Приложение 2 описывает модификацию алгоритма выявления флага, которая применяется для поиска всех флагов на заданном интервале исторических данных.

Приложение 3 содержит листинг программы поиска фигур «флаг» на исторических данных финансового инструмента.

В Приложении 4 даётся алгоритм использования динамического стоп-лосса для мониторинга открытых позиций на финансовом рынке.

6.4. Выводы.

В данной главе подробно рассматривался программный комплекс «ЕМ». Модули ввода исходных данных, формирования обучающих выборок, поиска флагов и трендов наглядно показывают работу моделей и алгоритмов, описанных в предыдущих главах. В качестве проверки был произведён поиск флагов на реальных данных.

Полученный результат подтверждает возможность использования комплекса в режиме текущего прогнозирования. Дальнейшее развитие методики предполагается в направлении улучшения характеристик обучающих выборок, выявления корреляции между событиями на рынке.

Заключение

.

В ходе данной работы было проведено исследование поведения спорадически осциллирующих систем в динамической предметной области, представляемых в виде двумерных графиков, а также проблем применения технологии машинного обучения в таких средах. Была создана информационная система поддержки принятия решений «ЕМ», основанная на нечёткозначных моделях и машинном обучении.

В ходе данной работы выяснилось, что в настоящее время множество решаемых задач по созданию информационных систем поддержки принятия решений, применяемых в различных областях человеческой деятельности, сопряжены с обработкой графических данных в качестве исходной информации. В свою очередь, данная работа была направлена на создание моделей и алгоритмов, которые позволяли бы выявлять фигуры на двумерных графиках, как в реальном времени, так и в ретроспективе на исторических данных. Областью применения данных разработок являются компоненты АСУ и АСУ ТП металлургических предприятий, медицинские приборы, системы финансового анализа. В ходе апробации моделей на финансовом рынке были представлены нечёткозначные модели фигуры «флаг» и участка ценового ряда «тренд», что позволило в свою очередь предложить методику машинного обучения «FuzGraph» и алгоритм выявления этих фигур на реальных данных. Также была предложена общая модель произвольной ленточной фигуры, частными случаями которой являются фигура «флаг» и участок ценового ряда «тренд». Наличие такой модели даёт возможность выявлять на графиках не только фигуру «флаг» и участок ценового ряда «тренд», но также произвольные фигуры, которые могут быть представлены как набор последовательных отрезков.

Созданные в ходе данной работы модели, а также опытный прототип программы «ЕМ», позволили наглядно убедиться в применимости и эффективности машинного обучения и нечёткозначных систем принятий решений не только для металлургии, но и для других областей науки и бизнеса.

Проделанная работа привела к следующим результатам и выводам:

1. Выполнена формальная постановка задачи принятия решения на основе нечетких данных в графоаналитической форме. Формализация учитывает влияние на качество системы таких факторов как точность и отказоустойчивость, что, вместе с механизмом управляющих правил, позволяет гибко приспосабливать модель под нужды конкретной предметной области.

2. Разработаны и описаны нечеткозначные модели фигуры «флаг» и участка ценового ряда «тренд», а также дано формальное описание общей нечёткозначной модели произвольной ленточной фигуры.

3. Произведена формальная постановка задачи машинного обучения на нечётких данных. В качестве модели описания (репрезентации) выборки примеров была использована нечеткозначная формализация геометрических фигур.

4. Предложен метод и алгоритм распознавания фигур на графиках в динамической предметной области, а также алгоритмическое решение задач прогнозирования на финансовых рынках.

5. Исследованы корреляционные зависимости между различными параметрами графических фигур, учитываемых в процессе принятия решений.

6. Создан алгоритм поиска линий поддержки и сопротивления.

7. На основе моделей и алгоритмов, предложенных в данной работе, создан и апробирован опытный образец системы поддержки принятия решений «ЕМ».