Актуальность темы
Развитие информационных технологий привело к возможности сбора и хранения значительных объемов данных. В настоящее время актуальной является задача глубокого анализа всей имеющейся информации для принятия оптимальных управленческих решений. Наиболее эффективным методом выявления полезной скрытой информации является математическое моделирование, позволяющее определять зависимости, которые содержатся в анализируемых данных. Основная задача в построении зависимостей — конструирование адекватных моделей, обладающих способностями качественно описывать объекты и явления, для получения достоверных выводов на основе исследования соответствующих моделей. Хотя временные затраты в данном случае играют менее важную роль по сравнению с качеством построения моделей, применение эффективных методов конструирования в большинстве случаев положительно сказывается на адекватности получаемых моделей.
В связи со значительной сложностью объектов и явлений, имеющих практический интерес, наибольший приоритет приобретают методы нейро-структурного моделирования, которые развивают и обобщают нейросетевые методы. Они могут быть использованы для решения широкого круга задач во всех сферах деятельности, в том числе для решения аналитических задач прогнозирования ситуаций и управления развитием моделируемых объектов. Класс нейроструктурных моделей содержит математические модели, состоящие из связанных между собой базовых нейроноподобных элементов и обладающие характерной суперпозиционной линейно-нелинейной по параметрам структурой. К ним могут быть отнесены нейронные сети прямого распространения, в том числе с неклассическими функциями активации, нейронные сети с радиальными базисными функциями, вероятностные нейронные сети, нейронные сети Фальмана, нечеткие системы Такаги-Суджено, нейро-нечеткие модели структуры АЫР18 и другие. Для таких моделей задача структурной идентификации является частично решенной. Применение ней-роструктурных моделей и методов не требует знания априорной информации о характере зависимостей, поэтому позволяет говорить об универсальности данного математического аппарата.
Центральным этапом построения нейроструктурных моделей является обучение — настройка параметров на основе набора вход-выходных данных. Для построения адекватных моделей должны применяться численные методы обучения, которые в отличие от большинства существующих в максимальной степени учитывают особенности задачи нейроструктурного моделирования. Разработка, реализация и тестирование алгоритмов построения и численных методов обучения моделей на основе технологии вычислительного эксперимента с применением современных компьютерных средств представляет собой как высокий научный, так и практический интерес. Это обосновывает актуальность темы диссертационной работы.
Диссертационная работа выполнена в рамках основных научных направлений Липецкого государственного технического университета «Вычислительная математика», «Алгебраические методы прикладной математики и информатики в моделировании и управлении сложными распределенными системами».
Положения работы поддержаны грантами Российского фонда фундаментальных исследований: № 09−07−97 531-рцентра «Разработка математического и программного обеспечения нейросетевого моделирования на основе интервальных методов и псевдообращения» (2009;2011), № 09−07−220-а «Разработка и исследование принципов построения универсальной интеллектуальной информационно-аналитической системы» (2009;2011), № 11−07−580-а «Разработка математического и программного обеспечения для моделирования, прогнозирования, оптимизации и управления сложными системами на основе методов идемпотентной математики и интервального анализа» (2011;2012), № 11−07−97 504-рцентра «Разработка и исследование методов нейросетевого моделирования и прогнозирования динамики сложных систем» (2011;2012).
Цель исследования. Целью диссертационной работы является разработка единого нейроструктурного подхода к математическому моделированию сложных систем на основе комплекса алгоритмов конструирования и численных методов обучения моделей, учитывающих их суперпозиционную линейно-нелинейную по параметрам структуру.
Задачи исследования. Для достижения цели были поставлены и решались следующие задачи:
— Разработка теоретических основ описания, функционирования и построения нейроструктурных моделей сложных статических и динамических систем — класса моделей нейросетевого типа, обладающих суперпозиционной линейно-нелинейной по параметрам структурой.
— Разработка, исследование, реализация и тестирование с применением технологии вычислительных экспериментов класса численных методов обучения нейроструктурных моделей на основе декомпозиции параметров на линейные и нелинейные с учетом суперпозиционного характера моделей.
— Разработка, исследование, реализация и тестирование на основе технологии вычислительных экспериментов численного метода гарантированного глобального обучения нейроструктурных моделей, учитывающего суперпозиционный линейно-нелинейный характер моделей.
— Совершенствование алгоритма оптимального нейроструктурного управления для решения аналитических задач, учитывающего динамические свойства моделируемых процессов, а также специфику задачи построения нейроструктурных моделей.
— Разработка структуры и комплекса программ с применением современных информационных технологий для моделирования и анализа данных на основе предложенных методов построения, обучения и применения нейроструктурных моделей, учитывающих их суперпозиционный линейно-нелинейный по параметрам характер.
— Создание методики нейроструктурного моделирования для решения аналитических задач на основе предложенных алгоритмов и численных методов с применением разработанного комплекса программ.
Методы исследования. В работе использовались методы математического моделирования, численные методы, методы искусственного интеллекта, методы оптимизации, теория нейронных сетей, нечеткая логика, теория управления, линейная алгебра, методы интервального анализа, объектно-ориентированное программирование.
Научная новизна. В диссертационной работе получены следующие результаты, характеризующиеся научной новизной и формирующие новый нейроструктурный подход к моделированию сложных систем:
— Теоретические основы функционирования нейроструктурных моделей сложных систем, отличающиеся возможностью описания широкого класса моделей суперпозиционной линейно-нелинейной по параметрам структуры, развивающие и обобщающие нейросетевой подход к моделированию.
— Единый подход к конструктивному построению нейроструктурных моделей, отличающийся монотонностью снижения ошибки обучения при наращивании структуры на основе использования различных функций активации нейроноподобных элементов, позволяющий реализовать универсальные аппроксимационные способности моделей.
— Блочные рекуррентно-итерационные процедуры для конструирования и обучения нейроструктурных моделей, отличающиеся применением формулы блочного псевдообращения Клайна, повышающие эффективность численных методов обучения моделей за счет псевдообращения матриц меньших размеров.
— Класс численных методов обучения нейроструктурных моделей, отличающихся декомпозицией вектора весов и применением линейно-нелинейного соотношения на основе псевдообращения, численного метода дифференцирования обычных и взвешенных псевдообратных матриц и учетом суперпозиционного характера моделей, позволяющих снизить размерность пространства итерационно оцениваемых параметров.
— Модифицированный интервальный алгоритм Гревиля для оценивания интервального псевдообращения матриц, отличающийся возможностью вычисления псевдообратных матриц к интервальным и позволяющий оценивать устойчивость операции псевдообращения для исходной матрицы в численных методах обучения моделей.
— Численный метод глобального обучения нейроструктурных моделей, отличающийся применением алгоритмов интервального анализа и сжимающих операторов на основе учета суперпозиционного линейно-нелинейного характера моделей, обеспечивающий выполнение универсальных аппроксимационных свойств, а также позволяющий повысить адекватность моделирования.
— Алгоритм оптимального управления сложными системами с упреждением на основе нейроструктурного моделирования, который учитывает динамические свойства систем и суперпозиционный характер моделей и позволяет синтезировать управление с учетом его влияния на поведение объекта в течение нескольких периодов.
— Структура и методика применения комплекса программ для нейроструктурного моделирования и анализа данных в информационных системах, которые отличаются инвариантностью относительно предметной области и позволяют применять разработанные алгоритмы построения и численные методы обучения для принятия оптимальных управленческих решений.
Практическая значимость работы заключается в комплексном исследовании научных проблем математического моделирования на основе нейроструктурного подхода, связанного с разработкой, обоснованием и тестированием численных методов обучения, наиболее полно учитывающих суперпозиционную линейно-нелинейную по параметрам структуру моделей, с применением современных компьютерных технологий. Предложенные алгоритмы и методы для решения технических и экономических прикладных проблем позволяют повысить качество принимаемых решений.
Предложен универсальный подход к анализу данных. Разработан комплекс программ, предназначенный для аналитической обработки данных в информационных системах предприятий и организаций независимо от сферы деятельности. Он отличается наличием средств универсального хранения данных и средств оперативной аналитической обработки информации. Основой комплекса является система нейроструктурного моделирования на базе разработанных алгоритмов построения и численных методов обучения моделей.
На основе нейроструктурного подхода разработаны алгоритм и программа для анализа эффективности методов доступа к базам данных, отличающиеся использованием объективной информации о времени выполнения запросов и позволяющие оценивать время извлечения информации.
Соответствие паспорту специальности.
На основе нейроструктурного подхода и разработанных и реализованных в виде комплексов проблемно-ориентированных программ численных методов, учитывающих суперпозиционную линейно-нелинейную по параметрам структуру моделей, получены результаты, которые формируют новые методы математического моделирования объектов и явлений. Разработанная система нейроструктурного моделирования, являющаяся основой информационно-аналитического комплекса программ, имеет важное значение для повышения качества принятия управленческих решений в широком классе прикладных областей.
Результаты соответствуют следующим пунктам паспорта специальности 05.13.18 «Математическое моделирование, численные методы и комплексы программ»: п. 1 «Разработка новых математических методов моделирования объектов и явлений" — п. 3 «Разработка, обоснование и тестирование эффективных вычислительных методов с применением современных компьютерных технологий" — п. 4 «Реализация эффективных численных методов и алгоритмов в виде комплексов проблемно-ориентированных программ для проведения вычислительного эксперимента" — п. 8 «Разработка систем компьютерного и имитационного моделирования».
Внедрение результатов работы. Результаты диссертационного исследования прошли апробацию, внедрены или использованы: для прогнозирования дефектов горячекатаного проката в зависимости от технологических параметров разливки стали на машинах непрерывного литья заготовок на основе нейроструктурных моделей в ОАО «НЛМК" — для моделирования спроса населения на услуги междугородной телефонной связи и оптимизации тарифов на основе методов нейроструктурного моделирования и разработанного алгоритма оптимального управления в ОАО «Липецкэлектросвязь" — для оценки времени доступа к информационной системе документооборота предприятия на основе нейроструктурного подхода и алгоритма анализа эффективности запросов к базам данных в ОГУП «Липецкоблтехинвентаризация" — для прогнозирования объемов добычи сырьевых ресурсов на основе программы нейросетевого моделирования и прогнозирования в ООО «Липецкое карье-роуправление».
Результаты диссертационной работы использованы в учебном процессе ЛГТУ при изучении студентами специальностей 230 401.65 «Прикладная математика», 220 501.65 «Управление качеством», направления магистратуры 231 300.68 «Прикладная математика» дисциплин «Математическое моделирование», «Численные методы», «Алгоритмы оптимизации», «Интеллектуальные системы», «Оптимальное управление нелинейными системами», в научно-исследовательской работе студентов, при проведении производственных и преддипломных практик, при выполнении курсовых и дипломных работ.
Апробация работы. Теоретические и практические результаты, полученные в процессе исследования, докладывались и обсуждались на международных конференциях: «Теория активных систем» (Москва, 2007), «Идентификация систем и задачи управления» SICPRO'09 (Москва, 2009), «Молодежь в науке-2011» (Республика Беларусь, Минск, 2011), «Управление развитием крупномасштабных систем» MLSD'2011 (Москва, 2011), мультиконфе-ренции «Управление большими системами-2011» (Москва, 2011) — на международном симпозиуме: GAMM-IMACS по научным вычислениям, компьютерным арифметикам и доказательным численным методам SCAN-2012 (Новосибирск, 2012) — на Всероссийских конференциях: «Управление большими системами» (Воронеж, 2007; Липецк, 2008; Ижевск, 2009; Пермь, 2010; Липецк, 2012) — «Нейроинформатика» (Москва, 2008) — Молодежной конференции по проблемам управления (Москва, 2008) — «Управление, информация и оптимизация» (Переславль-Залесский, 2010; Звенигород, 2012), а также на научных семинарах кафедры прикладной математики Липецкого государственного технического университета и научно-образовательных семинарах «Математическое моделирование, информационные технологии и проблемы управления» Липецкого научно-образовательного центра по проблемам управления.
Научные работы по теме диссертационного исследования были отмечены дипломами победителя на конкурсах: научных работ молодых ученых по теории управления и ее приложениям «Нейросетевая идентификация и оптимальное управление экономическими системами» и «Оптимизационные свойства псевдообратных матриц в алгоритмах идентификации моделей» (Москва, 2007, 2009) — на Премию им. С. Л. Коцаря для молодых ученых Липецкой области «Идентификация нейросетевых моделей и управление сложными системами» (Липецк, 2008).
Публикации. Основные научные результаты, полученные в ходе диссертационного исследования, опубликованы в 80 работах. Из 50 наиболее значимых публикаций 2 монографии, 16 статей в изданиях из Перечня российских рецензируемых журналов, в которых должны быть опубликованы основные научные результаты диссертаций на соискание ученых степеней доктора и кандидата наук, 2 свидетельства о регистрации программ для ЭВМ в Роспатенте, 30 публикаций в других периодических научных журналах и трудах международных и всероссийских конференций и симпозиумов.
Структура и объем работы. Диссертация состоит из введения, шести глав, заключения, библиографического списка из 227 наименований, 4 приложений. Работа изложена на 280 страницах машинописного текста, содержит 67 рисунков и 16 таблиц.
Основные результаты, приведенные в данной главе, опубликованы в периодических изданиях [116,128,140,155], входящих в Перечень российских рецензируемых журналов, в которых должны быть опубликованы основные научные результаты диссертаций на соискание ученых степеней доктора и кандидата наук.
Заключение
.
Предложен и исследован нейроструктурный подход к моделированию сложных систем с единых позиций учета их суперпозиционной линейно-нелинейной по весам структуры при построении, обучении и применении моделейразработаны численные методы и алгоритмы для решения задач моделирования и создан комплекс программ для анализа данных на основе нейро структурного моделирования. В результате исследований разработаны теоретические положения, совокупность которых можно квалифицировать как научное достижение в математическом моделировании систем:
1) разработаны теоретические основы функционирования нейроструктур-ных моделей суперпозиционной линейно-нелинейной по весам структуры, развивающие и обобщающие нейросетевой подход к моделированию;
2) предложен алгоритм конструктивного построения нейроструктурных моделей, обеспечивающий монотонность снижения ошибки обучения и предназначенный для повышения адекватности построения моделей;
3) разработаны блочные рекуррентно-итерационные процедуры наращивания структуры и обучения нейроструктурных моделей на основе формулы блочного псевдообращения Клайна, позволяющие использовать вычислительные преимущества при псевдообращении матриц меньших размеров;
4) разработаны численные методы дифференцирования обычной и взвешенной псевдообратных матриц, элементы которых зависят от вектора параметров. Данные методы основаны на тензорном произведении матриц, позволяющем применять стандартные операции линейной алгебры, и могут быть применены для разработки алгоритмов обучения;
5) разработан класс численных методов обучения нейроструктурных моделей на основе декомпозиции вектора весов и линейно-нелинейного соотношения с учетом суперпозиционного характера моделей. Подход позволяет снизить размерность пространства итерационно настраиваемых параметров и определить линейно входящие параметры безытерационно;
6) разработано программное обеспечение для тестирования численных методов обучения на основе декомпозиции вектора весов и линейно-нелинейного соотношения, с помощью которого проведен сравнительный анализ разработанных численных методов с существующими алгоритмами обучения нейронных сетей. Результаты исследования показали более высокое качество работы предложенных методов, а также их высокую эффективность на обучающих множествах небольшого объема;
7) введено понятие и предложен модифицированный интервальный алгоритм Гревиля для оценивания интервального псевдообращения матриц. Интервальное псевдообращение может применяться для оценки устойчивости псевдообращения в численных методах обучения моделей;
8) предложен численный метод гарантированного глобального обучения нейроструктурных моделей на основе интервального анализа и учета специфики задачи обучения и суперпозиционной линейно-нелинейной по весам структуры. Метод включает применение модифицированных функций активации и разработанных сжимающих операторов;
9) разработано программное обеспечение для тестирования численного метода гарантированного глобального обучения на основе интервального анализа, с помощью которого проведен сравнительный анализ с традиционным методом обучения на основе процедуры обратного распространения ошибки. Показано более высокое качество работы предложенного метода;
10) предложен универсальный подход к анализу данных с использованием информации баз данных информационных систем и разработаны структура универсального хранилища данных и структура комплекса программ информационно-аналитической системы. Основным инструментом анализа данных выступает система суперпозиционного линейно-нелинейного нейроструктурного моделирования статических и динамических систем;
11) разработаны структура и комплекс программ моделирования и аналитической обработки данных на основе разработанных алгоритмов построения и численных методов обучения нейроструктурных моделей. Предложена методика применения данного комплекса программ;
12) разработан алгоритм оптимального управления сложными системами с упреждением на основе нейроструктурного моделирования с учетом динамического характера систем и суперпозиционного характера моделей;
13) на основе разработанных алгоритмов построения, численных методов обучения нейроструктурных моделей и комплекса программ решены: задача прогнозирования дефектов горячекатаного проката в зависимости от параметров разливки стали, задача оптимизации тарифов на услуги междугородной телефонной связи, задача прогнозирования эффективности запросов извлечения информации из баз данных предприятий.
Развитие работы может быть осуществлено по ряду направлений. Во-первых, перспективным является разработка и исследование эффективных алгоритмов гарантированного обучения НСМ на основе методов ИА в распределенных и параллельных средах. Во-вторых, перспективно исследование ЧМ обучения НСМ с функционалами качества, отличными от квадратичного. В частности, представляет интерес минимаксный подход к обучению НСМ на основе методов ИА. Третьим направлением развития является разработка алгоритмов интерпретации зависимостей и извлечения знаний из НСМ. Это может быть осуществлено, например, на основе построения эквивалентных НСМ. В частности, представляет интерес разработка алгоритмов преобразования моделей НСПР в нечеткие или нейро-нечеткие модели.
