Многоагентные когнитивные системы управления динамическими объектами со сложным поведением

На фоне всеобщей интеграции технических и социальных процессов все более остро встает проблема управления в реальной среде сложными динамическими объектами, взаимодействующими между собой в процессе достижения общей цели.

В течение последних лет она была предметом многих исследований. Предлагаемые подходы к ее решению [45,48,68,71,74,76] основывались на идеях распределенного искусственного интеллекта и многоагентных систем.

Многоагентные управляющие системы являются важной частью современных динамических систем, состоящих из автономных объектов, выполняющих совместную работу, требующую организации сложного поведения в неполнодоступной среде. Они значительно повышают эффективность управления такими системами на стратегическом, тактическом и исполнительном уровнях. Области применения таких систем многочисленны и охватывают управление промышленными предприятиями и корпорациями, транспортными и складскими комплексами, исследовательскими и инновационными проектами, экономическими и социотехническими системами, военными и космическими комплексами.

Однако имеется ряд причин, затрудняющих создание эффективных многоагентных систем управления. Компоненты такой системы должны обеспечивать сложное индивидуальное поведение каждого объекта в соответствии с его проблемной ориентацией. Основной задачей является управление координированным поведением объектов, распределенным образом решающих общую задачу. Как правило, управление осуществляется в условиях изменяющейся обстановки, поэтому требуется быстрая адаптация к этим изменениям. Кроме того, многоагентная система управления должна обеспечивать решение задач в реальном времени при ограниченных вычислительных ресурсах. При этом качество принятия решений не должно быть ниже критического уровня, все еще позволяющего решить общую задачу.

Хорошо известно, что все эти проблемы в целом очень сложны в вычислительном отношении и требуют применения мощных вычислительных систем, а также специальных методов распределенного искусственного интеллекта.

Несмотря на то, что в настоящее время в основном уже определены принципы, на которых могут базироваться такие системы управления, и даже созданы действующие прототипы, в целом проблема построения эффективных в вычислительном отношении многоагентных управляющих систем пока еще далека от своего решения.

Целью данной диссертационной работы является исследование и разработка много-агентной системы управления взаимодействующими динамическими объектами со сложным адаптивным поведением, функционирующих в неполнодоступной динамической среде в реальном масштабе времени в условиях ограниченных вычислительных ресурсов.

Поставленная цель обусловила необходимость решения следующих основных задач:

• разработка архитектуры обучаемых адаптивных агентов управляющих объектами со сложным поведением;

• разработка механизмов координации совместного поведения обучаемых агентов;

• развитие методов, моделей и алгоритмов обработки информации и обучения управлению поведением отдельных объектов с использованием когнитивных принципов;

• разработка обучаемых модулей, на базе которых реализуются наборы функций и процессов агентов, необходимые для эффективного решения задач управления поведением объектов в условиях ограниченных вычислительных ресурсов;

• создание программного инструмента для проектирования и исследования прототипов когнитивных управляющих систем, в том числе и когнитивных агентов.

В работе использовался новый подход к созданию распределенных систем управления, основанный на когнитивных принципах, открытых при исследовании нервной системы, а также на многоагентных технологиях, исходящих из исследований координированного поведения человека, как члена группы.

В процессе проведенных в диссертационной работе исследований получены следующие научные результаты, содержащие, по мнению автора, элементы научной новизны:

1. Разработан метод многомерной адаптивной триангуляции, основанный на комбинации триангуляции Куна и уточнения триангуляции путем периодической бисекции, позволяющий осуществлять переход от непрерывного к дискретному пространству состояний объекта управления.

2. С использованием предложенного метода адаптивной триангуляции разработан эффективный вычислительный алгоритм многомерной аппроксимации целевой функции.

3. На базе предложенного алгоритма многомерной аппроксимации разработан обучаемый модуль, способный в реальном масштабе времени реализовать обучение с подкреплением и супервизорное обучение.

4. Предложена архитектура когнитивного агента, обеспечивающего управление динамическим объектом со сложным поведением без использования символьного представления знаний, что повышает производительность системы и снижает потребление ресурсов.

В результате исследования были разработаны и реализованы два программных комплекса, позволяющие в визуальной интерактивной среде на базе отдельных обучаемых модулей конструировать и исследовать когнитивные системы управления сложными объектами.

Эффективность первого программного комплекса была показана на примерах разработки и исследования системы управления многоканальным регулятором температуры криогенного узла инжектора твердоводородных частиц, а также системы подбора кадров для выполнения инновационных проектов.

Для оценки возможностей второго комплекса в процессе исследования был разработан авиасимулятор, представляющий собой имитационную среду, позволяющую в упрощенной форме моделировать условия воздушного боя. С использованием разработанного программного комплекса был создан и исследован в авиасимуляторе прототип когнитивного агента, управляющего поведением отдельной боевой единицы.

Некоторые результаты диссертационной работы обсуждались на всероссийской научно-технической конференции «Нейроинформатика — 99» (20−22 января 1999, Москва), 5-й Всероссийской конференции «Нейрокомпьютеры и их применение» (17−19 февраля 1999, Москва), Международной научно-технической конференция «18&-1ТС-2000» (Июнь 2000, Санкт-Петербург), 3-й Всероссийской научно-технической конференции «Нейроинформа-тика-2001» (Москва, 2001).

По теме диссертации опубликовано 10 печатных работ.

Диссертация состоит из четырех глав, введения, заключения и списка литературы.

Первая глава диссертации посвящена анализу существующих подходов к построению многоагентных систем, как средства распределенного интеллектуального управления динамическими объектами. В данной главе дается общая классификация агентов по типу среды функционирования, классу архитектуры и базовым способностям. Кроме того, в первой главе дан обзор основных механизмов взаимодействия агентов, направленного на достижение общей цели. Помимо этого, данная глава содержит описание нескольких существующих архитектур агентов, предназначенных для работы в реальной неполнодоступной динамической среде. Анализ существующих архитектур агентов показал, что ни одна из не может полностью удовлетворить поставленную цель данной работы. В связи с этим при разработке агента предлагается использовать когнитивный подход.

Во второй главе формулируются основные принципы когнитивного подхода, которые предлагается использовать в качестве базовых критериев при выборе архитектуры агента. На основе данного подхода с учетом основных требований, предъявляемых к разрабатываемому агенту, с использованием ключевых когнитивных принципов предлагается вариант архитектуры управляющего когнитивного агента. Далее излагается общий подход к обучению агента, построенного на основе предложенной архитектуры, и формулируются основные принципы, которые необходимо учитывать при разработке обучаемых модулей, на которых предполагается реализовывать данную архитектуру.

Третья глава посвящена разработке обучаемого модуля, являющегося базовым элементом при построении когнитивного агента. В данной главе предлагается метод адаптивной триангуляции, на основе которого строится барицентрический функциональный ап-проксиматор. На базе данного аппроксиматора разрабатываются алгоритмы супервизорного обучения и обучения с подкреплением. Барицентический аппроксиматор в совокупности с предложенными алгоритмами его обучения составляет основу обучаемого модуля.

В четвертой главе рассматриваются практические результаты работы. В ней описываются разработанные программные комплексы, позволяющие в интерактивной визуальной среде создавать прототипы когнитивных систем произвольной степени сложности, и рассматривается решение на базе этих комплексов ряда практических задач. В частности, на базе одного из разработанных комплексов была решена задача управления температурным полем в криогенном узле инжектора твердоводородных частиц. Также была разработана обучаемая экспертная система подбора сотрудников для участия в инновационном проекте. Специально для оценки возможностей второго комплекса был разработан авиасимулятор, представляющий собой имитационную среду, позволяющую в упрощенной форме смоделировать условия воздушного боя. С использованием разработанного программного комплекса был создан и исследован прототип когнитивного агента, управляющего поведением отдельной боевой единицы.

§ 4.6. Выводы.

Основным практическим результатом диссертационной работы явилась создание двух программных комплексов, представляющих собой визуальные среды разработки, позволяющие пользователям, не имеющим опыта программирования, на основе отдельных обучаемых модулей и ряда базовых инструментов, в короткие сроки разрабатывать и исследовать прототипы когнитивных агентов. Оба комплекса являются открытыми и могут быть с легкостью расширены, путем добавления в них требуемых инструментов.

Функциональность разработанных комплексов была продемонстрирована путем решения ряда практических задач.

Заключение

.

В процессе проведенных в диссертационной работе исследований получены следующие основные результаты:

1. В результате анализа существующей литературы по многоагентным системам управления было выявлено, что большинство реализаций таких систем опирается на символьное представление знаний и не способно организовывать сложное поведение групп динамических объектов в реальном времени. На основании анализа в данной работе предлагается решать задачу управления динамическими объектами со сложным поведением путем использования когнитивных агентов, которые имеют нервно-системную организацию.

2. Анализ существующих архитектур агентов позволил разработать новую архитектуру когнитивного агента, основанную на применении слоистой архитектуры, включающую три слоя: слой взаимодействия, определяющий взаимодействие между агентами единой команды, слой BDI, определяющий индивидуальное поведение агента при выполнении частных задач и управляющий слой, осуществляющий координированное реактивное управление исполнительными устройствами динамического объекта. Это позволяет совместить реактивность поведения со способностью к планированию и взаимодействию с другими агентами в условиях реального времени.

3. Разработан комбинированный метод адаптивной многомерной триангуляции, основанный на применении триангуляции Куна с ее последующим уточнением методом периодической бисекции. Данный метод позволяет осуществить эффективный переход от непрерывного к дискретному пространству состояний.

4. Разработан эффективный алгоритм многомерной аппроксимации, основанный на использовании барицентрических интерполяторов, базирующихся на предложенном методе адаптивной многомерной триангуляции. Данный алгоритм позволяет эффективно использовать вычислительные ресурсы в зависимости от требуемой точности аппроксимации.

5. На базе предложенного аппроксиматора с использованием методов динамического программирования построены алгоритм супервизорного обучения и модельный и безмодельный алгоритмы обучения с подкреплением. Эти алгоритмы позволяют построить на базе предложенного барицентрического аппроксиматора эффективно обучаемые модули, пригодные для разработки когнитивного агента.

6. Разработан обучаемый модуль, который может служить базовым элементом для построения когнитивного агента предложенной архитектуры. Обучаемый модуль осно.

132 ван на использовании разработанных алгоритмов обучения и обработки информации. Программная реализация данного модуля позволила построить когнитивную систему управления температурным режимом криогенного узла инжектора твердоводородных частиц, а также обучаемую экспертную систему подбора кадров для выполнения инновационного проекта. При исследовании обе системы показали высокую эффективность решения задач.

7. Разработаны оригинальные программные комплексы, позволяющие на основе разработанных обучаемых модулей проектировать и исследовать прототипы когнитивных систем, в том числе и многоагентных систем различного назначения. Эффективность программных комплексов показана на примерах разработки и исследования системы управления многоканальным регулятором температуры криогенного узла инжектора твердоводородных частиц, а также системы подбора кадров для выполнения инновационных проектов. Кроме того, был разработан авиасимулятор и когнитивный пилот-агент, работающий в этой имитационной среде, и способный обучаться простым сценарным действиям при групповой атаке целей.