Задачи управления и оптимизации ставились исследователями с давних пор, однако активное изучение этих задач началось в ЗОх — 40х годах прошлого столетия. Современная проблематика теории управления затрагивает многие научные области: разработка систем автоматизации и роботостроения, управления процессами в физике, биологии, моделирование экономических процессов и т. д.
Толчок к развитию математической теории процессов управления был получен благодаря результатам академика Л. С. Понтрягина и его сотрудников: В. Г. Болтянского, Р. В. Гамкрелидзе, Е. Ф. Мищенко, а следом за ними и других исследователей. В частности, были выведены необходимые условия оптимальности для функционалов различного вида, получившие название Принципа максимума Понтрягина [1]. Примерно в те же годы Р. Беллманом был создан метод динамического программирования для решения задач синтеза управления в терминах гамильтонова формализма, а также получены достаточные условия оптимальности [2].
С тех пор круг задач, к которым применимы результаты теории управления, ровно как и методы решения таких задач, стремительно расширялся. Н. Н. Красовский активно занимался решением задач синтеза управления для различных классов возмущений в динамических уравнениях. Им и его сотрудниками были исследованы основные свойства систем с неопределенностями и их разнообразные приложения [3],[4]. Р. Калман исследовал вопросы фильтрации и предсказания поведения динамических процессов в рамках вероятностных моделей, а также ввел понятия наблюдаемости и управляемости [5]. Широкий класс подобных задач решался при использовании понятий множества достижимости и разрешимости: соответственно куда и откуда может передвигаться объект, описываемый системой дифференциальных уравнений. Теория оптимального управления получила свое продолжение для уравнений в частных производных в работах Ж,-Л. Лиониса [6].
Среди других исследователей теории управления и её приложений отметим работы Ф. Л. Черноусько [7], Б. Н. Пшеничного [8], В. А. Троицкого [9], В. А. Якубовича [10],.
В.Ф. Кротона [11], Р. Габасова и Ф. М. Кирилловой [12], В. М. Кунцевича [13]. Наряду с ними серьезный вклад в эту теорию внесли G. Leitsmann, T. Basar и Р. Bernhard [14], R. Brockett [45], Р. Kokotovic [15], A. Isidori [16], A. Krener [17], Ch. Byrnes [18], Р. Varaiya [19], Л. Lygeros, С. Tomlin и S. Sastry [20], E.B. Lee и L. Markus [21].
В дальнейшие годы, математическая теория процессов управления достигла широкого распространения с различными приложениями. Активную роль в развитии этой теории сыграли сотрудники H.H. Красовского: A.B. Куржанский, Ю. С. Осипов [22], А. И. Субботин [23] и другие. В том числе были продолжены исследования задач управления в условиях неопределенности [24], синтеза управления, оценки и нахождения множеств достижимости и разрешимости при различных типах ограничений на состояния и параметры системы [25]. Область научных интересов A.B. Куржан-ского включает такие направления исследования, как задачи гарантированного оценивания, в которых не известны стохастические свойства ненаблюдаемых величин и неопределенностей, а есть лишь информация о возможных диапазонах их измененийзадачи, в которых ограничения, накладываемые на систему двойные: геометрические и интегральные ограничения, имеющие общий резерв [26]- задачи эллипсоидального исчисления и оценивания [43] и многие другие.
Помимо названных работ, отдельно отметим существенный вклад в современную теорию управления М. И. Гусева [28]-[20], В. Н. Ушакова [30], С.¡-VI. Асеева [31], H.JI. Григорснко [32], ¡-VI.С. Никольского [33], В. А. Комарова [34], Н. Н. Субботиной [35], А. Н. Дарьина [36], И. В. Рублева [37] и других.
Настоящая диссертация продолжает исследования А. Б. Куржанского и его сотрудников в области задач синтеза управлений по реально доступной информации в широком смысле этого слова [38]. Ими была развита теория множеств и трубок достижимости [39]. Эти результаты были также представлены в совместных работах с О. И. Никоновым [40] и Т. Ф. Филипповой [41]. В частности, был получен результат для нахождения множества достижимости дифференциального включения в терминах эволюционного уравнения в общем случае, а также, в терминах опорных функций в случае выпуклого решения задачи дифференциального включения.
Современное развитие технологий ставит перед исследователями все более нестандартные задачи, требующие выработки новых методов решения. Так, например, в билинейных, но управлению и позиции системах наряду с выпуклыми задачами динамического программирования возникает необходимость перейти к невыпуклому случаю. Это может произойти, если имеется неопределенность в коэффициентах матрицы движения линейной сисчемы. В результате этого, множества достижимости системы представляют собой звездную структуру даже при выпуклом начальном множестве. Разработанный к настоящему времени аппарат исследования таких задач при помощи выпуклого анализа и теории двойственности не может описать точное решение.
Альтернативный подход к задачам управления был предложен Р. Брокеттом [45], который вслед за К. Рейнольдсом [44] обратил свое внимание на необходимость изучения задач управления потоками с заданными начальными распределениями состояний системы, которые могут быть сосредоточены и на невыпуклых множествах. Р. Бро-кетт рассматривает динамическую задачу управления потоком не в терминах отдельных объектов — фазовых переменных пространства В!1 и соответствующих траекторий движения, а в терминах эволюции всей плотности распределения состояний системы. Исследование динамики всего распределения проведено с использованием уравнения Лиувилля — уравнения в частных производных для функции плотности. Помимо абсолютно непрерывного случая, уравнение верно и для более широкого класса распределений из пространства обобщенных функций. В результате, с помощью методов динамического программирования стало возможным нахождение в явном виде оптимального управления системой, сосредоточенной, например, в конечном числе точек, или на границе эллипсоида.
Представленная работа дополняет исследования задач теории управления при помощи эволюционного уравнения [41] и задания динамики системы в терминах уравнения Лиувилля [45].
Целью данной работы была разработка механизма нахождения невыпуклых множеств достижимости эволюционных систем, описываемых системами обыкновенных дифференциальных уравнений с начальными условиями в виде распределений, и оптнмалыгого управления такими системами, который бы позволил численно находить соответствующие множества и оптимальное управление.
В частности, в дополнение к результатам [45] была формализована постановка задачи управления системой в случае, когда состоянием системы являются не координаты в п—мерном пространстве, а распределение координат. Данная постановка уравнения Гамильтона-Якоби-Беллмаиа была проделана для случая функции цены, зависящей от обобщенной функции распределения [42].
Настоящая работа продолжила исследования [41] в области систем со звездной динамикой. В данной работе эволюционные уравнения для множества достижимости дифференциальных включений были преобразованы и записаны для функций Минковского, что позволило численно находить калибровочную функцию и восстанавливать по ней всю звездную трубку достижимости.
Наконец, в диссертации представлены новые результаты по нахождению связующей нити между функцией цены в задаче поиска множества достижимости и калибровочной функции Минковского.
Решение рассматриваемых в диссертации задач было получено в рамках упомянутых выше подходов, основанных на методах динамического программирования, а также на методах вариационного анализа и теоремах о дифференцировании условного максимума. Работа носит преимущественно теоретический характер. Полученные результаты могут служить основой для дальнейших исследований и позволят далее перейти к практически реализуемым численным алгоритмам, то есть к решению задачи до конца. В частных случаях (квадратичный интегральный функционал для систем с распределениями и двумерные линейные системы для задачи нахождения звездных множеств достижимости) были построены численные решения.
Диссертация состоит из трёх глав.
В первой главе рассматривается задача управления в случае, когда множество начальных состояний системы характеризуется функцией распределения. В первом.
разделе приведена общая постановка подобной задачи: рассматривается система х = /(Ь, х, и), Ь £Т — [¿-о,¿-1], где х? К", ?/,(/,)? Ш.1' - управление из некоторого класса кусочно-непрерывных функций и, функция /(?, х, и) удовлетворяет стандартным свойствам для существования, единственности и продолжаемости решения на отрезок Т. Начальное сос тояние системы задается функцией распределения р (£0, х) — в общем случае — обобщенным линейным функционалом над пространством непрерывных функций с компактным носителем. Такие распределения часто используются в физике, где, например, вещество или заряд могут быть сосредоточены на границе некоторого множества, или в конечном числе точек, для чего вводится понятие 5—функции.
Помимо задания рассматриваемого класса обобщенных функций, в разделе приводится теорема Рисса-Радона, позволяющая отождествить функции распределения с мерами Радона. Поэтому такая постановка задачи может говорить о вероятностном распределении начальных состояний системы и/или о плотности потока в различных точках пространства в начальный момент времени. Под позицией системы в первой главе будем подразумевать пару •)).
В разделе 1.1 выводится уравнение Лиувилля, являющееся линейным по позиции и задающее закон её изменения: д д.
В разделе 1.2 показывается, как зная вид решения исходной системы можно получить решение уравнения Лиувилля: в случае, когда о тображение ц) каждому значению Хо ставит в соответствие решение системы х{Ь, ¿-о, Хо) с начальным условием х (Ьо) = хо, плотность распределения х в момент времени Ь: р^о.УГЧЗО) где 3{р — Якобиан преобразования (р.
Далее ставится задача оптимизации: І1.
J ! Ь (і, х, и)р{Ь, х) йх (Іі + J’ф (x)p (tl, x) dx ті, иеи о К" К" в которой обе функции Ь (Ь, х, и) и ф{х) непрерывно дифференцируемы по совокупности переменных. Далее оптимальное решение ищется при помощи метода динамического программирования: определение функции цены распространяется на случай, когда фазовая переменная — не вектор в Я71, а обобщенная функция (мера):
У (іо, Ро) — іпГ ^ [ I х, и) р (Ь, х) йхсІІ + / ф{х)р{Ьі, х) йх. ¿-о К" К" р (і0, •) =Ро (-) є т >, где множество Т задает меры, для которых сходятся несобственные интегралы в целевом функционале.
При таком задании функции цены выполняется иолугрупповое свойство, из которого в представленной работе выводится принцип оптимальности и соответствующий ему аналог системы Гамильтона-Якоби-Беллмана:
§ 1У (1>р (1,г))+т1-У-(§ х, р (Ь, х)/(1,х, и))+ I Ь (Ь, х, и)р (1,х)ах = 0 иеи К" J.
У{к, р{Ь,-)) = !'Ф (х)р{1!,.), которая рассматривается в области Т х Т.
Также, доказывается теорема, согласно которой достаточно найти частное решение полученной системы Гамильтона-Якоби-Беллмана, которое будет оценкой снизу функции цены, а при дополнительных условиях совпадет с её точным значением.
В разделе 1.4 для начального условия с распределением ставится задача нахождения оптимального управления линейной системой с линейно-квадратичным интегралом, зависящим от определенной выше позиции системы. Для такой задачи находится решение в замкнутом виде с использованием уравнений Риккати. Также в этом разделе рассматриваются частные примеры начальных условий с многомерным нормальным распределением, равномерным распределением на параллелепипеде и эллипсоиде, а также с равномерным распределением на границе эллипсоида.
Последний раздел Главы 1 описывает модификацию исходной задачи оптимизации, в которой целевой функционал зависит от распределения уже нелинейно:
Для такого функционала выводится соответствующий аналог принципа оптимальности и уравнений Гамильтона-Якоби-Беллмана. Также решение задачи управления линейной системой с функционалом, квадратичным по распределению, приводится к замкнутому виду.
Тем не менее, несмотря на универсальность подхода динамического программирования, применимого для задача с распределениями на невыпуклых множествах, нахождение функции цены представляется весьма трудоемкой, а иногда и трудно разрешимой задачей. В частности, если управление заложено в саму матрицу динамики линейной системы, то аналогичное уравнению с аддитивным управлением решение в замкнутом виде построить не удается.
Поэтому в дальнейшем в работе акцентируется внимание на задаче нахождения множества достижимости, которое в общем случае также можно искать как линии уровня функции цены специального вида [24]. Здесь уже известны методы, затрачивающие намного меньшее количество вычислительных мощностей, чем прямое интегрирование уравнений ГЯБ [411- Например, в выпуклом случае возможно выразить динамику множеств достижимости при помощи опорных функций. Однако как показывает практика, даже в системах с изначальной линейной структурой по фазовой переменной множества достижимости могут оказаться невыпуклыми. В начале второй главы диссертации рассматривается система, билинейная по (х, и), в которой управление (или неопределенность) заложено в саму матрицу движения. В разделе 2.1.3 в явном виде ищется частное решение простейшей двумерной линейной системы и на примере показано, что множество достижимости для системы не выпуклое, а 1 о звездное.
Далее рассматривается общая постановка за, дачи управления: х G F (t, х), t G [¿-о, ?i], х0 € Х0, для которой выполнены стандартные условия существования, единственности и продолжаемости решения ([48]), а также предположение о звездной структуре динамики и начального множества.
Тогда, из [41] известно, что многозначная функция X[t] - множество дос тижимости системы — является единственным решением следующего эволюционного уравнения: lim [ X[t + а], |J {a-=0, i G Т,.
X[t0] = Х0, где 1 г (Л, В) — метрика Хаусдорфа.
В выпуклом случае для дифференциального включения при выполнении некоторых дополнительных ограничений ([41]) это уравнение можно записать в терминах опорных функций. Целью настоящей главы было выйти за рамки выпуклых множеств и вывести дифференциальное уравнение для калибровочной функции Минковского: r (lZ) = max{A G RM G Z}, r (0|Z) = +oo, которая, как и опорная функция, позволяет однозначно восстановить само множество.
Раздел 2.3 приводит необходимые для данной работы свойства калибровочной функции, а также в этом разделе доказывается результат касательно непрерывной дифференцируемости функции r (lZ (a)) по параметру и, который сформулирован в виде Теоремы 2.1. В результате, в разделе 2.4 выводится дифференциальное уравнение для калибровочной функции Минковского: d+r (l, t) / dlog r (l, t) —й—>К>г'аЧ' где 2 = r (l, t) l. Решение этого уравнения можно искать в классическом виде. Однако как правило, для уравнений типа Гамильтона-Якоби-Беллмана рассматриваются вязкостные решения, условия существования которых для разных типов подобных уравнений можно найти, например в [6].
В следующем разделе на систему дополнительно накладываются фазовые ограничения в виде выпуклого компактно-значного непрерывного по Хаусдорфу отображения Показывается, что дифференциальное уравнение изменяется соответствующим образом.
Напомним, что определение звезды подразумевает наличие некоторого множества, называемого центральным, для каждой точки которого отрезок, соединяющий эту точку и произвольную точку множества, лежит внутри этого множества. Раздел 2.6 исследует вопрос, как изменится дифференциальное уравнение для калибровочной функции, если центральное множество звезды будет сосредоточено не вокруг начала координат, а вокруг некоторой заранее известной движущейся точки .
Третья глава диссертации посвящена сравнению двух подходов к задаче поиска множества достижимости: подходу с использованием линий уровня функции цены и подходу с использованием калибровочных функций. В первом подходе множество достижимости системы может быть найдено как линии уровня функции цены для попятной системы:
ХЩ = {хе Ип: У (Ь, х) < 0}.
Аппарат Гамильтонова формализма позволяет, таким образом, находить множества достижимости и для невыпуклых задач, однако он имеет ряд вычислительных трудностей.
В данной работе рассматривается метрика ¿-(в, 5), которая сама зависит от калибровочной функции: ф, 5) = 5(1-г (5|5)), где функция д{х) = 0 для значений х < 0, и д{х) возрастает при х > 0, то показывается, что функция ж) = д (1 — г (х, ?)) является решением некоторой системы Гамильтона-Якоби-Беллмана для любой непрерывно дифференцируемой функции.
Т.е, например, для однородной правой части вида /(?, х, а) — Ах, А? Л функция.
V (l, x)=g (l-r (x, t)) является решением системы Гамильтона-Якоби-Беллмана:
V{ta, x) = д{1 — r{x, t0)).
В разделе 3.3 рассмотрены частные примеры двумерных линейных систем, даны иллюстрации множеств достижимости, а также трубок достижимости, проиллюстрирована функция цены в фиксированные моменты времени.
Основные результаты работы следующие:
1. Разработан метод поиска решения задачи оптимального управления потоками с позиции распределения при помощи модифицированных уравнений Гамильтона-Якоби-Беллмана. Решена задача оптимального управления потоками, задаваемыми линейной системой с линейно-квадратичным интегралом, зависящим от позиции (t, p (t, х)). Построены графические иллюстрации динамики распределения в частных случаях;
2. Выведено дифференциальное уравнение для калибровочной функции Минков-ского множества достижимости дифференциального включения, позволяющее строить трубки достижимости систем со звездной динамикой. Получена модификация этого уравнения при наличии фазовых ограничений;
3. Теоретически обоснована взаимосвязь предложенных методов с подходами к решению задач управления в рамках гамильтонова формализма. Указаны уравнение и решение для функции цены задачи поиска множеств достижимости. Построены графические иллюстрации трубок достижимости и функций цены для задач с неопределенностью в матрице динамики линейной системы.
Заключение
.
Таким образом, в данной работе был разработан метод поиска решения задачи оптимального управления потоками при задании начального распределения. Основной метод — модифицированные уравнения Гамильтона-Якоби-Беллмана. Решена задача оптимального управления линейной системой с начальным распределением и линейно-квадратичным интегралом, построены графические иллюстрации динамики распределения в частных случаях.
Для случая звездных систем было получено дифференциальное уравнение для калибровочной функции Минковского множества достижимости, позволяющее строить трубки достижимости систем со звездной динамикой. Получена модификация этого уравнения при наличии фазовых ограничений, а также при движущимся центре звезды.
Теоретически обоснована взаимосвязь преобразованных в работе методов со стандартными подходами решения задач управления в рамках гамильтонова формализма. Найдена соответствующая функция цены задачи поиска множества достижимости, построены графические иллюстрации трубок достижимости и функций цены в случае с неопределенностью в матрице динамики линейной системы.
Автор приносит искреннюю благодарность своему научному руководителю Александру Борисовичу Куржанскому за постановку задач, постоянное внимание к работе и ценные советы.
