Асимптотика решения задачи Коши для уравнения Гамильтона-Якоби-Беллмана, соответствующего управляемым процессам с малыми случайными возмущениями

§ 1. Постановка проблемы построения асимптотики «в малом» решение задачи оптимального управления с малыми случайными возмущениями. 90.

§ 2. Оценки вторых производных v? xx и vxt решение задачи Коши для уравнения (1.4). 98.

§ 3. Главный член асимптотического разложения «в малом» решения задачи Коши для уравнения (1.4). 111.

§ 4. Априорная оценка третьей производной по х решения задачи.

Коши для уравнения (1.4) (равномерная по (e, t, x)).120.

§ 5. Второй член асимптотического разложения «в малом» решении задачи Коши для уравнения (1.4). 126.

§ 6. Доказательство теоремы 1. 141.

§ 7. Пример. 144.

Заключение

по главе 3.150.

Глава 4. Асимптотика «в целом» решения задачи Коши для уравнения Гамильтона-Якоби-Беллмана, соответствующего управляемым процессам с малыми случайными возмущениями 152.

Введение

.152.

§ 1. Постановка задачи. Формулировка основного результата. 153.

§ 2 Вспомогательные построения.157.

§ 3. Уравнения для второго члена асимптотического разложения в целом" и условия его разрешимости.173.

§ 4. Доказательство основного результата теоремы 1.188.

Заключение

по главе 4.189.

1. К проблеме исследования поведения динамических систем, находящихся под воздействием случайных возмущений приводят многие задачи теоретического и прикладного характера [3], [7], [9], [14], [15], [22], [32], [45], [51]. При этом, часто бывает естественным предположение о малости (в том или ином смысле) случайных возмущений по сравнению с детерминированной составляющей движения. Задача изучения динамических систем находящихся под воздействием малых случайных возмущений впервые была поставлена [40]. В последствии эта постановка получила широкое рас-простронение в различных областях науки и техники [3], [7], [9], [14], [15], [22], [32], [43], [45], [51]. В связи с вышеуказанным представляется естественным разработка методов анализа динамических систем зависящих от параметров, характеризующих малость случайных возмущений. Последнее означает, что существует потребность в создании асимптотических методов анализа динамических систем находящихся под действием случайных возмущений когда параметры, характеризующие малость этих возмущений, стремятся к нулю. Разработка методов асимптотического анализа таких систем посвящена обширная литература [9], [10], [36], [45], [46], [51].

2. В данной диссертационной работе рассматривается проблема разработки асимптотических методов исследования свойств управляемых динамических систем без последействия находящихся под воздействием малых случайных возмущений типа «белого шума». При этом выбор управления в таких системах осуществляется в соответствии с некоторым критерием, в качестве которого выступает минимум средних потерь. Здесь следует отметить, что такие динамические системы находящиеся под воздействием указаных выше случайных возмущений, представляют собой управляемые процессы диффузионного типа. Общая теория управляемых процессов диффузионного типа была построена в работах [22], [26], [46], [51]. Основными результатами этой теории для аддитивной функции потерь являются: 1) утверждение о том, что указанная проблема сводится к исследованию задачи Коши для некоторого нелинейного уравнения в частных производных второго порядка параболического типа, которое получило название уравнения Гамильтона-Якоби-Беллмана- 2) условия разрешимости этого уравнения. Из этой теории следует, что это уравнение является квазилинейным параболическим с малым параметром при старшей производной. Поэтому рассматриваемая проблема сводится к построению асимптотики при е —" 0 решения задачи Коши для уравнения где v?(t, х) — функция Беллмана определенная на (0,1] х (О, Т) х Rn со значениями в R1, F: R+ х R2n+1 —> R1, обозначаемая через F (t, x, q, p) следует отметить, что указанной проблеме посвящено относительно небольшое количество работ [4], [9], [51], [60], [61], [63]. Следует, однако, огово.

1) риться, что проблеме обоснования предельного перехода в уравнении (1) когда е —> 0 посвященно большое количество работ. Подробный обзор результатов связанных с обоснованием этого предельного перехода в (1) и свойствами решений предельного уравнения v° + F (t, x, vQ, v°x) = О | v%=T = Ф (х) содержиться в работах [47], [57]. Анализ этих результатов содержиться во введении к второй главе диссертации.

В соответствии с общей теорией возмущений [36] существует два подхода построения асимптотик: «в малом» и «в целом». В диссертации для уравнения Гамильтона-Якоби-Беллмана исследуются оба этих подхода, изложению которых посвящены главы три и четыре диссертации, соответственно. Следует отметить, что в этой работе строится не общее асимптотическое разложение решения v?(t, x) задачи Коши для уравнения (1), а только лишь его первые два члена, т. е. устанавливается справедливость представления решения в виде ve (t, х) = v°{t, х) + eV (t, х) + о (е2), (3) где v°(t, x) — решение задачи Коши для уравнения (2), a vl (t, x) — решение (в определенном смысле) задачи Коши для уравнения v] + Fq{t, х, г-0, v°x)vl + (Fp (t, х, v°x), W) + | Л г>° = О.

4) vlt=T — 0.

3. Перейдем к краткому изложению результатов диссертации.

Первая глава носит вспомогательный характер. В ней приводятся известные результаты из функционального анализа, теории вероятностей и теории случайных процессов необходимые для изложения и доказательства результатов работы.

В главе два мы устанавливаем условия выполнение, которых обеспечивает: а) возможность проведения предельного перехода в (1) когда е2 —> 0- б) существование предела Iim ve (t, x). Здесь, следует отметить, е—>0 что в отличии от работ [47], [51] гамильтониан F (t, x, q, p) допускает квад-ратический рост по переменной р.

В главе три строится асимптотика решения задачи Коши для уравнения (1) «в малом», т. е. устанавливается существование горизонта Т > 0 и функций г-0 б х Я"), vl € х Д.), р G (1,оо),.

Dr = {х? Rn: х < г}, — соболевское пространство [33], таких, что для v?{t, x) справедливо разложение (3), причем v°(t, х) удовлетворяет уравнению (2) a vx{t, x) — (4) (смотри теорему 1 главы 3).

В главе четыре строится асимптотика решения задачи Коши для уравнения (1) «в целом», т. е. для заданного горизонта Т > 0 устанавливается существование функций г-0? ^^((OjT) х Dr), p? (1,оо), и vl{t>x), i) причем v°(t, х) является, обобщенным решением задачи Коши для уравнения (2), ii) vl{t, x) — энтропийным решением задачи Коши для уравнения (4) (в отличии от результатов главы 3), при этом ve (t, х) допускает разложение (3). Эти утверждения составляют содержание главы 4 (смотри теорему 1).

4. Сделаем несколько замечаний об обозначениях и соглашениях принятых в данной работе.

4.1 Знак = обозначает равенство по определениюV — квантор любойиндекс т «вверху справа» у матрицы означает транспонированную матрицуD — значение меры Лебега на множестве Dп.в. — означает, что некоторое утверждение выполняется почти всюду относительно меры Лебега;

— символ Кронекера- - означает эквивалентность утверждений.

4.2 В тексте диссертации нумерация формул проводится по системе: а) ссылка на формулу (2.3.1) означает, что первая цифра слева — номер главы (в примере глава 2), вторая слева цифра — номер параграфа (в примере параграф 3), третья — номер формулы в этом параграфе (в примере формула 1) — б) ссылка вида (4.1) указывает на нумерацию внутри данной главы и означает формулу под номером (4.1) в параграфе 4.

5. В заключении выражаю глубокую признательность профессору В. Н. Афанасьеву за руководство этой работой.

1. Айзеке Р. Дифференциальные игры. М. Мир. 1967, 479 с.

2. Александров А. Д. Существование почти везде второго дифференциала выпуклой функции и некоторые связанные с ним свойства выпуклых поверхностей. Уч. зап. ЛГУ. 1939, т. 37, вып. 6, с. 3−35.

3. Афанасьев В. Н., Колмановский В. В., Носов В. Р. Математическая теория конструирования систем управления. М. Высшая школа. 1998, 547 с.

4. Баклан В. В., Зуев JI.A. Управление диффузионными процессами с малой диффузией. Киев. Наукова думка. Сб. «Теория случайных процессов». 1976, вып. 4, с. 18−21.

5. Беккенбах Э., Беллман Р. Неравенства. М. Мир. 1965, 276 с.

6. Беллман Р. Динамическое програмирование. М. Ил. 1960.

7. Булинский А. В., Ширяев А. Н. Теория случайных процессов. М. Физ-матлит. 2003, 400 с.

8. Вайсборд Э. М., Жуковский В. И.

Введение

в дифференциальные игры нескольких лиц и их приложения. М. Сов. Радио. 1980, 304 с.

9. Вентцель А. Д., Фрейдлин М. И. Флюктуации в динамических системах под действием малых случайных возмущений. М. Наука. 1979, 424 с.

10. Вентцель А. Д. Предельные теоремы о больших уклонениях для марковских случайных процессов. М. Наука. 1986, 176 с.

11. Владимиров B.C. Обобщенные функции в математической физике. М. Наука. 1976, 280 с.

12. Вольперт Л. И. Пространство BV и квазилинейные уравнения. Мат. сборник. 1967, т. 73, N 3, с. 255−302.

13. Воробьев Е. М., Дубнов В. Л., Маслов В. П. Уравнения математической физики (некоторые вопросы, связанные с уравнением ГамильтонаЯкоби и волновы уравнением). М. МИЭМ. 1973, 133 с.

14. Габасов Р., Кириллова Ф. М. Основы динамического программирования. Минск. БГУ. 1975, 264 с.

15. Гардинер В. К. Стохастические методы в естественных науках. М. Мир. 1986, 528 с.

16. Голдстейн Г. Классическая механика. М. Наука. 1975, 415 с.

17. Данфорд Н., Шварц Дж. Т. Линейные операторы. Общая теория. М. И Л. 1962, 895 с.

18. Дафермос К. М. Квазилинейные гиперболические системы, вытекающие из законов сохранения. Сб. статей. «Нелинейные волны» М. Мир. 1977, с. 91−111.

19. Иосида К. Функциональный анализ. М. Мир. 1967, 624 с.

20. Кларк Ф. Оптимизация и негладкий анализ М. Наука. 1988, 280 с.

21. Колмогоров А. Н., Фомин С. В. Элементы теории функций и функционального анализа. М. Наука. 1968, 496 с.

22. Колосов Г. Е. Синтез оптимальных автоматических систем при случайных возмущениях. М. Наука. 1976, 257 с.

23. Кружков С. Н. Обощенные решения нелинейных уравнений первого порядка с многими независимыми переменными, I. Мат. сборник (новая серия). 1966, т. 70(112), N 3, с. 394−415.

24. Кружков С. Н. Нелинейные уравнения в частных производных, ч. 2. М. МГУ. 1970, 133 с.

25. Кружков С. Н. Обобщенные решения уравнения Гамильтона Якоби типа эйконал, I. Мат. сборник. 1975, т. 98, с. 450−493.

26. Крылов Н. В. Управляемые процессы диффузионного типа. М. Наука. 1977, 400 с.

27. Крылов Н. В. Нелинейные элиптические и параболические уравнения второго порядка. М. Наука. 1977, 376 с.

28. Курант Р. Уравнения с частными производными. М. Мир. 1964, 830 с.

29. Ладыженская О. А., Солонников В. А., Уральцева Н. Н. Линейные и квазилинейные уравнения параболического типа. М. Наука. 1967, 736 с.

30. Левин В. Л. Выпуклый анализ в пространствах измеримых функций и его применение в математической экономике. М. Наука.1985, 352 с.

31. Лионе Ж.-Л., Мадженес Е. Неоднородные граничные задачи и их приложения. М. Мир. 1971, 371 с.

32. Липцер Р. Ш., Ширяев А. Н. Статистика случайных процессов. М. Наука. 1974, 696 с.

33. Мазья В. Г. Пространства С.Л. Соболева. Л. ЛГУ. 1985, 416 с.

34. Мазья В. Г., Шапошникова Т. О. Мультипликаторы в пространствах дифференцируемых функций. Л. ЛГУ. 1986, 404 с.

35. Маслов В. П., Федорюк М. В. Квазикласическое приближение для уравнений квантовой механики. М. Наука. 1976, 292 с.

36. Маслов В. П. Асимптотические методы и теория возмущений. М. Наука. 1988, 312 с.

37. Маслов В. П., Колокольцов В. Н. Идемпотентный анализ и его применение в оптимальном управлении. М. Наука. 1994, 144 с.

38. Мизохата С. Теория уравнений с частными производными. М. Мир. 1977, 504 с.

39. Олейник О. А. Разрывные решения нелинейных дифференциальных уравнений. УМН., 1957, т. 12, N 3(75), с. 3−73.

40. Понтрягин Л. С., Андронов А. А., Витт А. А. О статистическом рассмотрении динамических систем. ЖЭТФ, 1933, т. 3, N 3, с. 165−180.

41. Рождественнский Б. Л., Яненко Н. Н. Системы квазилинейных уравнений. М. Наука. 1978, 688 с.

42. Рисс Ф., Секефальви Надь Б. Лекции по функциональному анализу. М. Мир. 1979, 587 с.

43. Скороход А. В. Асимптотические методы теории стохастических дифференциальных уравнений. Киев. Наукова думка. 1987, 328 с.

44. Соболев C.JI. Некоторые применения функционального анализа в математической физике. М. Наука. 1988, 371 с.

45. Стратонович P.JI. Избранные вопросы теории флюктуаций в радиотехнике. М. Сов. радио. 1961,. 558 с.

46. Стратонович P.JI. Условные марковские процессы и их применение к теории оптимального управления. М. МГУ. 1966, 319 с.

47. Субботин А. И. Обобщенные решения уравнеий в частных производных первого порядка. М.-Ижевск. Институт компьютерных исследований. 2003, 336 с.

48. Тер Хаар Д. Основы гамильтоновой механики. М. Наука. 1974, 223 с.

49. Феллер В.

Введение

в теорию вероятностей, т. 2. М. Мир. 1967, 752 с.

50. Филлиппов А. Ф. Дифференциальные уравнения с разрывной правой частью. М. Наука. 1985, 224 с.

51. Флеминг У., Ришел Р. Оптимальное управление детерминированными и стохастическими системами. М. Мир. 1978, 316 с.

52. Фридман А. Уравнеия с частными производными параболического типа. М. Мир. 1968, 427 с.

53. Халмош П. Теория меры. М. ИЛ. 1953, 427 с.

54. Bardi М., Capuzzo-Dolcetta I. Optimal control and viscosity solution of Hamilton-Jacobi-Bellman equations. Birkhauser-Boston. 1988.

55. Conway E.D., Hopf E. Hamiltons theory and generalized solution of Hamilton-Jacobi-Bellman equation. J. Math. Mech. 1964. 13. p. 939−686.

56. Crandall M.G., Lions P.L. Viscosity solution of Hamilton-Jacobi-Bellman equations. Trans. AMS. 1983. v. 272. p. 1−40.

57. Crandall M.G., Ishii H., Lions P.L. A users guide to viscosity solutions. Bulletin A.M.S. N.S. 1992. v. 27. p. 1−67.

58. Dafermos C.M. Hyperbolic conserevation laws in continum physics. Springer-Verlag. Berlin-Heidelberg-New-York. 200. 443 p.

59. Danilov V.G., Maslov V.P., Volosov K.A. Mathematical modelling of heat and mass transfer processes. Kluwer Academic Publishers. Dordrecht-Boston-London. 1995. 330 p.

60. Fleming W.H. Stohastic control for small noise intenities. SIAM J. Control. 1971. v. 9. p. 473−517.

61. Holland C. Small noise open loop control problems. SIAM J. Control. 1974. v. 12.

62. Hopf E. Generalized solutions of nonlinear equations of first order. J. Math. Mech. 1965. v. 14. p. 951−973.

63. Lions P.L. Generalized solutions of Hamilton-Jacobi equations. Pitman. Boston. 1982. Работы автора по теме диссертации.

64. Хаметов Д. В. Модель распространения газообразных вредных веществ в атмосфере. Инженерная защита окружающей среды. Международная конференция и 5 Международный симпозиум молодых ученых, аспирантов М.О. Р.Ф., ЮНЕСКО, М. 2001, с. 267−268.

65. Хаметов Д. В. Обобщенные решения задачи Коши для уравнения Гамильтона-Якоби-Беллмана. Научно-техническая конференция студентов, аспирантови молодых специалистов МИЭМ. Тезисы докладов. М. МИЭМ. 2005, с. 4243.

66. Хаметов Д. В. Асимптотика решения задачи Коши для уравнения Белл-мана, соответствующего управляемым диффузионным процесам с малой диффузией. Обозрение прикладной и промышленой математики, т. 12, е 3, 2005, с. 778−779.

67. Хаметов Д. В. Уравнения Гамильтона-Якоби-Беллмана «в малом». Математические модели. Сборние научных трудов МИЭМ, 2005, с. 207−217.

68. Хаметов Д. В. О разрешимости уравнения Гамильтона-Якоби-Беллмана «в малом». Научно-техническая конференция студентов, аспирантов и молодых специалистов МИЭМ. Тезисы докладов. М. МИЭМ. 2006, с. 50−51.