Оценивание параметров нелинейных стохастических динамических систем с дискретным временем

Статистические выводы о случайных процессах — активно развивающееся направление исследований в математической статистике. Это вызвано, в частности, недавними приложениями к задачам финансовой математики и анализу рисков, где активно используются нелинейные модели дискретных временных процессов. Такие модели позволяют более адекватно описывать многие явления. Традиционные модели временных рядов, такие как модели авторегрессии (AR) и авторегрессии-скользящего среднего (ARMA), не могут адекватно учесть все характеристики, которыми обладают финансовые временные ряды, и требуют расширения. Одна из характерных черт финансовых рынков — это то, что присущая рынку неопределенность изменяется во времени. Как следствие, наблюдается эффект «кластеризации волатильности». Под этим имеется в виду то, что могут чередоваться периоды, когда финансовый показатель ведет себя непостоянно, и относительно спокойные периоды. Формальной мерой волатильности служат дисперсия или среднеквадратическое отклонение. Эффект кластеризации волатильности отмечен для таких рядов как изменение цен акций, валютных курсов, доходов спекулятивных активов.

Большой интерес представляют модели временных рядов со смешанной структурой, т. е. модели, одновременно обладающие линейной и нелинейной составными частями. Оценка параметров для подобных моделей сопряжена с определенными трудностями. Затруднения различного характера возникают при применении большинства классических методов нахождения оценок, ориентированных на линейные модели. Эти сложности можно обходить, применяя различные техники и алгоритмы.

Остановимся на известных результатах, связанных с проблемой оценивания параметров линейных стохастических динамических систем.

В классе линейных систем большое внимание уделяется статистическому анализу процессов типа авторегрессии, скользящего среднего и смешанным процессам авторегрессии — скользящего среднего.

Например, в работе [71] были предложены оценки неизвестных параметров стационарного процесса авторегрессии и показано, что эта задача может быть решена методами классического регрессионного анализа. Именно, в случае гауссовских шумов были найдены оценки по методу максимального правдоподобия. Также был рассмотрен негауссовский случай — в предположении существования всех моментов шумов доказана состоятельность и асимптотическая нормальность оценок.

Позднее эти результаты были перенесены на модели более общего вида, такие, как процессы авторегрессии — скользящего среднего, которые во многих случаях не менее хорошо описывают поведение изучаемого объекта, чем процесс авторегрессии, но содержат меньшее число неизвестных параметров, и многомерные временные ряды [2], [88], [89] и др. Эта проблема получила дальнейшее развитие в работах [6], [7], [37],.

Позже традиционные условия на шумы были ослаблены и для скалярного процесса авторегрессии были получены сильно состоятельные оценки по методу наименьших квадратов (МНК) в случае, когда шумы представляют собой стационарный процесс мартингал-разность.

При решении задач из описанного класса широко используется модель частично наблюдаемых стохастических процессов с дискретным временем.

38], [54], [57], [62], [76] и многих др.

71;

1).

Уп — НпХп Т^.

2) где и т]п образуют последовательности центрированных случайных величин, хп— ненаблюдаемый линейный процесс и упнаблюдаемая компонента системы.

В случае, если Ап = А и Нп = Н, задача идентификации модели (1), (2) состоит в оценивании по наблюдениям процесса уп параметров системы — неизвестных элементов матриц, А и Я и дисперсий шумов В — И = Ег]пг]'п, а также оценивании состояний объекта хп. Если матрицы Ап являются случайными, то процесс хп называют также билинейным (см., например, [58], [64], [65]), и задача идентификации состоит в оценивании средних значений Ап. При случайных матрицах Нп возможно отсутствие компонент полезного сигнала в измерении.

Оцениванию параметров системы (1), (2) посвящено большое число работ, в том числе по управлению и фильтрации [4], [5], [43], [50], [59], [64], [76] и др.

При этом существуют различные подходы к решению задачи: линейный МНК [3], [4], [44], [55], [61] метод максимального правдоподобия [3], [43], [45], корреляционные методы [3] - [7], [32], [37], [38], [43] и др. Кроме того, для оценивания используются алгоритмы линейной и нелинейной фильтрации [43], [46], [61], а также методы, разработанные для оценивания параметров процессов типа авторегрессии — скользящего среднего [1], [3], поскольку в ряде случаев таковым является процесс уп.

Метод максимального правдоподобия, основанный на точном знании распределений шумов, позволяется получать оптимальные, или близкие к ним, оценки неизвестных параметров [77]. Но, применительно к модели (1), (2) (случай Ап = А, Нп — Н), эти оценки не являются рекуррентными и трудно реализуемы. Кроме того, в реальных системах приходится иметь дело с более низким уровнем априорной информации относительно распределений, которая может ограничиваться, например, знанием о существовании некоторых моментов шумов, либо оценок для них.

В такой ситуации оказываются работоспособными корреляционные методы и методы стохастической аппроксимации, которые позволяют получить сильно состоятельные, асимптотически нормальные и рекуррентные оценки.

В случае полного наблюдения объекта (1) (Нп = I. т]п = 0) эффективные оценки можно получить любым из рассматриваемых методов. Однако в модели (1), (2) МНК приводит уже к смещенным оценкам даже при асимптотических предположениях [4], [5]. В работе [43] при условии существования вторых моментов шумов предложены сильно состоятельные оценки матриц А, В и Б модели (1), (2), полученные с помощью корреляционного метода Юла-Уокера. При дополнительных предположениях относительно шумов, таких, например, как существование их четвертых моментов, более эффективные оценки рассматривались в [83]. В предположении гауссовости шумов £п и г]п в [80] решалась задача оценивания параметров модели (1), (2), рассматривая уп как процесс авторегрессии — скользящего среднего.

Большое внимание уделяется ситуации, когда коэффициенты передачи Нп в модели (1), (2) зависят от времени и являются мультипликативным шумом [32], [49], [50], [65], [76], [77], [78], [79], [91]. К таким системам относятся, например, системы, на выходе которых с некоторой вероятностью может наблюдаться либо сигнал в совокупности с аддитивной помехой, либо только помеха. При этом в качестве Нп можно брать, например, диагональные матрицы с диагональными элементами в виде последовательности независимых бернуллиевских случайных величин с положительными вероятностями успеха, либо марковских цепей с нулевым состоянием. Наличие мультипликативной помехи такого типа можно интерпретировать либо пропусками в наблюдениях уп полезной части сигнала хп, либо как свидетельство того, что в случайные моменты времени мощность помехи во много раз превосходит мощность сигнала. Проблемы фильтрации, управления, сглаживания и предсказания в таких системах обсуждались в работах [53], [73], [85], [86].

Задача оценивания параметров системы (1), (2) с мультипликативным и аддитивным шумом в наблюдениях существенно усложняется. Простое игнорирование наличия мультипликативной помехи может приводить к несостоятельным оценкам [86]. Для решения этой задачи используют, в основном, следующие методы: корреляционный метод Юла-Уокера [32], [74], метод максимального правдоподобия [49], [56] и др. Метод корреляций является наименее эффективным, но он не требует знания распределения помех. Указанные методы позволяют находить сильно состоятельные оценки неизвестных параметров системы (1), (2).

Другие особенности, связанные с проблемой идентификации модели (1), (2), возникают в случае, когда параметры динамики объекта (1) случайным образом дрейфуют во времени. Пусть, например, матрицы Ап образуют последовательность независимых случайных матриц с постоянным средним ЕАп = А. В работах [32], [41], [58], [64], [65], [78], [79] задача оценивания средних значений дрейфа, А и ковариаций шумов модели решалась при Нп = Н преимущественно методами, использующими корреляционную технику. При этом найдены условия стационарности и эргодичности процесса хп (например, [78], [79]). Позже [52] были найдены условия геометрической эргодичности и устойчивости многомерных моделей с дрейфом.

Рассмотренные методы оценивания параметров линейных динамических систем являются асимптотическими в том смысле, что свойства оценок могут быть изучены только при неограниченном увеличении объема выборки. Однако на практике время наблюдения системы всегда конечно, что не позволяет вносить суждения о качестве таких оценок. Одну из возможностей нахождения оценок с гарантированным качеством дает подход с позиции последовательного анализа, который предполагает специальный выбор момента прекращения наблюдений с помощью некоторого функционала от наблюдаемого процесса. Принцип последовательного анализа был впервые предложен Вальдом для схемы независимых наблюдений [9], [10] и нашел применение в во многих областях математической статистики [18], [19], [20] и др.

С позиции последовательного анализа достаточно хорошо изучена проблема оценивания параметров стохастических динамических систем как с дискретным [8], [16], [23], так и с непрерывным [24], [33], [68] временем в случае полностью наблюдаемых процессов. Так, например, для стационарных процессов авторегрессии диффузионного типа построены и исследованы последовательные планы оценивания неизвестных параметров, обладающие рядом свойств, присущих оценкам, полученным с помощью рассмотренных выше асимптотических методов, такими как сильная состоятельность, асимптотическая нормальность [8], [16], [23], [24]. Кроме того в ряде случаев оценки обладают дополнительным свойством несмещенности [8], [16], [33], принципиально недостижимым для других оценок. Однако основное преимущество последовательных оценок параметров динамических систем, отличающее их от любых других оценок, состоит в возможности производить оценивание с заданным качеством в том или ином смысле, по конечной реализации процесса [8],.

33], [36].

В последние годы большое внимание уделялось изучению использования методов последовательного анализа для схем зависимых наблюдений, в частности, динамических систем.

Впервые этот метод был применен в работах [33], [68] к моделям с непрерывным временем. Позже в [8] была предложена последовательная процедура оценивания параметра процесса авторегрессии первого порядка и многомерной специального вида. Пусть процесс (хп) описывается уравнением.

Хп 7 1? n-i ть = 1,2,., где а-неизвестный параметр. В качестве оценки параметра, а было предложено использовать модифицированную оценку МНК т—1.

T^Xi-iXi + a (h)xT-ixT = -> (3) xi-1 + a{h)x2T 1 i=i вычисленную в момент г, определяемый по формуле n.

Т = T (h) = {N> 1: >h}, h> О, г=1 где a (h) — весовой коэффициент, определяемый из уравнения т—1.

Y, xti + a{h)x2T = h. i=1.

Последовательная оценка, по сравнению с обычной оценкой МНК, является несмещенной оценкой параметра а, среднеквадратическое уклонение удовлетворяет неравенству.

Е (а* — а)2 < с = const, V из которого вытекает, что при соответствующем выборе параметра h среднеквадратическое уклонение оценки может быть сделано сколь угодно малым.

В работе [66] было доказано свойство равномерной асимптотической нормальности последовательной оценки типа (3), при условии |а| < 1. Используя обобщенный метод наименьших квадратов, в работе [25] удалось получить гарантированную равномерно асимптотически нормальную оценку для всей области возможных значений параметра.

Проблема оценивания параметра процесса авторегрессии решалась и в ряде других работ [17], [63], [82] и др.

Задача гарантированного оценивания параметров процесса авторегрессии по неполным наблюдениям изучалась в [11], [12], [13], [27], [38], [40], [43] и др.

В последнее время широкое распространение получило использование нелинейных моделей, что связано с необходимостью найти объяснение ряда феноменов финансовой статистики и экономики вообще, которое нельзя объяснить в рамках линейных моделей. Одной из них является авторегрессионная модель условной неоднородности (ARCH), использование которой дает объяснение таких явлений в поведении финансовых индексов, как «тяжелые хвосты», «кластеризация» и др. Успех такой модели породил большое количество обобщений, преследующих цель объяснить и другие эффекты, обнаруживаемые методами статистического анализа. В работе [39] сделан большой обзор моделей такого типа. В [48], [67] изучались условия устойчивости моделей типа AR/ARCH.

Кроме того, часто приходится иметь дело со смешанными структурами, состоящими из линейных и нелинейных моделей одновременно. В работах [39], [81] было доказано, что в случае, если шумы имеют гауссов-ское распределение, то модель AR/GARCH эквивалентна модели авторегрессии с дрейфующими параметрами того же порядка. Для такой модели в [35] построена последовательная оценка МНК авторегрессионного параметра и исследованы свойства оценки, такие как асимптотическая минимаксность и другие. В [70] получены сильно состоятельные оценки авторегрессионных параметров таких моделей.

Цель работы состоит в разработке методов асимптотического и последовательного оценивания параметров нелинейных стохастических динамических систем с дискретным временем типа АЫ/АЯСН, а также многомерных билинейных процессов авторегрессии, наблюдаемых с линейными помехами. При асимптотическом подходе изучаются свойства оценок параметров при неограниченном увеличении объема наблюдений, в то время, как последовательные методы оценивания дают возможность нахождения оценок с заданными статистическими качествами по конечным выборкам.

Остановимся на основных постановках задач и полученных результатах.

В первой главе исследуются асимптотические свойства корреляционных оценок параметров авторегрессионной модели АЫ/АЛСН и параметров модели авторегрессии с дрейфом по наблюдениям с мультипликативными и аддитивными помехами.

Установлены свойства сильной состоятельности и равномерной асимптотической нормальности оценок авторегрессионных параметров процесса А11(р)/А11СН (р).

Найдено общее условие устойчивости для произвольных степеней наблюдаемого процесса.

Во второй главе решается задача последовательного оценивания параметров моделей, рассмотренных в первой главе.

В третьей главе представлены результаты численного моделирова.

Методы исследования. В работе использованы методы теории вероятностей, теории случайных процессов, теории статистического последовательного анализа, линейной алгебры и имитационного моделирования.

Научная новизна.

Доказаны свойства сильной состоятельности и асимптотической нормальности корреляционных оценок авторегрессионных параметров процесса AR (p)/ARCH (p). Найдено общее условие устойчивости для произвольных степеней наблюдаемого процесса.

Доказана сильная состоятельность корреляционных оценок параметров многомерного процесса авторегрессии с дрейфом и дисперсий аддитивных шумов модели по наблюдениям с мультипликативными и аддитивными помехами.

Построена последовательная одноэтапная процедура гарантированного оценивания параметров обобщенной модели авторегрессии. Построенная процедура применена к двумерным моделям типа AR/ARCH и билинейного авторегрессионного процесса.

Предложена двухэтапная последовательная процедура, позволяющая получать оценки параметров многомерной авторегрессии с дрейфом с любой заданной среднеквадратической точностью по наблюдениям с линейными помехами, а также оценки авторегрессионных параметров модели AR (p)/ARCH (p).

Достоверность полученных результатов. Все полученные в диссертации результаты имеют строгое математическое доказательство. Качество построенных оценок подтверждено проведенным имитационным моделированием.

Практическая ценность. Результаты работы могут быть использованы в различных отраслях науки и техники: финансовой математике, климатологии, радиофизике, медицине и в других прикладных задачах, связанных с идентификацией систем, прогнозированием, управлением, статистической обработкой временных рядов. Кроме того, полученные теоретические результаты могут быть использованы в соответствующих курсах лекций на математических факультетах университетов.

Разработанные процедуры оценивания используются для уточнения ошибок прогноза изменений климатических характеристик Западной Сибири при моделировании регионального климата, проводимого в Институте мониторинга климатических и экологических систем СО РАН.

Рассмотренные в диссертации модели и методы оценивания их параметров являются частью раздела «Построение нелинейных моделей динамических систем» курса «Идентификация», читаемого на 4 курсе факультета прикладной математики и кибернетики Томского государственного университета.

Апробация работы. Работа выполнялась в рамках научно-исследовательской работы при финансовой поддержке Российского фонда фундаментальных исследований, грант РФФИ № 09−01−172. Основные результаты диссертации обсуждались на семинарах кафедры высшей математики и математического моделирования ФПМК ТГУ, а также на следующих конференциях:

1. 2nd International Conference on Innovative Computing Information and Control, Kumamoto, Japan, 2007.

2. 3rd International Conference on Innovative Computing Information and Control, Dalian, China, 2008.

3. XVI Всероссийская школа-коллоквиум по стохастическим методам и X Всероссийский симпозиум по прикладной и промышленной математике (весенняя сессия) Всероссийский Макросимпозиум «Инновационная экономика: проектные решения и управление рисками», Санкт-Петербург, 19 — 24 мая 2009.

4. VIII Всероссийская научно-практическая конференция с международным участием «Информационные технологии и математическое моделирование» (ИТММ-2009), Анжеро-Судженск, 13−14 ноября 2009.

По теме диссертации опубликовано 6 печатных работ:

1. Маляренко A.A. Оценивание параметров модели AR (p)/ ARCH (p) при неизвестных распределениях шумов // Автоматика и телемеханика. — 2010. — № 2. — С. 128−140.

2. Маляренко A.A. Одноэтапное последовательное оценивание параметров нелинейных стохастических систем с дискретным временем // Известия ТПУ. — 2009. — Т. 315, № 5. — С. 13−17.

3. Маляренко A.A. Одноэтапная последовательная идентификация модели нелинейной регрессии с дрейфующими параметрами // Информационные технологии и математическое моделирование (ИТММ-2009): сборник статей VIII Всероссийской научно-практической конференции с международным участием (13−14 ноября 2009). Томск: Изд-во Томского университета. — Ч. 1. — С. 61−65.

4. Маляренко A.A. Оценивание авторегрессионных параметров процесса AR (p)/ ARCH (p) // Обозрение прикладной и промышленной математики. — 2009. — Т. 16, вып. 5. — С. 890−891. i.

5. Malyarenko A.A., Vasiliev V.A. On Sequential Parameter Estimation Problem of Nonlinear Discrete-Time Stochastic Systems // 3rd International Conference on Innovative Computing Information and Control. — Dalian, China, — 2008.

— PP. 552−555.

— URL: http://doi.ieeecomputersociety.org/10.1109/ICICIC.2008.399.

6. Malyarenko A.A., Vasiliev V.A. On Guaranteed Parameter Estimation of Discrete-time Stochastic Systems // 2nd International Conference on Innovative Computing Information and Control. — Kumamoto, Japan, — 2007. — PP. 140 143.

— URL: http: //doi.ieeecomputersociety.org/10.1109/ICICIC.2007.417.

Структура диссертации. Работа состоит из введения, 3 глав, заключения, приложения и списка литературы. Общий объем диссертации составляет 115 страниц. Библиография содержит 91 наименование.

Заключение

.

В данной работе представлены некоторые результаты теории асимптотического и последовательного оценивания для моделей нелинейных стохастических систем с дискретным временем. Рассмотрены задачи асимптотического оценивания параметров процесса AR/ARCH и процесса многомерной авторегрессии с дрейфом, наблюдаемой с мультипликативными и аддитивными помехами, а также гарантированного оценивания с заданной среднеквадратической точностью в таких моделях.

В Главе 1 рассмотрены корреляционные оценки авторегрессионных параметров модели AR (p)/ARCH (p) и всех параметров модели AR (1)/ ARCH (l). Получено общее условие устойчивости, обеспечивающее равномерную ограниченность моментов произвольного порядка процесса AR (p) / ARCH (p). Для всех рассмотренных оценок доказано свойство сильной состоятельности, а для оценок авторегрессионных параметров модели AR (p)/ARCH (p) свойство равномерной асимптотической нормальности.

Построены асимптотические оценки корреляционного типа средних значений дрейфа параметров многомерной авторегрессии, наблюдаемой с мультипликативными и аддитивными помехами и дисперсий аддитивных шумов этой модели. Доказана сильная состоятельность построенных оценок.

В Главе 2 рассмотрена задача гарантированного оценивания параметров нелинейных стохастических систем с дискретным временем.

Для нелинейной модели общей регрессии специального вида построена одноэтапная процедура последовательного оценивания параметров модели. Рассмотрены примеры применения одноэтапной процедуры к двумерным моделям процесса авторегрессии с дрейфующими параметрами и AR/ARCH. Исследовано среднее время оценивания. Полученные оценки обладают свойствами несмещенности и гарантированности. Показано, что в рассмотренных примерах свойства процедуры оценивания не требуют априорной информации об оцениваемых параметрах.

Для моделей нелинейных стохастических систем, рассмотренных в Главе 1, построены двухэтапные последовательные процедуры оценивания их авторегрессионных параметров.

Структура двухэтапной процедуры гарантированного оценивания существенно сложнее одноэтапной. В то же время она применима для более широкого класса нелинейных моделей с дискретным временем.

Все рассмотренные в главе процедуры последовательного оценивания позволяют получать оценки с любой заданной среднеквадратической точностью за конечное время.

В Главе 3 приведены результаты численного моделирования некоторых асимптотических оценок, рассмотренных в пунктах 1.2, 1.3 Главы 1. Во всех рассмотренных примерах наблюдается улучшение качества оценок с ростом числа наблюдений, а также работоспособность процедуры оценивания при относительно небольших объемах выборок (А^=100 — 200).

Кроме того, приведены результаты численного моделирования одно-этапных последовательных оценок из раздела 2.2. Видно, что полученная эмпирическая среднеквадратическая точность оценивания согласуется с теоретической. Проведенное сравнение с асимптотическими корреляционными оценками показывает, что качество последовательных оценок лучше асимптотических для всех рассмотренных значений параметров модели. При этом среднее время наблюдения при последовательном оценивании относительно невелико (от 30 до 170 наблюдений, в зависимости от значения параметров модели).

Полученные результаты могут быть применены при моделировании стохастических систем с дискретным временем и решении других статистических задач, таких как прогнозирование, управление и фильтрация.