Эмпирические и последовательные эмпирические процессы в статистическом анализе ARMA модели

В данной работе предлагаются и исследуются новые непараметрические оценки типа минимального расстояния для параметров ARMA модели. Рассмотрены соответствующие тесты для проверки линейных гипотез. Кроме того, решается задача о проверке постоянства коэффициентов ARMA модели. Альтернативой выступает предположение о том, что они меняются («дрейфуют») во времени.

Все рассмотренные задачи объединены единым подходом. Для их решения используются остаточные эмпирические процессы и последовательные остаточные эмпирические процессы.

Эмпирические процессы используются для статистического анализа стохастических разностных уравнений очень давно. Решались задачи проверки гипотез, оценки параметров и проверки адекватности моделей. Началом послужили работы о проверке гипотез относительно распределения инноваций в линейных моделях временных рядов критериями типа Колмогорова и ш2. Для примера обратимся к работе Болдина [7], в которой данная задача решалась для модели авторегрессии.

Итак, пусть наблюдаются величины У0, Уи., уп, являющиеся выборкой из стационарного решения уравнения авторегрессии yt = Pvt- 1 + е*, teZ, |/3|<1. (1.1).

Здесь {e^} - независимые одинаково распределенные (н.о.р.) случайные величины (с.в.), Е^ = 0, Ее^ < оо 7 ?1 имеет функцию распределения (ф.р.) Р (х) и плотность по мере Лебега /(ж).

Поскольку ?1 не доступны для наблюдения, находятся величины ??(0) := уг — Оуг-г > О Это остатки в модели (1.1). Величины при 9 ф ?3 зависимы между собой, ??(/5) = Et. Определим функцию п.

Это остаточная эмпирическая функция распределения (э.ф.р.). Очевидно, Рп (х,/3) совпадает с обычной эмпирической ф.р. Рп[х), построенной (гипотетически) по е,., еп .

Функция Ёп (х, 9) может быть использована при построении тестов для проверки гипотезы Щ: Е =^о в модели (1.1). В [7] исследовалось поведение статистики типа Колмогорова для проверки такой гипотезы. Тестовая статистика имеет вид.

БИр п.

½.

Рп (х, рп) — Р0(х).

1.2) где ¡-Зп — любая у^п-состоятельная оценка /3, например, оценка наименьших квадратов. При некоторых предположениях относительно /(х) было показано, что вир п1'2 (Рп (х, Р + п-^т) — | = ор (1), п оо, (1.3) для любого 0 ^ В < оо.

Далее все предельные переходы при п —оо — если не оговорено иное. Из (1.3) следует, что вир хек п1'2 (А (®, Ао-зд)| = ор (1).

Следовательно, предельные распределения тестовых статистик типа Колмогорова-Смирнова (например, (1.2)) будут такими же, как если л л бы вместо Рп (ж,/Зп) стояла Рп{х). Эти распределения найдены явно в классический работах Колмогорова [52] и Смирнова [74], и табулированы, например, в [11]. Предельное распределение статистики ш2 (точнее, его характеристическая функция) найдено Смирновым в [24]. Таблица квантилей этого распределения приведена, например, в [11],[20]. Отметим, что результат Колмогорова о сходимости sup хеЕ п1'2 [Fn (x) — F0(x)] (1.4) является следствием общих теорем о слабой сходимости процессов. Действительно, введем процесс G [0,1], такой, что.

ВДНп½ [ад-ад].

Траектории vn (^) принадлежат D[0,1] — пространству действительнозначных функций на [0,1] с разрывами лишь первого рода и метрикой Скорохода (см. подробности в [16], гл. IX, § 5). Тогда vn (^) сходится слабо в D[0,1] к броуновскому мосту (гаусовскому процессу на [0,1] с нулевым средним и ковариационной функцией г (Л, ?i) = Л Л ц — А/л), а значит (1.4) сходится по распределению к sup |v (z/)|. Распределение.

0,1] последней случайной величины и есть распределение Колмогорова.

Описанный для авторегрессии подход был обобщен многими авторами на другие линейные модели. В частности, Коулом и Левинталем (Koul, Levental, [58]) была рассмотрена модель взрывной авторегрессии (модель (1.1) с? > 1) — в [6] Болдин рассмотрел модель скользящего среднегоКрайсом (Kreiss, [61]) была рассмотрена ARMA модель.

Отметим еще раз факт о том, что предельное распределение статистик типа Колмогорова-Смирнова в модели (1−1) с нулевым среднем не зависит от того, строим мы эмпирическую функцию распределения по независимым величинам et или по оцененным остаткам? t{?n) •.

Этот факт, верный для упомянутых выше линейных моделей с нулевым среднем, перестает быть верным, если рассмотреть линейные модели с ненулевым средним или нелинейные модели. Так, например, в работе [37] рассматривалась нелинейная ARCH модель, определяемая уравнением а0£ = 1, 2,., 20 = 0. (1.5).

В (1.5) а0, аг > 0 и а0 + аг < 1. Пусть сг2(г, в) = 0Х + в2г2, 0 = ($ 1) $ 2)Т ^ • Остатки в модели (1.5) определяются как в), если в) > 0, еь{в) := <

I 0, если сг2(^1, в) ^ 0.

Показано, что если ап — у/п-состоятельная оценка для векторного параметра модели, а = (а1,а2)т, Ее2 = 1, то при дополнительных условия на /(ж) верно sup жек п1'2 (рп{х, кп) — Fn{x) —^xf (x)(an — а) тЕе^ оР (1), т где е = (.

Таким образом, предельное распределение тестовой статистики (1.2) для ARCH модели отлично от распределения Колмогорова. Аналогичный результат получен Вязиловым в [14] для GARCH (1,1).

Следующий естественный шаг состоит в попытке распространить описанный подход на проверку сложной гипотезы: F (x)? {F (x, 9)}вео ¦ Мы снова опишем результаты в этой области на примере модели авторегрессии первого порядка (1.1). Для простоты рассмотрим случай © С Ж. Итак, исследуется асимптотическое поведение статистики ,½ sup xeR п.

Fn (x:(3n)-F{x, en), (1.6) где, как и раньше, (Зп есть л/п-состоятельная оценка параметра [3 модели (1.1), 0п — оценка для истинного значения параметра В силу.

1.3) предельное распределение (1.6) совпадает с предельным распределением sup хек п.

½.

Fn (x)-F (x, 6n).

1.7) где, как и раньше, Fn (x) — эмпирическая ф.р., построенная по.

Поведение с.в. (1.7) исследовалось, например, в работе Дурбина (Durbin, [44]), а так же целом ряде работ других авторов. В [44] вводился процесс ип (Х): А Е [0,1], такой что un (F (x, еп)) = п1'2 [Fn{x) — F{x, §-п).

Тогда, при дополнительных условиях гладкости на F (x, 9) и дополнительных условиях на 6п, при гипотезе процесс ип{А) сходится слабо в Z)[0,1] к гауссовскому процессу «(А), Л G [0,1], с распределением, зал висящем от гипотетического семейства и оценки 6п. А значит и процесс vn (X), А? [0,1], такой, что vn{F (x, 9п)) = n½ [Рп{х, fin) — F (x, §-п) сходится слабо в D[0,1] к и (Л).

Для примера рассмотрим гипотезу о нормальности инноваций с нулевым средним в схеме (1.1), т. е. F (x) Е {Ф (ж/сг), 0 < a < оо}, где.

Ф (ж) — функция Лапласа. Тогда, если в качестве оценки для a2 расп смотреть оценку s2 := п, то vn (X) сходится слабо в D[0,1] t=i к гауссовскому процессу со средним ноль и ковариацией.

R (А, ц) = А, А у. — Xfi — ^Ф-1(А)</? (Ф-1(А)) Ф-1 (ц)<�р (Ф-ХМ), где <�р{и) = Ф'^) (подробности смотри в [4]). Для проверки гипотезы о нормальности можно использовать критерий ш2, т.к. соответствующее предельное распределение табулировано в [19], [20].

Упомянутые результаты относились к случаю, когда наблюдаемые величины зависимы и образуют выборку из строго стационарной последовательности. Замечательно, что удается решать похожие задачи и для разнораспределенных наблюдений. Так в работе Муганцевой [21] с помощью остаточных эмпирических процессов решалась задача проверки нормальности ошибок в схеме линейной регрессии. Позже Шо-рак (Shorack, Wellner, [73] (раздел 4.6)) обобщил результаты Муганцевой для схемы линейной регрессии в случае, когда в качестве оценок для неизвестных параметров регрессии берутся произвольные у/п-состоятельные оценки. Миллер (Miller, [69]) распространил результаты Муганцевой на модели регрессии с «ошибками в переменных». В работе Лойнеса (Loynes, [67]) исследовалось поведение процесса, аналогичного г? п (А), для модели обобщенной регрессии с произвольными оценками для неизвестных параметров.

Отметим, что и в современной литературе существует множество работ, в которых эмпирические процессы используются для проверки гипотез о виде распределения ошибок (шума, инноваций) в той или иной модели. Так, например, в работе Коула и Линга (Koul, Ling, [59]) рассматривался класс гетероскедастических моделей, в который входит, например, GARCH и ARMA-GARCH моделив работе Ли и Вей (Lee, Wei, [64]) рассмотрен класс стохастических регрессионных моделей, в которых входит, например, стационарная AR{оо) модельв работе Ли и Танигучи (Lee, Taniguchi, [63]) рассмотрена ARCH-SM модельв работе Чана и Линга (Chan, Ling, [41]) рассмотрены временные ряды с короткой и длинной памятью.

Критерии согласия типа Колмогорова и ш2 вовсе не единственное и даже не основное применение эмпирических процессов во временных рядах. Главное применение — для оценивания параметров моделей в семипараметрической ситуации (когда распределение инноваций неизвестно) и для исследования тестов для проверки гипотез об этих параметрах. Эти задачи требуют рассмотрения иных остаточных эмпирических процессов — взвешенных и случайно взвешенных. Мы рассмотрим два типа оценок, которые будут использованы в диссертации, — оценки минимального расстояния (далее MD-оценки) и обобщенные М-оценки (далее GM-оценки). Однако начнем с истории развития метода минимального расстояния, поскольку большая часть диссертации посвящена этому вопросу.

Метод минимального расстояния оформился в 50-х годах 20-го века в работах Вольфовитса (Wolfowitz, [76], [77], [78]). Для схемы повторной выборки его идея выглядит следующим образом. Пусть? i,., епн.о.р.с.в. с ф.р. Fq{x), где в Е в. Рассмотрим следующий функционал от э.ф.р. Fn (x), построенной по наблюдениям {et} :

Кп (в) = sup п1'2 [Fn{х) — Fe{x)]. (1.8).

Тогда MD-оценка 9u^md определяется как такая измеримая функция.

ОТ ?1 ЧТО 0n: MD 60 и.

Кп (9п, мп) < - + infKn (0).

П 060.

Фактически в качестве оценки выбирается такое 0 6 0, что Fg (x) ближе других к э.ф.р. в смысле равномерной метрики.

В [76]-[78] на основе этого приема строятся MD-оценки для параметров схемы повторной выборки, схем одномерной авторегрессии и скользящего среднего. Доказана состоятельность оценок.

В работе Коула (Koul, [53]) для определения MD-оценки параметра одномерной линейной регрессии используется взвешенный остаточный эмпирический процесс п wn (x, в) := п1'2 dtn [I {et (6) ^х}- F (x)], t=1 где {dtn} равномерно ограниченный набор чисел, ?t{@) — остатки, определяемые аналогично остаткам модели авторегрессии.

Оценка 0niMD определятся как точка минимума функционала от эмпирического процесса оо.

6n, MD := Argmiii0eiA/Cn (0), где К, п (0) = J w*(x, 0) dG (x). (1.9) оо.

Здесь Л = М. (далее, при определении MD-оценок в других моделях, Л может быть иным), G{x) — априорно выбираемая монотонная ограниченная функция. (Далее, если интегрирование проводится по всей прямой, пределы интегрирования будут опускаться.) Доказана асимптотическая гауссовость On, MD •.

Задача оценивания параметра одномерной регрессии в случае, когда неизвестно распределение инноваций, была решена в работе Коула (Koul [54]) для случая, когда инновации имеют симметричное распределение. Оценка определяется аналогично (1.9), только эмпирический процесс wn (x, 9) заменен на п шп (х, в) := и'1'2 ]Г dtn |1{е*(0) ^®} + I{et (0) ^ -х} - 1]. t=1.

Оценка при таком подходе оказывается асимптотически гауссовской с тем же предельным распределением, что и в параметрической задаче.

Далее в работе Коула (Koul [55]) при построении оценки параметра одномерной авторегрессии (1.1) было показано, что подход, разработанный для модели линейной регрессии, работает также и для авторегрессии. Оценка определяется аналогично (1.9), только эмпирический процесс wn{x, 0) заменен на.

71 wn (x, 0) — п" ½ ]Г %-!) pr{et (0) t=i h (-) — априорно выбираемая функция. Процесс wn (x, 0) называется случайно взвешенным остаточным эмпирическим процессом.

Доказана асимптотическая нормальность построенной оценки. Непараметрическая задача оценивания решена по аналогии с линейной регрессией в случае, когда выполнено условие симметрии распределения инноваций.

Доказательство асимптотической нормальности оценок, предложенных Коулом, основывается на доказательстве равномерной асимптотической линейности соответствующего эмпирического процесса. Для примера рассмотрим процесс wn (x, 9). Положим w"(®, 9) := w"(®, ?) + nl'2(0 — ?)E [h (y0)y0] f (x).

Процесс wn (x, 0) имеет смысл равномерного асимптотического линейного приближения для wп (х, 6). Равномерная асимптотическая линейность (AUL) означает, что для любого 0 ^ В < оо имеет место разложение sup |w"(®, 0) — wn (s, 0) l = оР{ 1), Лп{В) = h: -?^ п-^в) xeR, etAn (B) 1 J.

1.10).

Для модели (1.1) при некоторых условиях на распределения инноваций и функцию h (-) соотношение (1.10) доказано в [55].

Покажем, как при помощи AUL устанавливается асимптотическая нормальность MD-оценки. Из (1.10) получаем, что для любого 0 ^ В < оо выполнено sup Кп (0)-Кп{О)=оР (1), (1.11) веЛп (В) где Кп{9) подсчитана по wn (x, 9) как в (1.9), а Кп (9) — поwn{x, Q). Тогда.

Кп{9) = Kn{?) + 2n½Sn (9 -?} + nD (9 — ?)2, n Г г E [%оЫ X) Kvt-1) J P fe < - ^ W] f (x)dG (x) t=l.

D = [Е%0Ь]2 / f (x)dG (x).

Обозначим Рп — точку минимума Кп{0). Поскольку Кп{9) является квадратным трехчленом, то ¡-Зп имеет вид: ¡-Зп = (3 — п-½!)-1^. В силу ЦПТ для Sn получаем, что п1//2(/Зп — ?3) сходится по распределению к нормальной случайной величине. Для доказательства асимп.

Л «А тотической нормальности /?п, мг> остается показать, что (Зп — fin, MD — ор (п-½). Это следует из (1.11) в предположении у/п-состоятельности Pn, MD (у/п-состоятельность ¡-Зп уже доказана).

Доказательство у/п-состоятельности ?3n, MD основывается на монотонности процесса wn (x, 6). Действительно, при h (y)y ^ 0 или h (y)y ^ 0 процесс п wn{x, 9) = п1'2 Y, Kvt-1) Р < х + yt-i (9 — /3)} -t=i является монотонным по 9 в силу монотонности индикатора. Подробности этой части доказательства нас в дальнейшем интересовать не будут, поэтому здесь мы их опустим.

Гауссовость построенной MD-оценки для параметра стационарной авторегрессии была доказана еще в 80-х года ХХ-го века и было бы естественным обобщить эти результаты на ARMA модель. Но даже на модель скользящего среднего эти результаты перенесены не были. И причина как в технических, так и в идейных затруднениях.

Пусть, например, щ,., ип — выборка из решения уравнения скользящего среднего первого порядка.

Щ = ?t + OLSt-ъ '|ск| < 1, i G (1−12).

Остатки в модели (1.12) естественно определить рекуррентным соотношением et{9)=ut-9et-1{9), е0{9) = 0. i-1.

Т.е. ?t (9) = • Мы видим, что остатки в модели (1.12) з=о имеют вид многочленов, что делает работу с ними куда более трудоемкой, чем с остатками в модели авторегресси (1.1), которые имеют вид.

0) — Уь — вуь-1- В частности, это объясняет, почему результат (1.3), доказанный в [7] в 1982 году, был распространен на модель скользящего среднего в [6] лишь через 7 лет, хотя идеи доказательств одни и те же.

Кроме того, случайно взвешенный остаточный эмпирический процесс для модели (1.12) имеет вид.

Отметим, что в качестве «весовой» функции к можно взять любую (с некоторыми моментными ограничениями) функцию, зависящую от «прошлого» (т.е. щ, щ,., щ), и построенная по ней оценка будет асимптотически гауссовской. Однако целесообразно выбрать весовую функцию как в (1.13), поскольку частным случаем оценки, определяемой с помощью эмпирического процесса (1.13), является оценка, асимптотически эквивалентная оценке максимального правдоподобия.

Нетрудно видеть, что уп (х, 6) не является монотонной функцией по в, в отличие от процессажп (х:9). Тем самым, схема доказательства л/п-состоятельности оценки, разработанная Коулом в его работах, для МЭ-оценки параметра скользящего среднего не работает.

Кроме того, все МЮ-оценки, предложенные Коулом, либо используют при построении функцию распределения инноваций (это параметрическая ситуация), либо требуют симметрию распределения инноваций.

В некоторых случаях от предположения о симметрии распределения можно отказаться. Так в [75] рассматривалась выборка ., хп из А11СН (1) модели.

Оценка ап, М?> для, а определяется, как точка минимума функционала (1.9) от эмпирического процесса уп (Х, в) := «-^¿-й (М) р{е,(в) < *} - *¦(«)]. (1.13).

1.14) П ъ (х1в) = п-112^Къ-1,0) 1{еь{в)^х}-Рп{х, в) здесь, как и раньше, Fn (x:9) — остаточная э.ф.р., т. е. неизвестная ф.р. F{x) заменена на остаточную э.ф.р. Показано, что при некоторых дополнительных условиях регулярности, так определенная оценка существует и является асимптотически гауссовской.

Интересной задачей, в особенности для приложений, является перенос результатов Коула на ARMA модель. Проблемы, которые возникают при таком обобщении (мы о них сказали выше), можно попытаться решить с помощью подхода из [75].

Отметим, что одно из важных свойств MD-оценок, делающих их привлекательными для применения, есть свойство робастности. Существует несколько определений робастности оценки. Мы будем понимать ро-бастность как конечную чувствительность функционала влияния оценки. Подобную характеризацию робастности предложили Мартин и Йо-хаи (Martin, Yohai, [68]).

Известно, как вычислить функционал влияния оценки, определяемой как решение уравнения, см. в [68]. Сложнее посчитать функционал влияния оценки, определяемой экстремальной задачей. К такому типу оценок относится MD-оценка. Отметим две работы, в которых в явном виде подсчитан функционал влияния MD-оценок и выписаны условия, при которых чувствительность конечна. В работе Дхара (Dhar, [42]) рассмотрена непараметрическая MD-оценка для параметра модели авторегрессиив работе Сорокина [75] — MD-оценка для параметра ARCH модели.

AUL остаточного эмпирического процесса так же позволяет доказывать асимптотическую гауссовость GM-оценок. Обратимся опять к модели (1.1). Пусть в дополнение к h фиксирована функция ф: Ж. —> Ж. GM-оценка ?n, GM в модели (1.1) определяется как корень уравнения п.

Zn (9) := n-w Y, Куь-1)ФЫв)) = 0. 1.

Для доказательства существования у/п— состоятельного решения и его гауссовости необходимо получить равномерное линейное разложение гладкая, то это можно сделать с помощью формулы Тейлора, однако она не применима, если функция ф не является дифференцируемой. Но такие случаи крайне важны, например, ф (х) = signж .

Предположим, что ф (х) непрерывна, имеет ограниченную вариацию и Жф^ег) — 0. (В некоторых случаях от условия непрерывности можно отказаться, но тогда надо иначе определять оценку, для примера см. п. 5.5.1 из [3]). Тогда Zn{9) можно тождественно переписать в виде где Л Е [/1(2/0)2/0] / 1(х)с№(х). Из (1.15) можно получить, что с вероятностью, стремящейся к 1, существует (Зщсм > Для которого.

Из последнего равенства и ЦПТ для Zn (?) следует асимптотическая нормальность? n, GM •.

Обозначенный подход применялся в монографии Коула (Koul, [57]) для линейной регрессии и авторегрессии, в работе Болдина [33] для ARCH модели, в работе Вязилова [13] для GARCH модели.

Класс решаемых при помощи остаточного эмпирического процесса задач не ограничивается перечисленными выше. Например, AUL указывает путь к исследованию различных ранговых статистик, построенных по остаткам. Действительно, если ., .йп (0) — ранги.

Zn (9) в 0{п х/2) окрестности истинного значения параметра. Если ф в<=Ап (В).

Zn{?n, GM) = 0, ?n, GM =?~ n-WjZntf) + Opin-1'2). ei (0),., e"(0), то.

Rt (e) = nFn (Et (9), 9) и тогда равномерное линейное разложение для остаточного эмпирического процесса позволит находить разложение для ранговых статистик.

Ранговые статистики широко используются для построения оценок. Так в работе Юресковой (Jureskova, [51]) строятся ранговые оценки для параметров линейной регрессии, у Коула и Осиандера (Koul, Ossiander, [60]) и у Болдина [35] - для параметров стационарной авторегрессии, у Коула (Koul, [56]) — для параметров нелинейных моделей с аддитивными шумами.

Основные результаты рангового анализа во временных рядах, впрочем, связаны не с задачами оценивания, а с задачами проверки гипотез. Так в работах Халлина и др. (Hallin, [45] и [46]) с помощью линейных и квадратичных ранговых статистик проверяется гипотеза о том, что наблюдается «белый шум», против альтернативы, что наблюдения порождаются стационарной ARMA модельюв статье Халлина и др. (Hallin, [47]) проверяется одна ARMA модель против другойв работе Крайса (Kreiss, [62]) с помощью ранговых тестовых статистик проверяются линейные гипотезы в авторегрессииу Халлина и др. (Hallin, [48]) для проверки одной ARMA модели против другой ARMA используются знаково-ранговые статистики (результаты суммированы в обзоре Халлина и др. (Hallin, [49])). В работе Халлина и др. (Hallin, [50]) проверяются линейные гипотезы в схеме линейной регрессии с ошибками, порожденными ARMA моделью. Знаковые оценки и тесты для проверки линейных гипотез исследовались в монографии Болдина и др. [3] и работе [9].

Перейдем теперь к классу задач о «дрейфе11 параметров разностных уравнений. Эти задачи решаются с помощью последовательных остаточных эмпирических процессов. Рассмотрим такую задачу на примере модели авторегрессии. Цитируем [34].

Итак, проверяется гипотеза H о том, что наблюдения г/о? Уъ ¦ ¦ •? Уп суть выборка из строго стационарного решения модели (1.1). В качестве альтернативы рассматривается Ап о том, что наблюдения уо, yi,., уп порождаются моделью.

Уь = PtnVt-i + ей t С Z+, уо = 0. (1.16).

Ры = Р + n~½btn, sup |6in| < oo, (1.17) i, n btn} неизвестны, и для некоторой функции b (y) G D[0,1] sup i/6[0,l].

1 X>nbм n t.

-> 0. (1.18).

Предположение (1−18) выполняется, например, когда последовательность {&-гп}, ? = 1,., п, изменяется только в моменты времени Ь = [пр^ [п^],., [ш^], 0 < щ <. < щ. Тогда Ъ (р) кусочно линейна, непрерывна и имеет «изломы» в точках ., Рь.

Тестовая статистика строится на основе последовательного остаточного эмпирического процесса уп{у, в) := п-½ ^ зщпу^^пе^в), р в [0, 1], в е Ж.

Щпи.

Л Л.

Чтобы предельное распределение процесса уп (^, /Зп) (/Зп — состоятельная оценка (3) было свободно от параметров модели при Н, в качестве ¡-Зп выбирается оценка, для которой верно разложение.

1 п п½фп — /з) = 2/(0)Е|у1| ^ + С1−19).

Ь—1.

При некоторых естественных условиях регулярности медиана массива {^/^¿—х}, ? = 1,., п удовлетворяет (1.19) (см. подробности в [34]).

Тощ При Ап.

Тогда при Я vn (^, 0п) v (t/), где v (v) — броуновский мост.

А") ^ VM + 2/(0)ЕУ1 (6(1/) — ^(1)).

Тестовые статистики для проверки Н против Ап, например,.

Dn = sup i п (^Дг) и ¿-и2 = /у/Зп)(11/. Предельные распределения V о при Н таких статистик суть распределения Колмогорова и и1.

Отметим еще раз, что главная идея [34] состоит в согласовании оценки и последовательного остаточного эмпирического процесса (другой пример для схемы повторной выборки см., например, в [23]). Однако обычно согласование оценки и процесса не требуется. Для примера рассмотрим задачу типа пchange-pointмдля модели авторегрессии. Используемый для ее решения последовательный процесс позволяет строить асимптотически свободные тесты без всякого согласования способа оценивания параметров и структуры процессов.

Пусть в модели (1.1) с.в. {е^} до неизвестного момента [пи], 0 < и < 1, имеют функцию распределения ^(ж), а после этого момента — ^(ж), ф^2, неизвестны. Гипотеза Н состоит в том, что ^(ж) = (ж). Опишем кратко тест и его распределение при Н.

Пусть е^О) — остатки модели (1.1), ¡-Зп есть у/п-состоятельная оценка параметра /3. Пусть Рщ1/{х) и Рпдг/(ж), и? [0,1], будут э.ф.р., по/ч л л л строенные по ?1 (¡-Зп),., е[""](/У и €[П1/]+1(Рп),?п (рп) соответственно. Статистика типа Колмогорова-Смирнова для проверки Н имеет вид Dn = sup x.v.

Bn{x, v) где.

Bn{x, v) = -^ -n ^ {Fn, v (x) — Fntl-v (x)) .

Обозначим D2 метрическое пространство функций на квадрате [0,1]2, имеющих пределы снизу и непрерывных сверху с метрикой, Скорохода. Пусть B{v,?) непрерывный гауссовский процесс на [0,1]2 с нулевым средним и ковариацией.

Cov (?(z/i, Aii), B (u2,fJ, 2)) = (yi Л I/2 — VlV2){?l А/^2.

Пусть Вп (х, v) строится по самим е,., еп. В силу работы Бикела и Вичуры (Bickel, Wichura, [32])при гипотезе выполнено.

Bn (F 1(i/),/x) Тогда (при естественных условиях регулярности) при H sup Bn{x, v) — Bn (x, v) =оР (1), En (F-1(^),/i) ^ х, и так что Dn A sup В (у^ ц). Распределение последней статистики табулировано в работе Пикарда (Pikard, [72]). Статистика Dn распределена асимптотически свободно, но никакого согласования ¡-Зп и En (x, v) здесь нет.

Подобные результаты давно описаны в литературе: для стационарной ARMA модели в работе Баи (Bai, [31]), для нестационарной авторегрессии у Линга (Ling, [66]), для нелинейных моделей с аддитивными «шумами» у Коула (Koul, [56]), для ARCH модели у Болдина в [5]. Отметим так же работу Карлштейна (Carlstein, [40]), в которой была предложена оценка момента разладки v в схеме повторной выборки.

Завершая обзор литературы отметим, что некоторые задачи из рассмотренных выше до сих пор не решены для ARMA модели. Так, например, актуальной с прикладной и математической точки зрения задачей является обобщение результатов по MD-оцениванию на ARMA модель. Это до сих пор не было сделано, хотя результаты для AR модели получены еще в 80-х годах прошлого века. Так же интересной, в особенности для приложений, задачей является задача проверки гипотезы о постоянстве коэффициентов ARMA модели, против альтернативы об их «дрейфе». Проблемы, возникающие при обобщении результатов на ARMA модель, связаны как с техническими затруднениями (например, решение задачи о «дрейфе» параметров), так и с принципиальными (мы отмечали, что метод доказательства ^/п-состоятельность MD-оценки, разработанный Коулом, не работает для модели скользящего среднего). В данной диссертации пытаемся справиться с этими затруднениями. Сейчас кратко опишем полученные результаты по главам.

Будем рассматривать АГША (р^) модель, задаваемую уравнением р я щ ~ + + Ъ^-у (1.20) г=1 ]=1.

Вторая глава посвящена проверке гипотезы Н о том, что параметры с =., ар, Ь,., Ьд) т модели (1.20) постоянны, т. е. с = Со, и неизвестны, против альтернативы Ап о том, что они «дрейфуют» во времени. Тогда щ-р,., ип является выборкой из решения уравнения р а.

Щ = (а* +^-г + ^ + Х^ (ь, — + 61−3, * = 1, 2, • - •, г=1 з=1.

1.21) с нулевыми начальными условиями.

На последовательность с^ = (а^,., а™р, Ь" 1}., накладывается условие равномерной ограниченности. Кроме того, для некоторой функции с (и) из 1] выполнено вЩ^ер),!].

->> 0.

Тестовая статистика для проверки Н против Ап строится на основе последовательного эмпирического процесса.

1/) := тГ1/* ^ Ь (е?х (0)) (1−22) где ??(0) — остатки модели (1.20), := —дедд^, Ъ. и ф — априорно выбираемые функции.

Чтобы предельное распределение тестовой статистики, основанной на v7г (cn, z/), не зависело от параметров модели, в качестве сп необходимо выбрать оценку согласованную с процессом. Т. е. оценку, для которой при Н верно разложение п1'2 (сп — с) = З-1 • п1'2? Це^фЫ. (У /(*)#(*)) 1 + ор{ 1).

1.23).

Здесь — стационарный предел для е¹©, Л = ЕИ (ео)ед .

Вопрос о выборе оценки, для которой верно разложение (1.23), решается рассмотрением ОМ-оценки, которая определяется как корень системы уравнений тг.

1.24) г=1.

Показано (Утверждение 2.1.1), что при некоторых дополнительных условиях на функцию ф данная система уравнений с вероятностью, стремящейся к 1, имеет у/п-состоятельное решение сп&м, для которого верно разложение (1.23).

Таким образом, если сп — л/п-состоятельное решение (1.24), то (Теорема 2.1.1) при гипотезе Н у"(с", V) [Ч!Ы]1,!.Е[Ь (е1)Ьг (е1)]" !уМ1 где v (z/) вектор-процесс, компоненты которого суть независимые броуновские мосты. При альтернативе сп,*/) [Е²(£1)]½ -Е [Ь (е1)Ьт (е1)]½уМ + д{у где д{у) — некоторый неслучайный сдвиг. Доказательству этого результата (Теоремы 2.1.1) посвящен второй параграф главы.

Если ~¥-п и суть состоятельные при Ап оценки матрицы Е [Ь (в1)Ьт (е1)] и константы Е²^), то слабый предел.

П) р) при Н свободен от параметров модели, что позволит использовать Для построения тестовой статистики. Таковой берется статистика типа омега-квадрат.

Поскольку построенные тесты зависят от априорно выбираемых функций Ъ. и ф, то возникает вопрос об оптимальном выборе этих функций. Поскольку предельные распределения тестовых статистик не гауссовские и не хи-квадрат, то воспользоваться классическим определением асимптотической относительной эффективностью по Питмену для нахождения оптимального теста мы не можем. Однако, в случае, когда h (x) = х, удается определить естественную асимптотическую относительную эффективность, которая помогает определить оптимальный тест. В Теореме 2.1.2 показано, что так определенная АОЭ существует, единственна и приведен ее явный вид.

Наконец, третий параграф главы посвящен получению равномерного линейного разложения последовательного эмпирического процесса (Теорема 2.2.1) v" (с + п-^т, Z/) =v"(i/)+J-[c (i/)-i/r] J f (x)dif>(x) + op (1), (1.25) равномерно по (||т|| ^ в, v е [0,1]). На основе этого разложения построено доказательство основной Теоремы 2.1.1.

Третья глава посвящена модернизации оценок наименьшего расстояния Коула для стационарной авторегрессии в случае, когда распределение инноваций неизвестно и нет условия симметрии этого распределения.

Мы определяем MD-оценку для параметра одномерной авторегрессии (1.1) как решение экстремальной задачи (1.9), где Л = {9: 9 < 1}, а Кп (6) построен по процессу п wn (x, d) := n-W^Kyt-i) t=i.

По описанной выше схеме доказательства асимптотической нормальности MD-оценок (см. стр. 12) достаточно доказать у/п-состоятельность оценки и AUL эмпирического процесса в 0(п½) окрестности истинного значения параметра. Понятно, что у/п-состоятельность в этой схеме нужна для того, чтобы мы могли утверждать, что с вероятностью, стремящейся к 1, точка минимума Кп (9) попадает в окрестность, в которой верно AUL эмпирического процесса.

I{et (0) ^x}-Fn{x, 9).

1.26).

Поскольку автору не удалось доказать у/^~с0ст0ятель110сть предложенной оценки, была модернизирована стандартная схема доказательства. Доказывается п½−5 -состоятельность оценки (8 > 0) и доказывается AUL процесса в 0{п~1²+6) окрестности истинного значения параметра. С одной стороны при таком подходе мы выигрываем (доказательство п1!2~5 -состоятельность тем проще, чем больше 8), с другой стороны мы вынуждены обосновывать AUL процесса в нестандартной окрестности. Даже при маленьких 8 мы не можем воспользоваться общими теоремами о разложении остаточного эмпирического процесса, и приходится уточнять доказательства этих теорем.

По описанной схеме в первом параграфе доказывается асимптотическая нормальность предложенной оценки (Теорема 3.1.1) с предельной дисперсией Е Щу0) Е ф%{е1) [Е уоЦуо)}2 [S pdG (x)f где Цу0) := %0) — Е%0), М") ¦= f (x)dG{x).

Отметим, что данная дисперсия всегда не больше дисперсий MD-оценок, предложенных Коулом для параметра авторегрессии (у Коула в числители первой дроби Kh2(yo)). Таким образом, предлагаемая модернизированная оценка не требует знания распределения инноваций, не требует симметрии распределения и при этом всегда не хуже (с точки зрения асимптотической относительной эффективности) оценок Коула.

Равенство (1.27) и предельной дисперсии оценки Коула достигается при Е^(уо) = 0. Последнее верно в наиболее интересном случае h{x) = х.

Доказательство Теоремы 3.1.1 основывается на AUL о.э.п. (Лемма 3.1.1) в 0(п-3/7) окрестности (т.е. 8 — 1/14) и п3/7-состоятельности оценки. Доказательство Леммы 3.1.1 вынесено в третий параграф. Доказательство п3/7-состоятельности оценки основано на равномерной оценке для эмпирического процесса (Лемма 3.1.2), доказательство которой вынесено в третий параграф.

В втором параграфе исследуется робастные свойства построенной MD-оценки с точки зрения конечной чувствительности функционала влияния. Доказано (Теорема 3.2.1), что функционал влияния MD-оценки равномерно ограничен для выбросов с конечным вторым моментом.

Четвертая глава посвящена построению оценок и тестов минимального расстояния для ARMA модели. Предлагается новый двухша-говый метод оценивания, отличающийся от описанного в третьей главе для параметра одномерной авторегрессии. Данный метод применялся в § 6.6.3 [3] при построении знаковой оценки параметра одномерной авторегрессии. Отметим, что к общей ARMA модели метод минимального расстояния для задач оценивания и проверки гипотез применяется впервые.

MD-оценка, как и раньше, определяется как решение экстремальной задачи (1.9), где Кп (в) построен по эмпирическому процессу п t=1.

Но минимизация проходит не по всем возможным в, а лишь по в из окрестности радиуса n-1//2logn с центром в некоторой предварительной у/псостоятельной оценки сп. Т. е. в (1−9) А= {в: п1'2 \0 — сп\.

При таком подходе для доказательства асимптотической нормальности построенной оценки (в соответствии со стандартной схемой доказательства, см. стр. 12) не надо доказывать л/n-состоятельность оценки, но при этом необходимо доказать AUL соответствующего случайно взвешенного о.э.п. в 0(n-½ log п) окрестности истинного значения параметра. Таким образом, для доказательства AUL мы опять не можем воспользоваться общей теоремой о разложении о.э.п. в l{st (e)^x}-Fn (x, 6). окрестности точки из [33] и нам необходимо модернизировать ее для новой окрестности.

В конце главы построенные оценки используются для построения тестов для проверки линейных гипотез. Для подсчета асимптотической мощности необходимо знать распределение тестовых статистик при альтернативах вида Нп: с = сп := со + та-½dfо{п~½). Вот почему во втором параграфе доказывается AUL процесса wn (x, в) в 0{n~1l2ogn) окрестности истинного значения параметра при Нп (Теорема 4.2.1). Случай, когда коэффициенты модели постоянны, является частным случаем этой теоремы при d = 0. Итак, показано, что при Ны sup.

Wn (x, cn + n ½т) — Jt/(ic) — w°(?) = oP (log 1n), где w°(®) := n-V2?h (et-i)[I{et^x}-F (x)]Met-i) := h (eEi) — ЕЦе^).

С помощью AUL процесса wn (x, 9), доказывается основной результат четвертой главы — асимптотическая гауссовость MD-оценки параметра ARMA модели (Теорема 4.3.1 в случае, когда коэффициенты постоянны, Теорема 4.4.2 при Нп). Предельная матрица ковариации имеет вид.

ЕMD = [h (e0)hr (e0)] (J" 1)^^/, G), где.

G) := ЕфЦеу) [j f2dG{x)), фс (у) := J [I {v К x}- F (x)} f (x)dG (x).

Отметим, что при q = 0 и р = 1 ковариация Ещ? совпадает с сг2 из (1.27). И это не удивительно, ведь при определении этих двух оценок использовался один и тот же процесс.

В четвертом параграфе на основе построенных оценок стандартным образом строятся тестовые статистики для проверки линейных гипотез об ARMA модели. Предельное распределение тестовых статистик суть центральное и нецентральное хи-квадрат распределение при гипотезе и при альтернативе соответственно (Теорема 4.4.1). Параметр нецентральности выписывается в явном виде. Это позволяет сравнить данный MD-тест с другими тестами (найти асимптотическую относительную эффективность). В частности, в пятом параграфе MD-тесты сравниваются с тестами наименьших квадратов и знаковыми тестами, предложенными в работе [9].

Глава 2.

Проверка гипотезы о «дрейфе» параметров в А11МА (р, д) модели.

В данной главе будут построены тесты для проверки гипотезы о «дрей-фе» параметров в А11МА (р, д) модели. Закон изменения параметров («дрейф») аналогичен тому, что рассмотрен в (1.16)-(1.18) для авторегрессии. Тестовые статистики строятся на основе последовательных процессов, согласованных со способом оценивания неизвестных параметров модели.

В параграфе 2.1 будет поставлена задача и сформулированы основные результаты.

В параграфе 2.2 дано доказательство этих результатов, которое основывается на равномерном линейном разложении последовательного процесса. Доказательство этого разложения вынесено в параграф 2.3.

Результаты данной главы содержаться в публикациях автора [27], [10] и [38].

1. Андерсон Т. Статистический анализ временных рядов. М.: Мир. 1976. 756с.

2. Биллингсли П. Сходимость вероятностных мер. М.: Наука. 1977. 352с.

3. Болдин М. В. Симонова Г. И. Тюрин Ю. Н. Знаковый статистический анализ линейных моделей. М.: Наука. 1997. 288с.

4. Болдин М. В. Проверка гипотез в схемах авторегрессии критериями Колмогорова и омега-квадрат.// ДАН СССР. 1983. Т. 273. № 1, С. 19−22.

5. Болдин М. В. О последовательных остаточных эмпирических процессах в АКСН-модели // Успехи мат. наук. 2002. Т.57. № 2. С.185−186.

6. Болдин М. В. О проверке гипотез в схеме скользящего среднего критериями Колмогорова-Смирнова и омега-квадрат.// Теор. вероятностей. и ее применен. 1989. Т. 34. № 4. С. 758−764.

7. Болдин М. В. Оценка распределения возмущений в схеме авторегрессии. // Теор. вероятностей, и ее применен. 1982 Т. 27. № 4. С. 805−810.

8. Болдин М. В. Последовательные процессы и тесты типа Колмогорова для авторегрессионных гетероскедастических моделей // Колмогоров и современная математика, тезисы доклодов. 2003 С. 400 401.

9. Болдин М. В., Штуте В. О знаковых тестах в ARMA модели с возможно бесконечной дисперсией ошибок // Теор. вероятностей и ее применен. 2004. Т. 49. №З.С. 436−460.

10. Болдин М. В., Эрлих И. Г. Проверка гипотезы о «дрей-фе» параметров в ARMA и ARCH моделях// Труды VI Кол-могоровских чтений. Ярославль. Издательство ЯГПУ. 2008. С. 94−102.

11. Болыпев Л. Н., Смирнов Н. В. Таблицы математической статисти-ки.М.: Наука. 1983. 416с.

12. Боровков A.A. Математическая статистика. М.:Наука. 1984. 472с.

13. Вязилов А. Е. Эмпирические процессы в GARCH (l, l)-мoдeли и ро-бастное оценивание параметров // Успехи мат. наук. 2001. Т.56. № 5. С.179−180.

14. Вязилов А. Е. Остаточная эмпирическая функция распределения в G ARCH (1,1) и ее применение при проверке гипотез / / Успехи мат. наук. 1999. Т.54. № 4. С. 163−164.

15. Гаек Я., Шидак 3. Теория ранговых критериев. М.:Наука. 1971. 352с.

16. Гихман И. И., Скороход A.B. Теория случайных процессов. М.:Наука. 1977. 568с.

17. Кеидалл М., Стьюарт А. Статистические выводы и связи. М.: Наука. 1973. 899с.

18. Мартынов Г. В. Вычисление предельного распределения статистик критерия нормальности типа омега-квадрат // Теор. вероятностейи ее применен. 1973. Т. 18. № 3. С. 671−673.

19. Мартынов Г. В. Вычисление предельных распределений статистик критериев нормальности типа омега-квадрат // Теор. вероятностей и ее применен. 1976. Т. 21. № 1. С.3−15.

20. Мартынов Г. В. Критерии омега-квадрат. М.: Наука. 1978. 80с.

21. Муганцева Л. А. Проверка нормальности в схемах одномерной и многомерной регрессии // Теор. вероятностей и ее применен. 1977. Т. 22. № 3. С. 603−614.

22. Надарая Э. А. О непараметрических оценках плотности вероятности и регрессии // Теор. вероятностей и ее применен. 1965 Т.10. № 1. С.199−203.

23. Парджанадзе А. М. Функциональные предельные теоремы в задаче апостериорного обнаружения разладки // Теор. вероятностей и ее применен. 1986. Т. 31. № 2 С. 408−411.

24. Смирнов Н. В. О распределении о-2-критерия Мизеса // Матем. сб. 1937. Т.2(44). № 5. С.973−993.

25. Ширяев А. Н. Вероятность-1. М.: Московский центр непрерывного математического образования. 2004. 520с.

26. Ширяев А. Н. Вероятность-2. М.:Московский центр непрерывного математического образования. 2004. 408с.

27. Эрлих И. Г. Проверка гипотезы о «дрейфе» параметров в модели скользящего среднего // Вестник МГУ. Математика. Механика. 2009. № 1. С. 8−11.

28. Эрлих И. Г. Двухшаговые оценки типа минимального расстояния для параметров модели ARMA (1,1) // Вестник МГУ. Математика. Механика. 2010. № 6. С. 52−54.

29. Эрлих И. Г. Тесты минимального расстояния для проверки линейных гипотез в ARM, А модели / / Обозр. прикл. pi промышл. матем., 2010, Т. 17, вып. 3, С. 374−375.

30. Bai J. Weak convergence of the sequential empirical processes of residuals in ARMA models// Ann. Statist. 1994.V. 22. P.2051;2061.

31. Bickel P.J., Wichura M.J. Convergence for multipa rameter stochastic processes and some applications // Ann. Statist. 1971. V. 42. P.1656−1670.

32. Boldin M.V. On empirical processes in heteroscedastic time series and their use for hypothesis testing and estimation // Math. Methods Statist. 2000. V. 9. № 1. P.65−89.

33. Boldin M.V. On median estimates and tests in autoregressive models // Math. Mathods Statist. 1994.V.3 .P. 114−129.

34. Boldin M.V. On residual empirical distribution function and rank estimators in autoregression // Math. Methods Statist. 1997.V. 6. № 1. P. 70−91.

35. Boldin M.V. On sequential residual empirical processes in heteroscedastic time series // Math. Methods Statist. 2002. V.U. P.453−464.

36. Boldin M.V. On residual empirical distribution functions in ARCH models with applications to testing and estimationMitt. Math. Sem. Glessen. 1998. V.235. P.49−66.

37. Boldin M.V., Erlikh I.G. Testing Hypotheeses on the «Drift» of Parameters in ARM A and ARCH Models // Math. Methods Statist. 2009. V.18. m. P. 1−19.

38. Brockwell P.J., Davis R.A. Time Series: Theory and Methods. New York. Springer-Verlag. 1987. 519 p.

39. Carlstein E. Nonparametric change point estimation // Ann. Statist. 1988. V. 16. P. 188−197.

40. Chan N.H., Ling S. Residual empirical processes for long and short memory time series // Ann. Statist. 2008. V. 36. № 5. P.2453−2470,.

41. Dhar S.K. Minimum distance estimation in an additive effects outliers model // Ann. Statist. 1991. V.19. № 1. P.205−228.

42. Doukhan P. Mixing: Properties and Examples Lecture Notes in Statistics, V.85. New York. Springer-Verlag. 1994. 142p.

43. Durbin J. Weak convergence of the sample distribution function when parameters are estimate,// Ann. Statist. 1973. V.l. № 2. P.279−290.

44. Hallin M., Ingenbleek J.-F., Puri M.L. Linear serial rank tests for randomness against ARM A alternatives // Ann. Statist. 1985. V.13. № 3. P.1156−1181.

45. Hallin M., Ingenbleek J.-F., Puri M.L. Linear and quadratic rank tests for randomness against serial dependence// J. Time Ser. Anal. 1987. V.8. № 4. P.409−424.

46. Hallin M., Puri M.L. Optimal rank-based procedures for time series analysis: testing an ARMA model against other ARMA models // Ann. Statist. 1988. V.16, № 1. P.402−432.

47. Hallin M., Puri M.L. Time series analysis via rank order theory: signed-rank tests for ARMA models // J. Multivariate Ahalysis. 1991. V.39. m. P. 1−29.

48. Hallin M., Puri M.L. Rank tests for time-series analysis: a survey. New Directions in Time Series Analysis, Part I. Ed. by D. Brillinger, E. Parzen, and M. Rosenblatt. 1992. New York. Springer-Verlag. 11−153.

49. Hallin M., Puri M.L. Aligned rank tests for linear models with autocorrelated error terms // Multivariate Analysis. 1994. V.50. № 2. P. 175−237.

50. Jureskova J. Nonparametric estimation of regression coefficients // Ann. Math. Statist. 1971. V.42. № 4. P.1328−1338.

51. Kolmogorov A.N. Sulla determinazione empirica di une legge di distribuzione // Giorn. Ist.Ital. Attuari, 1933. V.4. P.83−91,.

52. Koul H.L. Minimum distance estimation in a linear regression // Ann. Statist. 1983. V.ll. P.921−932.

53. Koul H.L. Minimum distance estimation in a linear regression with anknown error distribution // Statist, and Probab. Letters. 1985. V.3. P. l-8.

54. Koul H.L. Minimum distance estimation and goodness-of-fit tests in first order autoregression // Ann. Statist. 1986. V.14. P.1194−1213.

55. Koul H.L. Asymptotics of some estimators and sequential residual empiricals in nonlinear time series // Ann. Statist. 1996. V.24. № 1. P.380−404.

56. Koul H.L. Weighted Empiricals and Linear Models. IMS. Hayward. CA. 1992.

57. Koul H.L., Levental S. Weak convergence of residual empirical process in explosive autoregression // Ann. Statist. 1989. V.17. P.1784−1794.

58. Koul H.L., Ling S. Fitting an error distribution in some heteroscedastic time series models // Ann. Statist. 2006. V.34. № 2. P.994−1012.

59. Koul H.L., Ossiander M. Weak convergence of randomly weighted dependent residual empiricals with applications to autoregression // Ann. Statist. 1994. V.22. P.540−562.

60. Kreiss J.P. Estimation of the distribution function of noise in stationary processes // Metrica. 1991. V.38. P.285−297.

61. Kreiss J.P. Testing linear hypotheses in autoregressions // Ann. Statist. 1990. V.18. № 3. P. 1470−1482.

62. Lee S., Taniguchi M. Asymptotic theory for ARCH-SM models: LAN and residual empirical processes // Statistica Sinica. 2005. V.15. 215 234.

63. Lee S., Wei C. Z. On residual empirical processes of stochastic regression models with applications to time series // Ann. Statist. 1999. V.27. P.237−261.

64. Lilliefors H.W. On the Kolmogorow-Smirnow test for normality with mean and variance unknown //J. Amer. Statist. Ass. 1967. V.62. 399 402.

65. Ling S. Weak convergence of the sequential empirical processes of residuals in nonstationary autoregressive models // Ann. Statist. 1998. V.26. P.741−754.

66. Loynes R.M. The empirical distribution function of residuals from generalized regression // Ann. Statist. 1980. V.8. P.285−298.

67. Martin R.D., Yohai V.J. Influence functionals for time series // Ann. Statist. 1986. V.14. P.781−818.

68. Miller S.M. Empirical processes based upon residuals from errors-in-variables regressions // Ann.Statist. 1989. V.17. P.282−292.

69. Milnor J.W. Topology from the Differentiate Viewpoint, Princeton University Press, NJ, 1965. 64p.

70. Mokkadem A. Mixing properties of ARMA processes // Stochastic Processes Applications. 1988. V.29. P.309−315.

71. Pikard D. Testing and estimating change-point in time series // Adv. in Appl. Probab. 1985. V.7. P.841−867.

72. Shorack G.R., Wellner J.A. Empirical processes with applications to statistics. New York. Wiley. 1986.

73. Smirnov N. Sur les ecarts de la courbe de distribution empirique // Ree. Math. (Mat. Sbornik) (NS), 1939. V.6. P.3−26.

74. Sorokin A.A. On The Minimum Distance Estimates in ARCH Model // Math. Methods of Stat. 2004. V.13. № 3. P.329−355.

75. Wolfowitz J. Estimation by minimum distance method // Ann. Inst. Stat. Math. 1953. V.5. P.9−23.

76. Wolfowitz J. Estimation by the Minimum Distance Method in Nonparametric Stochastic Difference Equations // Ann. Math. Statist. 1954. V.25. № 2. P.203−217.

77. Wolfowitz J. Minimum distance estimation method // Ann. Math. Stat. 1957. V.28. P.75−88.

78. Whittle P. Gaussian estimation in stationary time series // Bull. Int. Stat. 1962. V.39. P. 105−129.