Оценивание линейных моделей в условиях автокорреляции случайных возмущений

Рассмотрим линейную авторегрессионную модель первого порядка AR (1):

(7.24).

Для определенности начнем рассмотрение на примере уравнения парной регрессии. При этом будем полагать, что коэффициент корреляции между последовательными значениями случайных возмущений известен, а остаток подчиняется нормальному закону распределения . Начальное значение переменной равно значению . Мы не располагаем нулевым наблюдением, но будем предполагать, что дисперсия случайного наблюдения в нем равна . Тогда из второго уравнения (7.24) получим:

(7.25).

Так как и суть независимые случайные переменные, третье слагаемое в (7.25) равно нулю. Поскольку , то из (7.25) получаем:

(7.26).

Вычислим дисперсию случайной переменной . Воспользуемся методом математической индукции. Найдем дисперсию :

Вычислив значения о2(и3), о2(м4) и т. д., получим, что во всех случаях.

(7.27).

Таким образом, если задать дисперсию случайного возмущения в начальный момент времени в виде (7.26), то дисперсии во всех наблюдениях станут гомосксдастичными.

Вычислим недиагональные элементы ковариационной матрицы случайных возмущений. С учетом отсутствия зависимости между случайными переменными и для , получим:

(7.28).

С учетом того, что.

(7.29).

параметр авторегрессии представляет собой коэффициент корреляции между соседними случайными возмущениями, вычислив последовательно значения всех ковариаций по индукции, получим:

Окончательно автоковариационная матрица случайных возмущений принимает вид:

(7.30).

Матрица (7.30) называется ковариационной матрицей стационарного случайного процесса.

Подход к устранению автокорреляции случайных возмущений сводится к искусственному преобразованию спецификации модели (7.24) к виду с тождественным выполнением третьей предпосылки теоремы Гаусса — Маркова.

Для этого запишем первое уравнение (7.24) в моменты времени и

(7.31).

Умножим второе уравнение (7.31) на р и вычтем его из первого:

(7.32).

Сделав замену переменных:

(7.33).

получим спецификацию линейной модели вида:

(7.34).

Спецификация (7.31) может быть оценена с помощью МНК.

Не нарушая общности полученные выводы можно применить к линейной модели множественной регрессии.

Уравнения (7.31) имеют смысл только при , так как отсутствует нулевое наблюдение. Если объем выборки достаточно велик, то первым наблюдением можно пожертвовать.

В принципе первое наблюдение также можно использовать при вычислении оценок модели, если его умножить на величину , которая называется поправкой Прайса — Уинстона. Можно показать, что умножение первого наблюдения на эту поправку не приводит к искажению значений параметров модели и при значениях р близких к единице уменьшается значение дисперсии случайного возмущения (7.27).

В результате систему уравнений наблюдений в общем виде можно записать как.

(7.35).

Замечание. Рассмотренный прием справедлив, если известен коэффициент корреляции между последовательными случайными возмущениями. На практике, как правило, он неизвестен.

Существует несколько подходов к оценке авторегрессионных моделей при неизвестном значении параметра р.