Использование моделей авторегрессии – проинтегрированного скользящего среднего (моделей ARIMA)

Модели стационарных временных рядов

Важное место в аналитических исследованиях отводится моделям стационарных временных рядов. Это объясняется тем, что с помощью определенных преобразований (взятия разности, выделения тренда и др.) многие временные ряды могут быть приведены к стационарному виду, кроме того, получаемые после моделирования остатки зачастую содержат статистические зависимости, которые можно описать с помощью этих моделей.

Существуют понятия стационарности в узком и широком смысле [3, 7, 16. 26].

Ряд называется строго стационарным (strictly stationary) или стационарным в узком смысле, если совместное распределение т наблюдений такое же, как и для гп наблюдений , при любых

Из этого определения следует, что свойства строго стационарного временного ряда не зависят от начала отсчета времени.

В практических исследованиях чаще опираются на понятие слабой стационарности (weak stationary), или стационарности в широком смысле, которое связано с требованиями того, чтобы временной ряд имел среднее, дисперсию и ковариацию, не зависящие от момента времени t

Таким образом, автоковариация у (т) зависит лишь от величины лага т, но не зависит от t.

Далее будем опираться на понятие слабой стационарности.

С понятием автоковариации тесно связано понятие автокорреляционной функции, АКФ (autocorrelation function, ACF). Значения коэффициентов АКФ характеризуют степень статистической взаимосвязи между уровнями временного ряда, разделенными т тактами времени, и определяются следующим образом:

Очевидно, что . При анализе поведения автокорреляционной функции рассматривают лишь положительные значения лагов , так как из условия стационарности вытекает, что .

В практических исследованиях выборочные значения коэффициентов автокорреляции оцениваются на основе имеющихся уровней временного ряда [3]:

где п — длина временного ряда - временной сдвиг; .

График, отражающий изменение коэффициентов автокорреляции при различных значениях лага , называют коррелограммой (correlograni).

Для стационарного временного ряда с увеличением лага значения коэффициентов автокорреляции должны демонстрировать быстрое монотонное убывание по абсолютной величине.

На рис. 8.19 показан пример автокорреляционной функции, рассчитанной для временного ряда ежемесячной динамики добычи нефти.

Рис. 8.19. Автокорреляционная функция временного ряда добычи нефти.

Предварительный графический анализ исходного ряда указывал на наличие тренда и периодичности, что согласуется с рис. 8.19. Значения коэффициентов автокорреляции не демонстрируют быстрого затухания, что свидетельствует о нестационарном характере временного ряда, при этом виден всплеск на 12-м сезонном лаге.

Наряду с АКФ при анализе временных рядов широко используется частная автокорреляционная функция. ЧАКФ (partial autocorrelation function, PACF), коэффициенты которой измеряют корреляцию между уровнями ряда, разделенными т временными тактами, при исключении влияния на эту взаимосвязь всех промежуточных уровней. В аналитических пакетах есть возможность построения наряду с графиком ЛКФ графика ЧЛКФ, на котором показано изменение выборочных оценок коэффициентов частной автокорреляции в зависимости от значений лагов . Очевидно, что для лага коэффициенты автокорреляции и частной автокорреляции совпадут, но при последующих лагах появятся различия в их значениях.

Примером стационарности служит белый шум (white noise), свойства которого могут быть представлены в виде.

(8.25).

где

Следовательно, при , при этом постоянная дисперсия не зависит от

Примером белого шума могут служить остатки в классической линейной регрессионной модели, которые в случае их нормального распределения образуют гауссовский белый шум.

На рис. 8.20 показан пример временного ряда, соответствующего реализации гауссовского процесса белого шума. Следует обратить внимание на нерегулярный характер колебаний уровней этого временного ряда около нуля, а также на близость коэффициентов автокорреляции к нулю, что обусловлено свойствами (8.25).

Анализ характера поведения АКФ и ЧАКФ — важный этап при выборе моделей.

На практике получили распространение модели авторегрессии и модели скользящего среднего, применяемые для стационарных временных рядов.

Авторегрессионные модели сокращенно обозначаются как АР(р) или в англоязычном варианте AR (p) (autoregressive models of order p), где параметр p указывает порядок авторегрессии. В общем случае авторегрессионный процесс порядка р имеет вид.

или.

где В — оператор сдвига, т. е. преобразование временного ряда, смещающее его на один временной такт; Ф (В) — оператор авторегрессии.

Условие стационарности выполняется в случае, если все корни многочлена Ф (В) лежат вне единичного круга, иными словами, все корни характеристического уравнения по модулю превышают единицу и различны.

Например, рассмотрим процесс авторегрессии AR (2):

характеристическое уравнение принимает вид , или , при этом его корни и по абсолютной величине больше единицы, следовательно, имеем стационарный процесс.

Рис. 8.20. Динамика смоделированного временного ряда, соответствующего реализации гауссовского процесса белого шума (a), и его автокорреляционная функция (б).

Модель авторегрессии первого порядка — AR (1), или марковский процесс, имеет вид.

(8.26).

где - числовой коэффициент, удовлетворяющий условию последовательность случайных величин, образующих белый шум.

Для марковского процесса (8.26) математическое ожидание и дисперсия соответственно равны.

Можно показать, что для AR (1) справедливо равенство , следовательно, i, таким образом, теснота корреляционной связи между членами последовательности убывает экспоненциально по мере увеличения значения лага.

При этом - коэффициент автокорреляции первого порядка, так как.

При подборе модели полезным оказывается анализ поведения частной автокорреляционной функции. Значения ЧАКФ для процесса А/?(1) равны нулю для всех лагов . Однако это свойство справедливо для теоретической частной автокорреляционной функции. При анализе коэффициентов выборочной частной автокорреляционной функции следует исходить из того, что использование модели ЛД (1) не противоречит исходным данным, если значения коэффициентов незначимо отличаются от нуля при .

Ограничение значений коэффициента, а (|а| < 1) определяет условие стационарности для AR ( 1).

Примеры выборочных автокорреляционных функций, с характерным для AR ( 1) поведением коэффициентов представлены на рис. 8.21, 8.22. На этих рисунках отчетливо видны выбросы на нервом лаге в ЧАКФ, при этом наблюдается экспоненциальное затухание значений коэффициентов ЛКФ (при положительном значении  — монотонное затухание (см. рис. 8.21), при отрицательном — знакопеременное (см. рис. 8.22)).

Модель, соответствующая значению , описывает процесс случайного блуждания (random walk). В этом случае каждое текущее значение определяется случайным отклонением от предыдущего:

Однако, как показано на рис. 8.23, свойства процесса случайного блуждания существенно отличаются от AR ( 1) при . Процесс случайного блуждания нестационарен, что согласуется с медленным затуханием коэффициентов автокорреляции на рис. 8.23.

В экономических исследованиях также часто встречаются так называемые процессы Юла, или авторегрессионные процессы второго порядка — AR (2):

где - белый шум.

Для процесса Юла можно получить выражение, позволяющее вычислить значения автокорреляций при различных лагах ():

(8.27).

После подстановки значений в выражение (8.27) с учетом того, что , можно получить так называемую систему Юла — Уокера (Yule-Walkerequations) для AR(2):

Рис. 8.21. Пример автокорреляционных функций для временного ряда, сгенерированного с помощью модели AR( 1) при, а = 0,8 (корень равен 1,25):

а — АКФ: б — ЧАКФ.

Рис. 8.22. Пример автокорреляционных функций для временного ряда, сгенерированного с помощью модели AR (1) при, а = -0,8 (корень равен -1,25):

а — АКФ; б — ЧАКФ.

Рис. 8.23. Временной ряд, сгенерированный с помощью модели случайного блуждания (а), и его автокорреляционная функция (б).

Эта система позволяет выразить коэффициенты модели через значения коэффициентов автокорреляции .

При этом условия стационарности процесса AR (2) могут быть представлены в следующем виде:

В общем случае для процесса выражение, позволяющее вычислить значения автокорреляций при различных лагах (), примет вид.

(8.28).

Последовательная подстановка в формулу (8.28) значений лагов k = 1, 2. … р приводит к р уравнениям системы Юла — Уокера. Эта система позволяет получить оценки коэффициентов модели после подстановки в нее значений выборочных коэффициентов автокорреляции.

Итак, изучение поведения коэффициентов автокорреляционных и частных автокорреляционных функций существенно помогает при идентификации авторегрессионных моделей.

На целесообразность применения модели AR (p) могут указывать значения коэффициентов ЛКФ, демонстрирующие экспоненциальное затухание (либо монотонное, либо с попеременной сменой знака), при этом в значениях коэффициентов ЧАКФ должны наблюдаться выбросы (пики) на первыхр лагах, а остальные значения коэффициентов статистически незначимы.

Также широкое распространение при моделировании стационарных временных рядов получили модели скользящего среднего, обозначаемые СС (q) или в англоязычном варианте MA (q) (moving average models). Модель MA (q) имеет вид.

где - белый шум.

На практике чаще всего используются модели скользящего среднего невысоких порядков:

(8.29).

Можно преобразовать соотношение (8.29) для MA (1) к следующему виду, последовательно выражая и т. д.:

(8.30).

Проведенное преобразование показывает, что ряд, представленный в виде модели МA ( 1) (8.29), также может быть представлен в виде модели авторегрессии бесконечного порядка (8.30).

Если в модели МA ( 1) параметр? по абсолютной величине будет больше единицы, то согласно выражению (8.30) текущее значение у, будет зависеть от прошлых уровней, берущихся с весами, бесконечно растущими по мере удаления в прошлое. Не будет учитываться старение информации и при значении параметра , равном единице. Таким образом, требуется выполнение условия , чтобы веса в выражении (8.30) образовывали бы сходящийся ряд.

Отметим, что также возможно представление AR(1) в виде МЛ (<=°). На коэффициенты процесса AR (p) не накладываются никакие условия для обратимости, но для выполнения условия стационарности процесса корни его характеристического уравнения должны лежать вне единичного круга. В то же время для обратимости процесса MA (q) корни его характеристического уравнения.

должны лежать вне единичного круга, в то же время не накладываются ограничения на коэффициенты модели для выполнения условия стационарности.

Можно представить выражение для коэффициентов автокорреляции процесса MA (q) в виде.

Из данного представления следует характерная особенность поведения АКФ для процесса MA (q): для всех значений лагов ?, превышающих порядок модели q, коэффициенты автокорреляции равны нулю.

Значения АКФ для частного случая — модели МЛ (1) — определяются следующим образом:

Поведение ЧАКФ напоминает затухающую экспоненту, при этом задается выражением [7].

Примеры выборочных автокорреляционных функций с характерным для МА (1) поведением коэффициентов представлены па рис. 8.24, 8.25. На рис. 8.24, соответствующем временному ряду, сгенерированному с помощью модели МА ( 1) при значении параметра , наблюдается положительный выброс в АКФ, при этом коэффициенты в ЧАКФ демонстрируют затухание с переменным знаком. В свою очередь на рис. 8.25, иллюстрирующем характер поведения АКФ и ЧАКФ для реализации процесса МА ( 1) при значении параметра , наблюдается выброс в АКФ в отрицательной области, так же как и затухание соответствующих коэффициентов в ЧЛКФ.

Свойства моделей скользящих средних позволяют сформулировать следующие практические рекомендации. На целесообразность применения модели MA (q) могут указывать имеющиеся выбросы (пики) на первых q лагах автокорреляционной функции, при этом частная автокорреляционная функция должна демонстрировать экспоненциальное затухание (монотонное либо знакопеременное).

Для описания стационарных процессов также может использоваться модель авторегрессии - скользящего среднего — АРСС(р, q), или, как принято в англоязычном варианте, ARMA (p, q) (autoregressive-moving average model), включающая как авторегрессионные составляющие, так и члены, моделирующие остаток в виде процесса скользящих средних.

Рис. 8.24. Пример автокорреляционных функций для временного ряда, сгенерированного с помощью модели МА (1) при? = -0,8:

a — ЛКФ: йЧАКФ.

Рис. 8.25. Пример автокорреляционных функций для временного ряда, сгенерированного с помощью модели МА (1) при? = 0,8:

а — АКФ; б — ЧАКФ Модель ARMA (p, q), в которой параметр р определяет порядок авторегрессионной составляющей, a q — порядок скользящих средних, имеет вид.

(8.31).

В этой модели в качестве объясняющих переменных рассматриваются прошлые значения самой зависимой переменной, а в качестве регрессионного остатка — скользящие средние из элементов белого шума.

Для стационарности процесса (8.31) требуется, чтобы вне единичного круга лежали все корни характеристического уравнения AR (p) процесса. Аналогично для обратимости процесса (8.31) требуется, чтобы вне единичного круга находились все корни характеристического уравнения процесса MA (q).

Например, наиболее простой вариант смешанной модели ARMA (1, 1) можно представить в виде.

При этом стационарность процесса обеспечивается условием , а обратимость — выполнением ограничения

Для процесса ARMA ( 1, 1) значения коэффициентов автокорреляции определяются следующим образом:

при ;

для

Из данных выражений следует, что значения коэффициентов автокорреляции будут экспоненциально убывать от значения !. В случае положительного значения коэффициента, а убывание будет носить монотонный характер, при отрицательном значении, а убывание коэффициентов автокорреляции будет знакопеременным.

Поведение ЧАКФ также характеризуется экспоненциальным убыванием, при положительном значении? — монотонным, при отрицательном — знакопеременным.

Рассмотренные особенности поведения АКФ и ЧАКФ играют важную роль при выборе моделей.