Обобщенный метод наименьших квадратов при построении модели регрессии по временным рядам

Методы устранения автокорреляции в остатках могут быть разные. Они зависят от причин автокорреляции. Автокорреляция в остатках может быть следствием неправильной спецификации модели: не учтена важная объясняющая переменная, неправильно выбрана форма связи. В этом случае можно попытаться изменить математическую функцию регрессии (например, линейную на степенную), уточнить набор объясняющих переменных. Однако если эти попытки не увенчались успехом и автокорреляция в остатках имеет место, то для ее устранения можно применить обобщенный метод наименьших квадратов (ОМНК).

ОМНК можно использовать как для парной, так и для множественной регрессии. Для простоты и уяснения сути проблемы рассмотрим регрессию двух временных рядов.

(6.17).

Для периода времени справедливо равенство.

(6.18).

Если имеет место автокорреляция в остатках, т. е. последующие по времени остатки зависят от предыдущих, то регрессия остатков может быть представлена как.

(6.19).

где  — случайная ошибка для линейной регрессии остатков.

Но так как , где  — теоретические уровни линейной регрессии у от X, то и i. Полагая, что , имеем . Тогда регрессия остатков примет вид.

(6.20).

Параметр d определим по формуле.

(6.21).

где

В результате получим, что. Предполагая, что.

, можно записать, что.

(6.22).

т.е. d — коэффициент автокорреляции остатков первого порядка. Обозначим его через р. Тогда регрессия остатков примет вид.

(6.23).

где  — коэффициент автокорреляции остатков первого порядка;  — случайная ошибка, удовлетворяющая всем предпосылкам МНК.

Уравнение (6.23), как было показано ранее, используется при тестировании моделей на автокорреляцию остатков.

Предполагая, что р известен, вычтем из уравнения (6.17) уравнение (6.18), умноженное на р:

(6.24).

В итоге имеем линейное уравнение с новыми переменными i. Обозначим новую зависимую переменную через , а объясняющую переменную.

i через '. Примем также, что .Учитывая, что , получим уравнение.

(6.25).

где  — независимые случайные величины, имеющие нормальное распределение.

Так как ошибки удовлетворяют предпосылкам МНК (они не содержат автокорреляцию), то оценки и b будут обладать свойствами несмещенных оценок и могут быть получены обычным МНК.

Уравнение (6.25) возможно только при , так как при отсутствует лаговая переменная. Чтобы не уменьшать число степеней свободы рекомендуется для первого периода времени использовать поправку Прайса — Уинстена

(6.26).

Таким образом, ОМНК предполагает, что вместо исходных переменных и используются взвешенные переменные и , где  — веса. В матричном виде модель регрессии принимает вид . В ней матрица весов Р составит.

Иными словами, матрица исходных данных трансформируется.

Для длинных динамических рядов поправка Прайса — Уинстена может не применяться. Тогда матрица весов не со держит первую строку рассмотренной матрицы Р, и в расчетах используется преобразованных наблюдений и

К преобразованным переменным и применяется традиционный МНК и оцениваются параметры а" и b. Далее из со отношения -грожно найти параметр а как.

(6.27).

ОМНК распространяется и на случай множественной регрессии.

Если имеет место автокорреляция остатков и ,.

то.

1(6.28).

где

Или, исходя из прежней символики, строим модель вида.

(6.29).

Применяя к переменным традиционный МНК, найдем оценки параметров . Свободный член модели определим как . Дарее можно написать искомую модель регрессии , в которой устранена автокорреляция остатков.

Иными словами, применение ОМНК к регрессии с авто-коррелированными остатками сводится к двухшаговой процедуре:

• — преобразование исходных уровней динамических рядов с помощью известного значения коэффициента автокорреляции остатков первого порядка р;
• — применение к преобразованным данным обычного МНК.

Пример 6.4

По данным за 12 кварталов по предприятию рассматривается зависимость уровня рентабельности (у — в %) от оборачиваемости активов (х- в разах).

Таблица 6.3. Исходные данные и результаты анализа.

Непосредственное применение регрессионного анализа к исходным данным дало следующие результаты:

Уравнение регрессии статистически значимо, как и его параметры. Исследуем автокорреляцию остатков. Значения остатков приведены в табл. 6.3. Коэффициент автокорреляции остатков найдем по формуле.

Его величина не столь мала, а по критерию Дарбина-Уотсона не может быть отвергнута нулевая гипотеза об отсутствии автокорреляции в остатках (величина DW = 0,508 ниже нижней границы 0,97 при уровне значимости 0,05). Для устранения автокорреляции в остатках применим ОМНК. Определим преобразованные значения зависимой и объясняющей переменных, взвесив их на коэффициент автокорреляции остатков. В качестве весов р будем использовать полученное значение . Для t = 1 преобразованные значения составят.

Остальные переменные со значениями преобразуются по формулам . Результаты расчета новых переменных приведены в табл. 6.3.

К преобразованным переменным применяем обычный МНК. Уравнение регрессии оказалось следующим:

Хотя в модели с преобразованными переменными коэффициент детерминации ниже, чем в первоначальной модели, но автокорреляция в остатках отсутствует (коэффициент автокорреляции остатков равен 0,047). В данном уравнении величина 4,4474 — параметр . Перейдем от него к параметру а:

В окончательном виде уравнение регрессии составит.

(рассчитанные по нему теоретические значения у представлены в последней графе табл. 6.3). В данном уравнении коэффициент регрессии свободен от автокоррелированности ошибок соответственно не является результатом ложной регрессии и позволяет делать более корректные выводы относительно связи результативного признака с объясняющей переменной.

Рассмотренный ОМНК базируется на предположении, что коэффициент автокорреляции остатков р известен. Однако на практике точное значение р неизвестно и используются его оценки

В качестве оценки может использоваться значение , полученное на основе критерия Дарбина — Уотсона для модели по исходным данным. Как было показано ранее,

Соответственно имеем уравнение.

(6.30).

В нашем примере до коррекции выводов величина . Соответственно р составит 0,746.

Данный метод оценивания дает неплохие результаты при достаточно большом числе наблюдений. Используя и процедуру ОМНК к табл. 6.3, получим уравнение с некоррелированными остатками но коэффициент автокорреляции остатков несколько выше (-0,212), хотя нулевая гипотеза об отсутствии автокорреляции остатков принимается. Практически эта модель по коэффициенту регрессии отличается от предыдущей и исходной моделей.

Считается, что более точную оценку коэффициентов регрессии при ОМНК дает двухшаговая процедура Дарвина. Суть ее заключается в следующем. Уравнение (6.24) можно записать в виде.

(6.31).

где

Тогда имеем модель регрессии, в которой р входит в число оцениваемых параметров.

К уравнению (6.28) можно применить обычный МНК, так как остатки не содержат автокорреляции. Первый шаг процедуры Дарбина состоит в применении к модели (6.31) традиционного МНК для определения оценки коэффициента автокорреляции остатков р при переменной Далее на втором шаге оценка р используется для вычисления преобразованных переменных и

К этим преобразованным переменным применяется обычный МНК, т. е. строится уравнение (6.22), в котором коэффициент при служит оценкой коэффициента регрессии Ь, а величина I оценивает параметр а.

Для нашего примера двухшаговая процедура Дарбина приводит к следующим результатам: на первом шаге получено уравнение регрессии обычным МНК.

соответственно считаем, что коэффициент автокорреляции остатков ; на втором шаге находим преобразованные переменные и с учетом поправки Прайса — Уинстена и обычным МНК получаем регрессию.

Уравнение и его параметры статистически значимы. Автокорреляция остатков отсутствует , что больше верхней границы его критического значения 1,33 при уровне значимости 0,05 и п = 12). Параметр а составит -10,3765, т. е. в окончательном виде уравнение регрессии имеет вид.

Другим методом, позволяющим оценить р, является итеративная процедура Кохрейна — Оркатта. Применительно к модели парной регрессии она состоит в следующем.

На первом шаге оцениваются параметры регрессии обычным МНК, а также остаточные величины и по ним на основе модели авторегрессии остатков (6.20) оценивают МНК параметр р. Если по критерию Дарбина — Уотсона гипотеза о нулевой автокорреляции ошибок отвергается, то переходят далее ко второму шагу итерации и строится модель по преобразованным переменным и , т. е. рассматривается модель.

(6.32).

оценка параметров которой дается МНК (при этом в расчетах не используются данные при , т. е. поправка Прайса — Уинстена). Остатки этой регрессии вновь проверяют на наличие автокорреляции. Используя модель (6.23), получают новую оценку коэффициента автокорреляции остатков р. Процесс продолжается до тех пор, пока разность между последующей и предыдущей оценками р не будет меньше заданного числа, фиксирующего отсутствие автокорреляции ошибок.

Далее полагая, что , получим окончательный вид линейного уравнения регрессии.

Итерационная процедура Кохрейна — Оркатта может быть распространена и на множественную регрессию. Она представляет собой метод коррекции статистических выводов относительно коэффициентов регрессии для модели по динамическим рядам при наличии автокорреляции ошибок.

Применим итерационную процедуру Кохрейна — Оркатта к нашему примеру. Ранее уже было приведено уравнение регрессии по исходным данным и соответственно остатки по нему (см. табл. 6.3). Применение к модели (6.23) МНК приводит к формуле расчета коэффициента автокорреляции остатков

(6.33).

что не совпадает с расчетом коэффициента автокорреляции остатков первого порядка по формуле, используемой в критерии Дарбина-Уотсона. Для нашего примера р, найденное по формуле (6.33), равно 0,634, а исходя из формулы (6.22) равно 0,513. Результаты по длинным рядам динамики, как правило, близки, так как мало отличаются от

Полагая , найдем значения преобразованных переменных и , которые будут достаточно близки к данным, полученным по двухшаговой процедуре Дарбина. Уравнение регрессии для них составит . Для него т. е. получена оценка коэффициента регрессии b, не подверженная автокорреляции ошибок.

Таким образом, по данным табл. 6.3 получены следующие оценки коэффициента регрессии b:

• 2,951 — по исходным данным без устранения автокорреляции остатков;
• 2,178 — по ОМНК;
• 1,670 — по ОМНК с коэффициентом автокорреляции остатков, исходя из критерии Дарбина — Уотсона;
• 1,984 — по двухшаговой процедуре Дарбина;
• 1,909 — по итерационной процедуре Кохрейна — Оркатта.

Как видим, устранение автокорреляции остатков по двухшаговой процедуре Дарбина и по итерационной процедуре Кохрейна — Оркатта приводит к примерно одинаковым оценкам коэффициента регрессии.

Практически процедура Кохрейна — Оркатта равносильна применению ОМНК. Что касается оценки автокорреляции остатков, то поскольку ее истинное значение исследователю неизвестно, то можно использовать более простую процедуру оценивания в виде двухшаговой процедуры Дарбина.

Ввиду того, что в расчетах используется не истинное значение , а его оценка, описанный метод получил название доступного (или практически реализуемого) ОМНК.

При прогнозировании по модели, полученной с помощью ОМНК, рекомендуется учитывать возможную автокорреляцию остатков, т. е. прогноз осуществляется по модели.

(6.34).

где  — прогнозное значение у на период при длине динамического ряда п, т. е.  — прогнозное значение  — конечные уровни динамических рядов.

Для нашего примера это означает, что прогноз строится по модели

Если мы предположим, что , т. е. имеет место полная положительная автокорреляция в остатках, то ОМНК будет сведен к методу последовательных разностей.

Обратимся к уравнению (6.24). При оно может быть записано в виде.

(6.35).

где т. е. мы имеем уравнение регрессии по первым разностям.

(6.36).

где

Из уравнения (6.36) по МНК оценивается коэффициент регрессии Ь.

Таким образом, если р стремится к единице, а величина критерия Дарбина — Уотсона стремится к нулю, то использование регрессии по первым разностям устраняет автокорреляцию в остатках.

Если предположить, что р = -1, т. е. имеет место полная отрицательная автокорреляция в остатках, то уравнение (6.21) примет вид.

(6.37).

или (6.38).

В уравнении (6.38)  — средние величины за два смежных периода. Используя их в качестве новых преобразованных переменных и , параметры а и b можно оценить МНК. В этом случае ОМНК приводит к модели регрессии по скользящим средним.

Однако предположение, что , представляет собой довольно редкое на практике явление. Поэтому в большинстве случаев ОМНК применяют либо используя величину р, исходя из критерия Дарбина — Уотсона, либо по двухшаговой процедуре Дарбина, либо по процедуре Кохрейна — Оркатта, либо по процедуре Хилдрета — Лу^[1].

ОМНК позволяет строить модель регрессии по исходным уровням временных рядов, не используя методы исключения тенденции или включения в модель фактора времени.

• [1] Плохотников К. Э. Основы эконометрики в пакете STATISTICA. М.: Вузовский учебник, 2010. С. 118