Обобщенная линейная модель множественной регрессии. 
Гетероскедастичность

Контрольная работа Обобщенная линейная модель множественной регрессии. Гетероскедастичность Содержание

1. Обобщенная линейная модель множественной регрессии. Теорема Айткена

2.Суть гетероскедастичности

3. Обнаружение гетероскедастичности

4. Методы смягчения проблемы гетероскедастичности Литература

1. Обобщенная линейная модель множественной регрессии. Теорема Айткена Рассмотрим линейную модель множественной регрессии:

1)

2), ,, ,

Значения признака Матрица объясняющих Вектор Вектор Вектор переменных, столбцами регрессора j случайных коэфф-тов которой являются X_j ошибок регрессии

3),

В классической модели компоненты вектора возмущений некоррелированы М () = 0 при, а дисперсии компонент постоянны, ковариационная матрица возмущений Суть обобщения регрессионной модели состоит в том, что ковариации и дисперсии объясняющих переменных могут быть произвольными (т.о. обобщенная модель множественной регрессии отличается от классической только видом ковариационной матрицы). — положительно определенная матрица (А^Т = А и х^ТАх > 0). В классической модели множественной регрессии обычным МНК был получен вектор оценок параметров, он является несмещенной и состоятельной оценкой для. Рассмотрим ковариационную матрицу В классической модели и К =. В качестве выборочной оценки ковариационной матрицы К была взята матрица

где, причем M (S²) = и = К, т. е. — несмещенная оценка К.

В обобщенной модели и К =. Если в качестве оценки матрицы К взять ту же матрицу, то, т. е. — смещенная оценка для К. Т.о., обычный МНК в обобщенной линейной регрессионной модели дает смещенную оценку ковариационной матрицы К вектора оценок параметров. Следовательно, оценка не будет оптимальной в смысле теоремы Гаусса-Маркова. Для получения наиболее эффективной оценки ковариационной матрицы К нужно использовать оценку, получаемую так называемым обобщенным МНК.

Теорема Айткена: в классе линейных несмещенных оценок вектора для обобщенной регрессионной модели оценка

имеет наименьшую ковариационную матрицу.

Для применения обобщенного МНК надо знать ковариационную матрицу вектора возмущений, что встречается крайне редко в практике эконометрического моделирования. Если считать все n (n+1)/2 элементов матрицы неизвестными параметрами обобщенной модели (в дополнение к (р+1) параметрам регрессии), то общее число параметров превысит число наблюдений n, что сделает оценку этих параметров неразрешимой задачей.

Для практической реализации обобщенного МНК вводятся дополнительные условия на структуру матрицы .

2. Суть гетероскедастичности В случаях, когда выполняются все предпосылки теоремы Гаусса-Маркова, оценки, полученные по МНК, являются несмещенными, состоятельными и эффективными. Если распределение случайных остатков не соответствует некоторым предпосылкам МНК, то следует корректировать модель.

Прежде всего, необходимо проверить случайный характер остатков. Для этого можно построить график зависимости остатков от теоретических значений результативного признака (рис.1).

Рис. 1. Зависимость случайных остатков от теоретических значений

Если на графике нет направленности в расположении точек, то остатки представляют собой случайные величины и использование МНК оправдано.

Возможны следующие случаи (рис. 2.):

Рис. 2. Зависимость от

а) остатки не случайны;

б) остатки носят систематический характер;

в) остатки не имеют постоянной дисперсии.

В этих случаях необходимо использовать другую функцию, либо вводить дополнительную информацию.

Другой предпосылкой регрессионного анализа является предположение о постоянстве дисперсии случайного члена для всех наблюдений (гомоскедастичность).

Это значит, что для каждого значения объясняющей переменной случайные члены имеют одинаковые дисперсии.

D () = M (²) — M²() = M (²) = ² = Const для всех наблюдений Если это условие не соблюдается, то имеет место гетероскедастичность (рис. 3).

Рис. 3. Примеры гетероскедастичности Гомоскедастичность остатков означает, что дисперсия остатков одинакова для каждого значения х (рис. 4, рис. 5).

Рис. 4. Гомоскедастичность остатков Рис. 5. Гетероскедастичность остатков Наличие гетероскедастичности может привести к смещенности оценок коэффициентов регрессии, хотя несмещенность оценок в основном зависит от соблюдения предположения о независимости остатков и величин факторов (т.е. cov (х,) = 0). Гетероскедастичность будет сказываться на уменьшении эффективности оценок параметров. В частности, невозможно использовать формулу стандартной ошибки коэффициентов S_b, предполагающей единую дисперсию остатков. При нарушении гомоскедастичности имеет место неравенство

Поэтому все выводы, получаемые на основе соответствующих tи Fстатистик, а также интервальные оценки будут ненадежными. Следовательно, статистические выводы будут неверны.

Возможные причины:

Значения переменных значительно различаются для разных наблюдений. Например, строя зависимость между государственными расходами на образование и ВВП в различных странах используем и Сингапур, и США, где 3% ВВП соответственно: 0,0096 и 5,439 (для 1980 г.) и изменения в 1% сильно отличаются.

Проблема гетероскедастичности характерна для перекрестных данных и довольно редко встречается при рассмотрении временных рядов.

3. Обнаружение гетероскедастичности Не существует какого-либо однозначного метода определения гетероскедастичности. При этом разработано большое число различных тестов и критериев. Рассмотрим наиболее популярные из них.

Тест ранговой корреляции Спирмена. Выдвигается. Ho об отсутствии гетероскедастичности случайного члена. Предполагается, что дисперсия случайного члена будет либо увеличиваться, либо уменьшаться по мере увеличения Х, и поэтому в регрессии по МНК абсолютные величины остатков и значения Х будут коррелированны. Схема теста:

данные по Х и остатки ранжируются по Х и определяются их ранги;

коэффициент ранговой корреляции Спирмена определяется по формуле

где Di — разность между рангами Х и ;

Статистический критерий имеет распределение Стьюдента, т.к.

Если, H₀ об отсутствии гетероскедастичности будет отклонена. Если в модели регрессии имеется более одной объясняющей переменной, то проверка гипотезы может выполняться с использованием любой из них.

Пример: Исследуется зависимость между доходом (Х) домохозяйства и его расходом (Y) на продукты питания. Выборочные данные по 40 домохозяйствам даны в таблице.

Решение

1. Строим уравнение регрессии и определяем остатки

2. Значения х_i уже упорядочены по возрастанию, поэтому определяем ранги х_i и ранги соответствующих остатков.

3. Определяем коэффициент корреляции Спирмена и t-статистику

4. Т.к. t_кр(0,05;38)=2,021 <, то гетероскедастичность доказана.

Метод Голдфелда-Квандта. При проведении проверки по этому тесту предполагается, что стандартное отклонение случайного члена пропорционально значению независимой переменной Х. Схема теста:

все n наблюдений упорядочиваются по возрастанию переменной Х;

оцениваются отдельные регрессии для первых m и для последних m наблюдений. Средние (n-2m) наблюдений отбрасываются ();

составляется статистика, где S₁, S₂ — суммы квадратов остатков для первых и последних наблюдений;

Если, Ho об отсутствии гетероскедастичности отклоняется (если обратно пропорционально Х, то).

Пример. Воспользуемся условием предыдущего примера и определим наличие гетероскедастичности остатков с помощью теста Голдфелда-Квандта.

Решение.

1) Упорядоченные по возрастанию х данные х_i и у_i разбиваются на три приблизительно равные части. Для первой и последней строятся уравнения регрессии и рассчитывается F-статистика.

1-я часть 2-я часть

линейный множественный регрессия гетероскедастичность

2) Т.к., то нет оснований отвергать Н₀ об отсутствии гетероскедастичности.

Тест Глейзера Тест Глейзера основывается на более общих представлениях о зависимости стандартной ошибки случайного члена от значений объясняющей переменной. Предположение о пропорциональности и Х снимаем и хотим проверить, может ли быть более подходящей какая-либо другая функциональная форма, например,. Чтобы использовать этот метод:

оценивают регрессию Y по Х и вычисляют — абсолютные значения остатков;

оценивают регрессию по для нескольких значений :

;

если Н₀: b = 0 отклоняется (т.е. b значим), то гипотеза об отсутствии гетероскедастичности будет отклонена.

Если при оценивании более чем одной функции получается значимая оценка b, то ориентиром при определении характера гетероскедастичности может служить лучшая из них.

Пример. Воспользуемся расчетами предыдущего примера и проверим наличие гетероскедастичности с помощью теста Глейзера.

Решение

1) Рассчитаем уравнения регрессии е_i от при

2) Т.к. коэффициент b статистически значим во всех уравнениях, то гетероскедастичность доказана. Наилучший коэффициент детерминации (R² = 0,1254) при, поэтому примем зависимость:

(см. далее).

Тест Парка Тест относится к формализованным тестам гетероскедастичности. Предполагается, что дисперсия остатков связана со значениями факторов функцией Данная регрессия строится для каждого фактора в условиях многофакторной модели. Проверяется значимость коэффициента регрессии b по t-критерию Стьюдента. Если коэффициент регрессии окажется статистически значимым, то, следовательно, имеет место гетероскедастичность.

Пример. По данным предыдущего примера построим регрессию

Так как коэффициент регрессии статистически значим, то гетероскедастичность доказана.

Тест Уайта. Предполагается, что дисперсия ошибок регрессии представляет собой квадратичную функцию от значений факторов, т. е. при наличии одного фактора, или при р факторах

.

О наличии или отсутствии гетероскедастичности остатков судят по величине F-критерия Фишера. Если фактическое значение критерия выше табличного, то, следовательно, существует корреляционная связь дисперсии ошибок от значений факторов, и имеет место гетероскедастичность остатков.

Пример. Определим квадратичную функцию для нашего примера

Пусть х₁ = х, х₂ = х², построим уравнение множественной регрессии

Так как уравнение статистически не значимо по F-критерию, то гетероскедастичность остатков отсутствует.

4. Методы смягчения проблемы гетероскедастичности При наличии гетероскедастичности и величина K_i может меняться от одного значения фактора к другому. При наличии гетороскедастичности вместо обычного МНК используют обобщенный МНК (взвешенный). Суть метода заключается в уменьшении вклада данных наблюдений, имеющих большую дисперсию в результате расчета.

1 случай. Если дисперсии возмущений известны, то гетероскедастичность легко устраняется. Вводят новые переменные:

;; ,

Регрессионная модель в векторной форме

(*) /:

.

При этом

т.е. модель гомоскедастична.

2 случай. Если дисперсии возмущений неизвестны, то делают реалистические предположения о значениях .

Например:

а) дисперсии пропорциональны x_i:. Уравнение регрессии (*) делят

— на — в случае одной переменной; - на — в случае множественной регрессии.

б) дисперсии пропорциональны, т. е.

Уравнение регрессии (*) делят на х_i.

Пример. Воспользовавшись характером зависимости, полученным при использовании теста Глейзера

разделим обе части уравнения на

Уравнение регрессии примет вид

.

Получены новые оценки параметров линейного уравнения, в котором смягчена гетероскедастичность.

1. Айвазян С. А., Иванова С. С. Эконометрика. Краткий курс: учеб. пособие / С. А. Айвазян, С. С. Иванова. — М.: Маркет ДС, 2007. — 104 с.

2. Бородич С. А. Вводный курс эконометрики: Учебное пособие. — Мн.: БГУ, 2009. — 354 с.

3. Бывшев В. А. Эконометрика: учеб. пособие / В. А. Бывшев. — М.: Финансы и статистика, 2008. — 480 с.

4. Доугерти Кристофер.

Введение

в эконометрику: Учебник для экон. спец. вузов / Пер. с англ. Е. Н. Лукаш и др. — М.: ИНФРА-М, 2007. — 402 с.

5. Дубров А. М., Мхитарян В. С., Трошин Л. И. Многомерные статистические методы: Учебник. — М.: Финансы и статистика, 2009. — 352 с.

6. Дуброва Т. А. Прогнозирование социально-экономических процессов. Статистические методы и модели: учеб. пособие / Т. А. Дуброва. — М.: Маркет ДС, 2007. — 192 с.