Множественная регрессия. 
Верификация модели

Множественная линейная регрессия: спецификация модели, оценка параметров

Проблемы верификации модели

Задача

Тесты

Список литературы

Множественная линейная регрессия: спецификация модели, оценка параметров Спецификация модели — формулировка вида модели, исходя из соответствующей теории связи между переменными. В уравнении регрессии корреляционная по сути связь признаков представляется в виде функциональной связи, выраженной соответствующей математической функцией.

Включение в уравнение множественной регрессии того или иного набора факторов связано, прежде всего, с представлением исследователя о природе взаимосвязи моделируемого показателя с другими экономическими явлениями. Факторы, включаемые во множественную регрессию, должны отвечать следующим требованиям:

Они должны быть количественно измеримы. Если необходимо включить в модель качественный фактор, не имеющий количественного измерения, то ему нужно придать количественную определенность (например, в модели урожайности качество почвы задается в виде баллов; в модели стоимости объектов недвижимости районам присваиваются ранги);

Факторы не должны быть взаимно коррелированы и тем более находиться в точной функциональной связи. Если между факторами существует высокая корреляция, то нельзя определить их изолированное влияние на результативный показатель, и параметры уравнения регрессии оказываются неинтерпретируемыми.

Включаемые во множественную регрессию факторы должны объяснить вариацию независимой переменной. Если строится модель с набором р факторов, то для нее рассчитывается показатель детерминации R2, который фиксирует долю объясненной вариации результативного признака за счет рассматриваемых в регрессии р факторов. Влияние других, не учтенных в модели, факторов оценивается как 1 — R2 с соответствующей остаточной дисперсией S2.

При дополнительном включении в регрессию (р + 1)-фактора хр+1 коэффициент детерминации должен возрастать, а остаточная дисперсия уменьшаться, т. е.

R2 > R2 и S2 < S2.

Если же этого не происходит и данные показатели практически мало отличаются друг от друга, то включаемый в анализ фактор хР+1 не улучшает модель и практически является лишним фактором.

Насыщение модели лишними факторами не только не снижает величину остаточной дисперсии и не увеличивает показатель детерминации, но и приводит к статистической незначимости параметров регрессии по ґ-критерию Стьюдента.

Отбор факторов производится на основе качественного теоретикоэкономического анализа и обычно осуществляется в две стадии:

на первой подбираются факторы исходя из сущности проблемы;

на второй — на основе матрицы показателей корреляции определяют ґ-статистики для параметров регрессии.

Коэффициенты интеркорреляции (т. е. корреляции между объясняющими переменными) позволяют исключать из модели дублирующие факторы. Считается, что две переменные явно коллинеарные, т. е. находятся между собой в линейной зависимости, если г > 0,7 .

По величине парных коэффициентов корреляции обнаруживается лишь явная коллинеарность факторов. Наибольшие трудности в использовании аппарата множественной регрессии возникают при наличии мультиколлинеарности факторов. Чем сильнее мультиколлинеарность факторов, тем менее надежна оценка распределения суммы объясненной вариации по отдельным факторам с помощью метода наименьших квадратов.

Для оценки мультиколлинеарности факторов может использоваться определитель матрицы парных коэффициентов корреляции между факторами.

Если бы факторы не коррелировали между собой, то матрица парных коэффициентов корреляции между факторами была бы единичной матрицей, поскольку все недиагональные элементы были бы равны нулю. Так, для включающего три объясняющих переменных уравнения

матрица коэффициентов корреляции между факторами имела бы определитель, равный 1:

так как и .

Если же, наоборот, между факторами существует полная линейная зависимость и все коэффициенты корреляции равны 1, то определитель такой матрицы равен 0:

.

Чем ближе к 0 определитель матрицы межфакторной корреляции, тем сильнее мультиколлинеарность факторов и ненадежнее результаты множественной регрессии. И наоборот, чем ближе к 1 определитель матрицы межфакторной корреляции, тем меньше мультиколлинеарность факторов.

Проверка мультиколлинеарности факторов может быть проведена методом испытания гипотезы о независимости переменных. Доказано, что величина имеет приближенное распределение с степенями свободы. Если фактическое значение превосходит табличное (критическое), то гипотеза отклоняется. Это означает, что, недиагональные ненулевые коэффициенты корреляции указывают на коллинеарность факторов. Мультиколлинеарность считается доказанной.

Для применения МНК требуется, чтобы дисперсия остатков была гомоскедастичной. Это значит, что для каждого значения фактора остатки имеют одинаковую дисперсию. Если это условие не соблюдается, то имеет место гетероскедастичность.

При нарушении гомоскедастичности мы имеем неравенства

При малом объеме выборки для оценки гетероскедастичности может использоваться метод Гольдфельда-Квандта. Основная идея теста Гольдфельда-Квандта состоит в следующем:

1) упорядочение наблюдений по мере возрастания переменной ;

2) исключение из рассмотрения центральных наблюдений; при этом

— число оцениваемых параметров;

3) разделение совокупности из наблюдений на две группы (соответственно с малыми и с большими значениями фактора) и определение по каждой из групп уравнений регрессии;

4)определение остаточной суммы квадратов для первой и второй групп и нахождение их отношения: .

При выполнении нулевой гипотезы о гомоскедастичности отношение R будет удовлетворять F-критерию со степенями свободы для каждой остаточной суммы квадратов. Чем больше величина R превышает табличное значение F-критерия, тем более нарушена предпосылка о равенстве дисперсий остаточных величин.

Уравнения множественной регрессии могут включать в качестве независимых переменных качественные признаки (например, профессия, пол, образование, климатические условия, отдельные регионы и т. д.). Чтобы ввести такие переменные в регрессионную модель, их необходимо упорядочить и присвоить им те или иные значения, т. е. качественные переменные преобразовать в количественные.

Такого вида сконструированные переменные принято в эконометрике называть фиктивными переменными. Например, включать в модель фактор «пол» в виде фиктивной переменной можно в следующем виде:

Коэффициент регрессии при фиктивной переменной интерпретируется как среднее изменение зависимой переменной при переходе от одной категории (женский пол) к другой (мужской пол) при неизменных значениях остальных параметров. На основе t-критерия Стьюдента делается вывод о значимости влияния фиктивной переменной, существенности расхождения между категориями.

Множественная регрессия — уравнение связи с несколькими независимыми переменными:

где — зависимая переменная (результативный признак);

— независимые переменные (факторы).

Для оценки параметров уравнения множественной регрессии применяют метод наименьших квадратов (МНК). Для линейных уравнений строится следующая система нормальных уравнений, решение которой позволяет получить оценки параметров регрессии:

Для ее решения может быть применен метод определителей:

,…, ,

где — определитель системы;

— частные определители; которые получаются путем замены соответствующего столбца матрицы определителя системы данными левой части системы.

Проблемы верификации модели Верификация модели — проверка истинности, адекватности модели. Выясняется насколько удачно решены проблемы спецификации, идентификации и однозначности модели, какова точность расчетов по данной модели, насколько модель соответствует реальному объекту или процессу.

Для практического использования моделей регрессии большое значение имеет их адекватность, т. е. соответствие фактическим статистическим данным.

Анализ качества эмпирического уравнения парной и множественной линейной регрессии начинают с построения эмпирического уравнения регрессии, которое является начальным этапом эконометрического анализа. Первое же, построенное по выборке уравнение регрессии, очень редко является удовлетворительным по тем или иным характеристикам. Поэтому следующей важнейшей оценкой является проверка качества уравнения регрессии. В эконометрике принята устоявшаяся схема такой проверки, которая проводится по следующим направлениям:

проверка статистической значимости коэффициентов уравнения регрессии проверка общего качества уравнения регрессии проверка свойств данных, выполнимость которых предполагалась при оценивании уравнения (проверка выполнимости предпосылок МНК) Прежде, чем проводить анализ качества уравнения регрессии, необходимо определить дисперсии и стандартные ошибки коэффициентов, а также интервальные оценки коэффициентов. Корреляционный и регрессионный анализ, как правило, проводится для ограниченной по объёму совокупности.

Поэтому параметры уравнения регрессии (показатели регрессии и корреляции), коэффициент корреляции и коэффициент детерминации могут быть искажены действием случайных факторов. Чтобы проверить, на сколько эти показатели характерны для всей генеральной совокупности и не являются ли они результатом стечения случайных обстоятельств, необходимо проверить адекватность построенных статистических моделей.

При анализе адекватности уравнения регрессии (модели) исследуемому процессу, возможны следующие варианты:

1. Построенная модель на основе F-критерия Фишера в целом адекватна и все коэффициенты регрессиизначимы. Такая модель может быть использована для принятия решений и осуществления прогнозов.

2. Модель по F-критерию Фишера адекватна, но часть коэффициентов не значима. Модель пригодна для принятия некоторых решений, но не для прогнозов.

3. Модель по F-критерию адекватна, но все коэффициенты регрессии не значимы. Модель полностью считается неадекватной. На ее основе не принимаются решения и не осуществляются прогнозы.

Проверить значимость (качество) уравнения регрессии-значит установить, соответствует ли математическая модель, выражающая зависимость между переменными, экспериментальным данным, достаточно ли включенных в уравнение объясняющих переменных для описания зависимой переменной. Чтобы иметь общее суждение о качестве модели, по каждому наблюдению из относительных отклонений определяют среднюю ошибку аппроксимации. Проверка адекватности уравнения регрессии (модели) осуществляется с помощью средней ошибки аппроксимации, величина которой не должна превышать 12−15% (максимально допустимое значение).

Оценка значимости уравнения регрессии в целом производится на основе F-критерия Фишера, которому предшествует дисперсионный анализ. В математической статистике дисперсионный анализ рассматривается как самостоятельный инструмент статистического анализа. В эконометрике он применяется как вспомогательное средство для изучения качества регрессионной модели. Согласно основной идее дисперсионного анализа, общая сумма квадратов отклонений переменной (y) от среднего значения (yср.) раскладывается на две части: «объясненную» и «необъясненную»:

Определение дисперсии на одну степень свободы приводит дисперсии к сравнимому виду. Сопоставляя факторную и остаточную дисперсии в расчете на одну степень свободы, получим величину F-критерия Фишера. Фактическое значение Fкритерия Фишера сравнивается с табличным значением Fтабл. (б, k1, k2) при заданном уровне значимости б и степенях свободы k1= m и k2=n-m-1. При этом, если фактическое значение F-критерия больше табличного Fфакт > Fтеор, то признается статистическая значимость уравнения в целом. Для парной линейной регрессии m=1, поэтому:

Отношение объясненной части дисперсии переменной (у) к общей дисперсии называют коэффициентом детерминации и используют для характеристики качества уравнения регрессии или соответствующей модели связи. Соотношение между объясненной и необъясненной частями общей дисперсии можно представить в альтернативном варианте:

Коэффициент детерминации R2 принимает значения в диапазоне от нуля до единицы 0? R2 ?1. Коэффициент детерминации R2 показывает, какая часть дисперсии результативного признака (y) объяснена уравнением регрессии. Чем больше R2, тем большая часть дисперсии результативного признака (y) объясняется уравнением регрессии и тем лучше уравнение регрессии описывает исходные данные. При отсутствии зависимости между (у) и (x) коэффициент детерминации R2 будет близок к нулю. Таким образом, коэффициент детерминации R2 может применяться для оценки качества (точности) уравнения регрессии. Значение R-квадрата является индикатором степени подгонки модели к данным (значение R-квадрата близкое к 1.0 показывает, что модель объясняет почти всю изменчивость соответствующих переменных). Чтобы определить, при каких значениях R2 уравнение регрессии следует считать статистически не значимым, что, в свою очередь, делает необоснованным его использование в анализе, рассчитывается F-критерий Фишера: Fфакт > Fтеор — делаем вывод о статистической значимости уравнения регрессии. Величина F-критерия связана с коэффициентом детерминации R2xy (r2xy) и ее можно рассчитать по следующей формуле:

Низкое значение коэффициента множественной корреляции и коэффициента множественной детерминации R2 может быть обусловлено следующими причинами:

в регрессионную модель не включены существенные факторы;

неверно выбрана форма аналитической зависимости, которая нереально отражает соотношения между переменными, включенными в модель.

Следует также обратить внимание на важность анализа остатков (остаточной, «необъясненной» дисперсии). Остаток представляет собой отклонение фактического значения зависимой переменной от значения, полученного расчетным путем. При построении уравнения регрессии, мы можем разбить значение (у) в каждом наблюдении на 2 составляющие:

Отсюда:

Если еi=0, то для всех наблюдений фактические значения зависимой переменной совпадают с расчетными (теоретическими) значениями. Графически это означает, что теоретическая линия регрессии (линия, построенная по функции у=а0+а1х) проходит через все точки корреляционного поля, что возможно только при строго функциональной связи. Следовательно, результативный признак (у) полностью обусловлен влиянием фактора (х). На практике, как правило, имеет место некоторое рассеивание точек корреляционного поля относительно теоретической линии регрессии, т. е. отклонения эмпирических данных от теоретических еi?0. Величина этих отклонений и лежит в основе расчета показателей качества (адекватности) уравнения.

Большинство предположений множественной регрессии нельзя в точности проверить, однако можно обнаружить отклонения от этих предположений. В частности, выбросы (экстремальные наблюдения) могут вызвать серьезное смещение оценок, сдвигая линию регрессии в определенном направлении и, тем самым, вызывая смещение коэффициентов регрессии. Часто исключение всего одного экстремального наблюдения приводит к совершенно другому результату. Выбросы оказывают существенное влияние на угол наклона регрессионной линии и, соответственно, на коэффициент корреляции. Всего один выброс может полностью изменить наклон регрессионной линии и, следовательно, вид зависимости между переменными. Одна точка выброса обуславливает высокое значение коэффициента корреляции, в то время, как в отсутствие выброса, он практически равен нулю.

При численности объектов анализа до 30 единиц возникает необходимость проверки значимости (существенности) каждого коэффициента регрессии. При этом выясняют насколько вычисленные параметры характерны для отображения комплекса условий: не являются ли полученные значения параметров результатами действия случайных причин. Значимость коэффициентов простой линейной регрессии (применительно к совокупностям, у которых n<30) осуществляют с помощью t-критерия Стьюдента. При этом вычисляют расчетные (фактические) значения t-критерия для параметров a0 а1:

Вычисленные значения сравнивают с критическими t, которые определяют по таблице значений Стьюдента с учетом принятого уровня значимости (б) и числа степеней свободы вариации k (н)=n-2. В социально-экономических исследованиях уровень значимости б обычно принимают равным 0,05. Параметр признается значимым (существенным) при условии, если tрасч. > tтабл. В этом случае, практически невероятно, что найденные значения параметров обусловлены только случайными совпадениями.

Для оценки значимости парного коэффициента корреляции (корень квадратный из коэффициента детерминации), при условии линейной формы связи между факторами, можно использовать t-критерий Стьюдента:

Анализ качества эмпирического уравнения множественной линейной регрессии предусматривает оценку мультиколлинеарности факторов. При оценке мультиколлинеарности факторов следует учитывать, что чем ближе к нулю определитель матрицы межфакторной корреляции, тем сильнее мультиколлинеарность факторов и ненадежнее результаты множественной регрессии. Для отбора наиболее значимых факторов Хi должны быть учтены следующие условия:

связь между результативным признаком и факторным должна быть выше межфакторной связи связь между факторами должна быть не более 0.7

при высокой межфакторной связи признака отбираются факторы с меньшим коэффициентом корреляции между ними Задача

1. Аппроксимировать зависимость между факторным (х) и результативным (у) показателем с помощью линейной, гиперболической и степенной функции.

2. Оценить степень тесноты связи между исследуемыми показателями.

3. Определить долю факторной дисперсии в общей вариации результативного признака.

4. Оценить значимость полученного уравнения регрессии и отдельных его параметров.

5. Оценить адекватность полученной математической модели.

6. На основе пп. 2−4 выбрать наилучшую модель и на ее основе дать прогноз результативного показателя при минимальных, максимальных и средних значениях факторного показателя.

Решение

1. Линейное уравнение регрессии имеет вид y = bx + a + е

Здесь е — случайная ошибка (отклонение, возмущение).

Формально критерий МНК можно записать так:

S = ?(yi — y*i)2 > min

Система нормальных уравнений.

a*n + b? x = ?y

a?x + b? x2 = ?y*x

Таблица 1

Для наших данных система уравнений имеет вид

10a + 1995 b = 5,58

1995 a + 404 981 b = 1117,64

Из первого уравнения выражаем, а и подставим во второе уравнение:

Получаем эмпирические коэффициенты регрессии: b = 0,635, a = 0,4314

Уравнение регрессии (эмпирическое уравнение регрессии):

y = 0,635 x + 0,4314

Гиперболическое уравнение регрессии имеет вид y = b/x + a + е

Здесь е — случайная ошибка (отклонение, возмущение).

Таблица 2

10a + 0,0511 b = 5,58

0,0511 a + 0,266 b = 0,0283

Из первого уравнения выражаем, а и подставим во второе уравнение:

Получаем эмпирические коэффициенты регрессии: b = -30,5574, a = 0,7141

Уравнение регрессии (эмпирическое уравнение регрессии):

y = -30,5574 / x + 0,7141

Степенное уравнение регрессии имеет вид

y = a xb

(ln y = ln a + b ln x + е)

Здесь е — случайная ошибка (отклонение, возмущение).

Таблица 3

10a + 52,87 b = -6,44

52,87 a + 279,67 b = -33,99

Из первого уравнения выражаем, а и подставим во второе уравнение:

Получаем эмпирические коэффициенты регрессии: b = 0,2526, a = -1,9792

Уравнение регрессии (эмпирическое уравнение регрессии):

y = e-1,97 922 059×0,2526 = 0,13 818×0,2526

2. Степень тесноты связи оценим с помощью коэффициента корреляции Показатель близок к нулю, связь практически отсутствует.

3. Коэффициент детерминации То есть только 0,74% вариации результативного признака зависит от вариации факторного признака.

4. Линейная модель Для оценки качества параметров регрессии построим расчетную таблицу (табл. 4)

Таблица 4

Несмещенной оценкой дисперсии возмущений является величина:

S2y = 0.047 — необъясненная дисперсия (мера разброса зависимой переменной вокруг линии регрессии).

Sy = 0.22 — стандартная ошибка оценки (стандартная ошибка регрессии).

Sa — стандартное отклонение случайной величины a.

Sb — стандартное отклонение случайной величины b.

tкрит (n-m-1;б/2) = (8;0.025) = 2.306

Поскольку 0.24 < 2.306, то статистическая значимость коэффициента регрессии b не подтверждается (принимаем гипотезу о равенстве нулю этого коэффициента). Это означает, что в данном случае коэффициентом b можно пренебречь.

Поскольку 0.83 < 2.306, то статистическая значимость коэффициента регрессии a не подтверждается (принимаем гипотезу о равенстве нулю этого коэффициента). Это означает, что в данном случае коэффициентом a можно пренебречь.

Табличное значение критерия со степенями свободы k1=1 и k2=8, Fтабл = 5.32

Поскольку фактическое значение F < Fтабл, то коэффициент детерминации статистически не значим (Найденная оценка уравнения регрессии статистически не надежна).

Гиперболическая модель Для оценки качества параметров регрессии построим расчетную таблицу (табл. 5)

Таблица 5

S2y = 0.0468 — необъясненная дисперсия (мера разброса зависимой переменной вокруг линии регрессии).

Sy = 0.22 — стандартная ошибка оценки (стандартная ошибка регрессии).

Sa — стандартное отклонение случайной величины a.

Sb — стандартное отклонение случайной величины b.

tкрит (n-m-1;б/2) = (8;0.025) = 2.306

Поскольку 0.33 < 2.306, то статистическая значимость коэффициента регрессии b не подтверждается (принимаем гипотезу о равенстве нулю этого коэффициента). Это означает, что в данном случае коэффициентом b можно пренебречь.

Поскольку 1.47 < 2.306, то статистическая значимость коэффициента регрессии a не подтверждается (принимаем гипотезу о равенстве нулю этого коэффициента). Это означает, что в данном случае коэффициентом a можно пренебречь.

Поскольку фактическое значение F < Fтабл, то коэффициент детерминации статистически не значим (Найденная оценка уравнения регрессии статистически не надежна).

Степенная модель Для оценки качества параметров регрессии построим расчетную таблицу (табл. 6)

Таблица 6

Несмещенной оценкой дисперсии возмущений является величина:

S2y = 0.0483 — необъясненная дисперсия (мера разброса зависимой переменной вокруг линии регрессии).

Sy = 0.22 — стандартная ошибка оценки (стандартная ошибка регрессии).

Sa — стандартное отклонение случайной величины a.

Sb — стандартное отклонение случайной величины b.

tкрит (n-m-1;б/2) = (8;0.025) = 2.306

Поскольку 0.5 < 2.306, то статистическая значимость коэффициента регрессии b не подтверждается (принимаем гипотезу о равенстве нулю этого коэффициента). Это означает, что в данном случае коэффициентом b можно пренебречь.

Поскольку 0.74 < 2.306, то статистическая значимость коэффициента регрессии a не подтверждается (принимаем гипотезу о равенстве нулю этого коэффициента). Это означает, что в данном случае коэффициентом a можно пренебречь.

Поскольку фактическое значение F < Fтабл, то коэффициент детерминации статистически не значим (Найденная оценка уравнения регрессии статистически не надежна).

5. Адекватность моделей оценим с помощью ошибка аппроксимации Средняя ошибка аппроксимации — среднее отклонение расчетных значений от фактических:

Линейная модель Поскольку ошибка больше 7%, то данное уравнение не желательно использовать в качестве регрессии.

Гиперболическая модель Поскольку ошибка больше 7%, то данное уравнение не желательно использовать в качестве регрессии.

Степенная модель Поскольку ошибка больше 7%, то данное уравнение не желательно использовать в качестве регрессии.

6. Все модели плохо описываю зависимость, при этом меньшую ошибку аппроксимации имеет степенная модель, по ней проводим прогнозирование Х (мах) = 235 мм

Y= 0.13 818*(235)0.2526 =0,55 тыс. шт.

Х (min) = 149 мм

Y= 0.13 818*(149)0.2526 =0,49 тыс. шт.

Х (ср) = 199,5 мм

Y= 0.13 818*(199,5)0.2526 =0,53 тыс. шт.

Тесты Задачи, решаемые эконометрикой, по конечным прикладным целям подразделяются на

диагностика

прогноз

моделирование управление Переменные, определяемые вне модели:

экзогенные эндогенные предопределенные свой вариант Экзогенными переменными, включаемыми в эконометрическую модель, являются переменные:

Независимые зависимые

взаимозависимые предопределенные Остаточная сумма квадратов отклонений определяется как сумма квадратов разности между

теоретическими значениями и средним

эмпирическими значениями и средним теоретическими и эмпирическими значениями свой вариант Аддитивная модель временного ряда выбирается в том случае, если циклические колебания:

равномерны на протяжении всего анализируемого периода имеют нелинейную тенденцию

имеют тенденцию к росту или снижению не равномерны на протяжении всего анализируемого периода В парной линейной регрессии коэффициент детерминации равен:

Коэффициенту корреляции Квадрату коэффициента корреляции остаточной дисперсии свой вариант При каком виде корреляционной связи коэффициент корреляции имеет знак минус?

криволинейной множественной

обратной

свой вариант Список литературы Айвазян С. А., Мхитарян В. С. Прикладная статистика и основы эконометрики. М.: ЮНИТИ, 2011

Магнус Я.Р., Катышев П. К., Пересецкий А. А. Эконометрика. Начальный курс. 3-е изд. М., Дело, 2011

Носко В. П. Эконометрика для начинающих. — М.: ИПЭ, 2012