Множественная регрессия и пошаговая регрессия

Министерство образования и науки РФ Государственное образовательное учреждение высшего профессионального образования Ульяновский Государственный Технический Университет Типовой расчет по дисциплине «Эконометрика»

Тема:

Множественная регрессия и пошаговая регрессия Вариант № 16

Выполнил:

студент группы БАз-21

Гафурова Л.Ф.

Ульяновск 2011

1.Задание

2.Таблица экспериментальных данных

3. Результаты

3.1 Множественная регрессия

3.1.1 Результаты

3.1.2 Оценка качества

3.1.3 Диагностика соблюдения условия РА-МНК

3.2 Пошаговая регрессия

3.2.1 Результаты

3.2.2 Оценка качества

3.2.3 Диагностика соблюдения условия РА-МНК Выводы Графики Список литературы:

1.Задание

Применить процедуры MR и ПР с Ро

Оценить качество постулируемой (MR) и оптимальной (ПР) моделей по F и Rкритериям.

Проверить соблюдение условий РА-МНК для постулируемой и оптимальной модели.

Сделать общие выводы по анализу.

2.Таблица экспериментальных данных

По данным, представленным в таблице, изучается зависимость общего объема кредитования населения города на покупку жилья у от переменных:

Х1 — среднедневной душевой доход, руб.

Х2 — доля расходов на покупку продовольственных товаров в общих расходах

ХЗ — доля общих среднедневных расходов в среднедневных доходах одного работающего

Х4 — средняя цена одного кв. метра площади, тыс. руб.;

Х5 — среднегодовая процентная ставка по ипотечным кредитам, %

3. Результаты

Решение данного типового расчета осуществлялось с использованием пакета программ статистической обработки данных STATISTICA.

3.1Множественная регрессия

3.1.1 Результаты

Зададим зависимую переменную Y и независимые X1, Х2, Х3, Х4, Х5 Итоги анализа с использованием пакета STATISTICA

Результаты множ. регрессии

Зав.перем.:Y Множест. R =, 82 291 525 F = 22,65 616

R2=, 67 718 950 сс = 5,54

Число набл.: 60 скоррект. R2=, 64 729 964 p =, 0

Стандартная ошибка оценки:184,39 683 277

Своб.член: 608,2 662 453 Ст. ошибка: 273,7725 t (54) = 2,2209 p =, 0306

X1 бета=, 501 X2 бета=, 153 X3 бета=-, 12

X4 бета=, 166 X5 бета=-, 32

(выделены значимые бета)

Программа выделяет значимые регрессоры. Значимыми оказались X1 и Х5.

Объем выборки, среднее стандартное отклонение:

Стандартное отклонение показывает вариацию признака относительно среднего значения.

Матрица корреляций:

Матрица корреляций показывает значение парных коэффициентов корреляции между откликом и факторами и межфакторной корреляции. Парные коэффициенты корреляции rx1x2, rx1x3, rx1x4, rx1x5 значительно отличаются от нуля, значит присутствует мультиколлинеарность.

Дисперсионный анализ:

Дисперсионный анализ — статистический метод, позволяющий анализировать влияние различных факторов (признаков) на исследуемую (зависимую) переменную. Так как F = 22,65 616- значение статистики, р = 0- вероятность слишком мала, чтобы поверить в истинность гипотезы Н0 об отсутствии влияния факторов. Вывод: факторы X1, Х2, Х3, Х4, Х5 влияют на переменную У.

Регрессионная сумма:

В столбце Beta показаны стандартизованные коэффициенты регрессии, а в столбце В — нестандартизованные.

Стандартизированные коэффициенты Beta позволяют провести ранжирование предикторов по степени их влияния на отклик. Из таблицы следует, что предикторы можно проранжировать по степени влияния на отклик в следующем порядке: X1, X5, X4, X2, X3 В этой таблице немаловажное значение имеет p-level — показатель, находящийся в убывающей зависимости от надежности результата. Более высокий p-level соответствует более низкому уровню доверия к найденной в выборке зависимости между переменными. P-level не должен превышать 0,05. В нашем случае удовлетворяют условию регрессоры Х1 и Х5. Метод можно улучшить, исключив незначимые факторы. Искомая модель имеет вид:

Y=608,2 662+0,63617X1+249,35 156 X2−262,50298X3+5,39506X4−40,59804X5

Статистика Дарбина — Уотсона:

Статистика Дарбина-Уотсона имеет небольшое значение (1,950 929) при умеренной сериальной корреляции (0,7 937). Это свидетельствует о некоторой зависимости наблюдений, следовательно, можно говорить о недостаточной устойчивости некоторых значений коэффициентов регрессии, а значит о невысокой адекватности модели изучаемому процессу.

3.1.2 Оценка качества

Так как фактическое значение критерия Фишера больше, чем табличное, то необходимо сделать вывод о значимости модели уравнения регрессии, исследуемая зависимая переменная хорошо описывается переменными X1 и Х5. Из приведенных результатов анализа следует, что зависимость между откликом и предикторами высокая (0,7<0,9). Свободный член является статистически значим (p=0,3 057<0,05).

3.1.3 Диагностика соблюдения условия РА-МНК

Проверим соблюдение основных предположений РА <2.1> - <5.2>.

Соблюдение предположений <1.1> - <1.4> экспериментатор старается обеспечить при организации эксперимента.

<2.1> В случае с множественной регрессией модель избыточна, т.к. для регрессоров Х2, ХЗ, Х4 р-level превышает уровень значимости = 0,05, не превышает только для Х1, Х5.

<2.2> Специальных признаков нарушения <2.2> не существует. Косвенными признаками могут быть признаки нарушения предположения <3.1>, а именно, значимые коэффициенты парной корреляции.

<3.1> Нарушение этого предположения трактуется как явление мультиколлинеарности. Наиболее часто мультиколлинеарность обнаруживается по коэффициентам парной корреляции ХУ матрицы R.

статистический регрессионный выборка отклонение

Парные коэффициенты корреляции rx1x2, rx1x3, rx1x4, rx1x5 значительно отличаются от нуля, значит присутствует мультиколлинеарность.

<3.2> О нарушении условия неслучайности rij можно судить по косвенному признаку — резкому различию между внутренней и внешней точности прогноза.

<4.1> Обычно нарушение предположения об аддитивности е происходит при переходе от нелинейной по модели (внутренне линейной) к линейной. В данном примере мы имеем дело с линейной моделью.

<4.2> Ошибки, распределены нормально, что видно из графиков: за пределами полосы З? точек нет.

<4.3> Условие М[], = 0, не требует особого внимания при наличии 0 в модели.

<4.4> Как видно из графиков, условие однородности наблюдений не нарушается.

<4.5> Авторегрессия положительна, т.к. D находится в интервале 0−2:

<5.1> Основным признаком нарушения условия о точной идентификации является несоблюдение условия <3.1>. Формальным признаком является применение неполного метода перебора.

<5.2> Для многооткликовой задачи правомерно применение МНК к каждой из регрессий в отдельности. В данном случае модели однооткликовые.

3.2 Пошаговая регрессия

3.2.1 Результаты

Зададим зависимую переменную Y и независимые X1, Х2, Х3, Х4, Х5 Итоги анализа с использованием пакета STATISTICA

Шаг 0

Результаты множ. регрессии (Шаг 0)

Зав.перем.:Y Множест. R =, 82 291 525 F = 22,65 616

R2=, 67 718 950 сс = 5,54

Число набл.: 60 скоррект. R2=, 64 729 964 p =, 0

Стандартная ошибка оценки:184,39 683 277

Своб.член: 608,2 662 453 Ст. ошибка: 273,7725 t (54) = 2,2209 p =, 0306

X1 бета=, 501 X2 бета=, 153 X3 бета=-, 12

X4 бета=, 166 X5 бета=-, 32

(выделены значимые бета)

Шаг 1

Результаты множ. регрессии (Шаг 1)

Зав.перем.:Y Множест. R =, 81 717 234 F = 27,63 707

R2=, 66 777 064 сс = 4,55

Число набл.: 60 скоррект. R2=, 64 360 850 p =, 0

Стандартная ошибка оценки:185,35 921 149

Своб.член: 425,37 895 333 Ст. ошибка: 233,1118 t (55) = 1,8248 p =, 0735

X1 бета=, 547 X2 бета=, 142 X4 бета=, 170

X5 бета=-, 34

(выделены значимые бета)

Уравнение регрессии значимо, так как Ft (4,55)

Шаг 2

Результаты множ. регрессии (Шаг 2)

Зав.перем.:Y Множест. R =, 80 665 645 F = 34,77 272

R2=, 65 069 463 сс = 3,56

Число набл.: 60 скоррект. R2=, 63 198 184 p =, 0

Стандартная ошибка оценки:188,35 846 060

Своб.член: 575,72 466 483 Ст. ошибка: 218,7626 t (56) = 2,6317 p =, 0110

X1 бета=, 487 X4 бета=, 184 X5 бета=-, 33

(выделены значимые бета)

Уравнение статистически значимо, так как Ft (3,56)

Шаг 3

Результаты множ. регрессии (шаг 3, оконч. решение)

другие F-исключить не выше указ. значения

Зав.перем.:Y Множест. R =, 79 157 512 F = 47,82 385

R2=, 62 659 117 сс = 2,57

Число набл.: 60 скоррект. R2=, 61 348 911 p =, 0

Стандартная ошибка оценки:193,3 291 779

Своб.член: 734,19 552 600 Ст. ошибка: 208,4142 t (57) = 3,5228 p =, 0008

X1 бета=, 594 X5 бета=-, 31

(выделены значимые бета)

Уравнение статистически значимо, так как Ft (2,57)

Программа выделяет значимые регрессоры. Значимыми оказались Х1 и Х5. Значения коэффициента детерминации R, близкое к единице, говорит о хорошем приближении линии регрессии к наблюдаемым данным и о возможности построения качественного прогноза.

Регрессионная сумма:

На третьем шаге нами получена оптимальная искомая модель:

Y=734,19 553+0,75 448 X1−39,75302X5

Дисперсионный анализ:

Статистика Дарбина — Уотсона:

3.2.2 Оценка качества

Так как фактическое значение критерия Фишера больше, чем табличное, то необходимо сделать вывод о значимости модели уравнения регрессии, исследуемая зависимая переменная хорошо описывается переменными X1 и Х5. Из приведенных результатов (0,7<0,9). Свободный член статистически значим (p=0,85.

3.2.3 Диагностика соблюдения условия РА-МНК

Проверим соблюдение основных предположений РА <2.1> - <5.2>.

Соблюдение предположений <1.1> - <1.4> экспериментатор старается обеспечить при организации эксперимента.

<2.1> В случае с пошаговой регрессией модель неизбыточна, т.к. для регрессоров Х1, Х5, р-level не превышает уровень значимости = 0,05.

<2.2> Специальных признаков нарушения <2.2> не существует. Косвенными признаками могут быть признаки нарушения предположения <3.1>, а именно, значимые коэффициенты парной корреляции.

<3.1> Нарушение этого предположения трактуется как явление мультиколлинеарности. Наиболее часто мультиколлинеарность обнаруживается по коэффициентам парной корреляции ху матрицы R.

Парный коэффициент корреляции rx1x5, значительно отличается от нуля, значит присутствует мультиколлинеарность.

<3.2> О нарушении условия неслучайности rij можно судить по косвенному признаку — резкому различию между внутренней и внешней точности прогноза.

<4.1> Обычно нарушение предположения об аддитивности е происходит при переходе от нелинейной по модели (внутренне линейной) к линейной. В данном примере мы имеем дело с линейной моделью.

<4.2> Ошибки, распределены нормально, что видно из графиков: за пределами полосы З? точек нет.

<4.3> Условие М[], = 0, не требует особого внимания при наличии 0 в модели.

<4.4> Как видно из графиков, условие однородности наблюдений не нарушается.

<4.5> Авторегрессия незначительна, т.к. D близко к 2.

<5.1> Основным признаком нарушения условия о точной идентификации является несоблюдение условия <3.1>. Формальным признаком является применение неполного метода перебора.

<5.2> Для многооткликовой задачи правомерно применение МНК к каждой из регрессий в отдельности. В данном случае модели однооткликовые.

Выводы

Вывод для множественной регрессии.

В настоящее время множественная регрессия — один из наиболее распространённых методов в эконометрике. Основная цель множественной регрессии — построить модель с большим числом факторов, определив при этом влияние каждого из них в отдельности, в также совокупное их воздействие на моделируемый показатель. В нашем примере мы получили следующую модель:

Y=608,2 662+0,63617X1+249,35 156 X2−262,50298X3+5,39506X4−40,59804X5

Проанализировав эту модель мы можем сделать выводы. Коэффициенты регрессии при переменной X1 показывает, что с ростом среднедневного душевого дохода на 1 ед. общий объем кредитования растет в среднем на 0,636 млн руб., с ростом, при переменной X5 показывает, что с ростом среднегодовой процентной ставки по ипотечным кредитам на 1% общий объем кредитования снижается в среднем на 40,598 млн руб.

Проанализируем качество постулируемой модели.

Значимость уравнения множественной регрессии в целом оценим с помощью Fкритерия Фишера. Задача состоит в проверке нулевой гипотезы, Но о статистической не значимости уравнения регрессии в целом. Анализ выполняется при сравнении фактического и табличного значения F-критерия Фишера Fтабл и Fфакт. Сравнивая Fтабл и Fфакт. получим:

Fфакт. = 22,65 616; Fтабл (5,54)=2,39, следовательно Fфакт.> Fтабл. С вероятностью

1-?=0,95 приходим к выводу о необходимости отклонить гипотезу, Но и делаем заключение о статистической значимости уравнения.

Оценим уравнение регрессии о возможности использовать для прогноза. Для этого воспользуемся следующей формулой: Fфакт.>4Fтабл. В нашем уравнении: Fфакт =22,65 616, а 4Fтабл=4· 2,39=9,56, следовательно с вероятностью 1-?=0,95 приходим к выводу о значимости уравнения в целом и уравнение следует использовать для прогноза.

Оценим модель по коэффициенту детерминации. Для оценки качества подбора функции рассчитывается коэффициент детерминации (R2). Величина коэффициента детерминации служит одним из критериев оценки качества модели. Он характеризует долю дисперсии результативного признака Y объясняемую регрессией в общей дисперсии результативного признака. В нашем случае R2 = 0, 67 906 710.

Следовательно уравнением регрессии объясняется 68%, дисперсии результативного признака, а на долю прочих факторов приходится 32% ее дисперсии.

Результаты диагностики:

По результатам диагностики <2.1> мы можем сделать следующий вывод, что модель линейна по; в ней нет лишних слагаемых и все регрессоры присутствуют.

Результаты диагностики <3.1 >. По значениям коэффициентов парной корреляции мультиколлениарность обнаружена (коэффициенты rx1x2, rx1x3, rx1x4, rx1x5 значимо отличаются от нуля)

Результаты диагностики <4.2>. Данное нарушение проверили по графикам остатков. Сделаем вывод о том, что условие не нарушено

Результаты диагностики <4.4>. Данное нарушение проверили по графикам остатков. Явного нарушения условия нет.

Результаты диагностики <4.5>. Для проверки данного условия независимости ошибок из-за неучёта фактора времени воспользуемся графиком остатков (d, T), где Т — время или номер наблюдения, а также статистику Дарбина — Уотсона. В нашем примере Авторегрессия положительна, т.к. D находится в интервале 0−2.

Выводы для пошаговой регрессии.

Во втором случае, когда используем пошаговую регрессию, регрессоры Х2, Х3, Х4 оказались не значимыми. Результат улучшения модели:

Y=734,19 553+0,75 448 X1−39,75302X5

Проанализируем качество постулируемой модели.

Значимость уравнения множественной регрессии в целом оценим с помощью Fкритерия Фишера. Задача состоит в проверке нулевой гипотезы, Но о статистической не значимости уравнения регрессии в целом. Анализ выполняется при сравнении фактического и табличного значения F-критерия Фишера Fтабл и Fфакт. Сравнивая Fтабл и Fфакт. получим:

Fфакт. = 47,82 385, a Fтабл (2,57)=3,16, следовательно Fфакт.> Fтабл С вероятностью 1-?=0,95 приходим к выводу о необходимости отклонить гипотезу, Но и делаем заключение о статистической значимости уравнения.

Оценим уравнение регрессии о возможности использовать для прогноза. Для этого воспользуемся следующей формулой: Fфакт.>4Fтабл. В нашем уравнении: Fфакт =47,82 385, а 4Fтабл=4· 3,16=12,64, следовательно с вероятностью 1-?=0,95 приходим к выводу о значимости уравнения в целом и уравнение следует использовать для прогноза.

Оценим модель по коэффициенту детерминации. Для оценки качества подбора функции рассчитывается коэффициент детерминации (R2). Величина коэффициента детерминации служит одним из критериев оценки качества модели. Он характеризует долю дисперсии результативного признака Y объясняемую регрессией в общей дисперсии результативного признака. В нашем случае R2 =0,62 659 117.

Следовательно уравнением регрессии объясняется 63%, .дисперсии результативного признака, а на долю прочих факторов приходится 37% ее дисперсии.

Результаты диагностики:

По результатам диагностики <2.1> мы можем сделать следующий вывод, что модель линейна по; в ней нет лишних слагаемых и все регрессоры присутствуют.

Результаты диагностики <3.1 >. По значениям коэффициентов парной корреляции мультиколлениарность обнаружена (коэффициенты rx1x5 значимо отличается от нуля)

Результаты диагностики <4.2>. Данное нарушение проверили по графикам остатков. Сделаем вывод о том, что условие не нарушено

Результаты диагностики <4.4>. Данное нарушение проверили по графикам остатков. Явного нарушения условия нет.

Результаты диагностики <4.5>. Для проверки данного условия независимости ошибок из-за неучёта фактора времени воспользуемся графиком остатков (d, T), где Т — время или номер наблюдения, а также статистику Дарбина — Уотсона. В нашем примере авторегрессия положительна, т.к. D находится в интервале 0−2.

Вывод: Модель, полученная в результате пошаговой регрессии предпочтительнее, т.к. в ней нет лишних слагаемых и все регрессоры значимы. Авторегрессия для данной модели незначительна.

Графики

Диаграммы рассеяния

Графики остатков

1. Валеев С. Г. Регрессионное моделирование при обработке данных. — Казань: ФЭН. 2001.-296 с.

2. Валеев С. Г., Куркина С. В. Эконометрика — Ульяновск: УлГТУ, 2008;99с.