Основы регрессионного анализа. 
Парная линейная регрессия

Министерство образования и науки Российской Федерации Лабораторная работа по эконометрике на тему «Основы регрессионного анализа. Парная линейная регрессия»

Новосибирск 2010

Ситуация № 1. «Робинзон на охоте». Каждый раз, идя на охоту на уток, Робинзон берет с собой связку бумерангов и флягу с пивом собственного приготовления, поскольку в жарких условиях субтропиков ему необходимо утолять жажду. При этом он отмечает, какая была средняя температура в день охоты (в градусах Цельсия, Х3), какое количество уток он убил (в штуках, Х2) и сколько при этом выпил пива (в процентах от объема фляги, Х1).

Задание. Основы регрессионного анализа. Парная линейная регрессия.

Цель: ознакомиться с основными положениями, понятиями и методами анализа линейной модели парной регрессии.

По результатам корреляционного анализа выбираем показатель Х₁-колличество выпитого пива и показатель Х₃-температура в день охоты, потому что они связаны между собой наиболее тесно, так как. Обозначим X₃ как Х, а X₁ как Y.

Задание 1: Вычислить оценки неизвестных параметров для записанных уравнений парной регрессии по методу наименьших квадратов. Дать содержательную интерпретацию результатов и выбрать для дальнейшего анализа одно из уравнений.

Для построения уравнения регрессии необходимо определить, какая из переменных является входной, а какая выходной. В данном случае очевидно, что количество выпитого пива зависит от средней температуры в день охоты, то есть экзогенной переменной является количество выпитого пива. Таким образом, получаем следующее уравнение парной регрессии:

Где x_i — средняя температура в день охоты,

y_i — количество выпитого пива,

_i — случайная компонента,

₀, ₁ — неизвестные параметры.

С помощью МНК получаем следующую систему нормальных уравнений:

Найдем МНК-оценку параметра ₁ по формуле:

:

₁=7,452

Рассчитаем МНК-оценку параметра ₀, используя формулу:

:

₀= - 198,88

Дадим интерпретацию полученным результатам: ₁=7,452

Положительное значение оценки параметра ₁ свидетельствует о том, что связь между переменными прямая. Кроме того, если средняя температура увеличивается на 1 °C, количество выпитого Робинзоном пива возрастает в среднем на ₁=7,452% от объема фляги.

₀= - 198,88

Так как значение оценки параметра ₀ отрицательно, то это позволяет сделать вывод о том, что изменение средней температуры в день охоты происходит быстрее изменения количества выпитого пива.

Задание 2: Проверить значимость всех параметров модели по критерию Стьюдента. Для значимых коэффициентов построить доверительные интервалы. Сформулировать выводы.

Проверим значимость всех параметров модели по критерию Стьюдента.

1) Проверим на значимость параметр :

Необходимо проверить гипотезу:

Вычислим t-статистику Стьюдента по формуле:

; t_кр (0,05; 23) =2,069

Оценка дисперсии оценки вычисляется по формуле

;

S² = = 146,078

= 25,239

= - 7,88

|t|кр (0,05; 23) Так как статистика по абсолютному значению превышает критическое значение, то гипотеза H₀ отвергается на 95% -ном уровне значимости, то есть параметр ₀ в данном уравнении регрессии является значимым.

2) Проверим на значимость параметр :

Необходимо проверить гипотезу:

Вычислим t-статистику Стьюдента по формуле:

t_кр (0,05; 23) =2,069

;

S² = = 146,078

= 0,779

= 9,947

|t|кр (0,05; 23) Так как статистика по абсолютному значению превышает критическое значение, то гипотеза H₀ отвергается на 95% -ном уровне значимости, то есть параметр ₁ в данном уравнении регрессии также является значимым.

Построим для данных параметров 95% -ные доверительные интервалы.

Для параметра ₀ доверительный интервал будет выглядеть следующим образом:

[-198,88−2,069*25,239; - 198,88+2,069*25,239]

[-251,099; - 146,661]

Для параметра ₁ доверительный интервал будет выглядеть следующим образом:

[7,452−2,069*0,779; 7,452+2,069*0,779]

[5,84; 9,06]

Таким образом, параметры составленного уравнения парной регрессии являются значимыми. То есть взаимосвязь между количеством выпитого пива и средней температурой в день охоты можно описать уравнением линейной регрессии, а незначительные отклонения возможных значений параметров от их МНК-оценок позволяют принять данные оценки в качестве хороших приближений к реальным параметрам.

Задание 3: Проверить значимость модели (уравнение регрессии) в целом с помощью критерия Фишера. Сформулировать выводы.

Для начала найдём коэффициент детерминации:

Где TSS = - полная сумма квадратов,

— общая сумма квадратов;

RSS = - сумма квадратов, обусловленная регрессией,

— объясненная сумма квадратов (сумма квадратов регрессии).

ESS = - остаточная сумма квадратов.

— остаточная сумма квадратов (сумма квадратов остатков)

= 15 504,60+3457,033=18 862,64

Так как RSS>>ESS, то остатки регрессии невелики.

Можно сделать предварительный вывод о том, что разброс значений относительно линии регрессии также невелик, и уравнение достаточно точно описывает наблюдаемые данные.

Коэффициент детерминации показывает, насколько модель объясняет исходные данные, следовательно, исходя из полученного коэффициента, можно отметить, что наша модель объясняет исходные данные о наличии зависимости количества выпитого пива от температуры на 82%.

В данном случае нельзя точно утверждать, что такое значение коэффициента детерминации означает достаточную пригодность уравнения регрессии, поэтому проверим его на значимость по критерию Фишера на 5% -ном уровне значимости.

Проверим значимость модели в целом по F — критерию:

Чтобы проверить значимость модели, необходимо проверить гипотезу:

Найдем F-статистику по формуле:

Из таблицы находим значение:

Если, то гипотеза отвергается с вероятностью 0,95.

В нашем случае 102,495 > 4,28, значит, гипотеза отвергается с вероятностью 95%.

Из проведенного анализа можно сделать вывод, что наша модель значима, и связь между количеством выпитого пива и температурой воздуха можно описать уравнением:

Y= - 193,558+7,495x

Задание. Построить таблицу дисперсионного анализа.

Задание 5: Выбрать прогнозную точку X_п в стороне от основного массива исходных данных. Используя уравнение регрессии, выполнить точечный и интервальный прогнозы величины Y в точке X_п. Проанализировать полученные результаты.

Выберем в качестве прогнозной точки значение x^п=42°С. Тогда прогнозируемое значение количества выпитого Робинзоном пива будет равно:

y^п = - 193,558+7,495 *42= 121,23.

Это значит, что при температуре 42⁰С Робинзон должен выпить 121,23% от объема фляги. Выполним интервальный прогноз.

Для оценки точности прогноза необходимо вычислить стандартную ошибку прогноза по формуле:

= 7,462; t_кр (0,05; 23) =2,069

Границы доверительного интервала найдем по формуле:

Получим [121,23−2,069*7,462; 121,23+2,069*7,462].

доверительный интервал для Y: [105,79; 136,67]

То есть при температуре 42⁰С количество выпитого пива с вероятностью 95% колеблется в пределах от 105,79% до 136,67%.

Точечное прогнозирование показывает, что если температура будет равна 42 градусам, то Робинзону может быть недостаточно одной целой фляги пива для утоления жажды, т.к. объём выпитого пива выходит за рамки 100%.

Задание: Построить 95% -ный доверительный интервал для уравнения регрессии на всем диапазоне исходных данных.

Задание: Изобразить в одной системе координат исходные данные, линию регрессии, 95% -ный доверительный интервал.

Задание: Сделать общие выводы, касающиеся проделанной работы и эконометрической интерпретации полученных результатов.

По результатам корреляционного анализа мы выбрали наиболее тесно связанные показатели Y (количество выпитого пива) и Х (температура).

Полагая, что связь между ними может быть описана линейной функцией, составили уравнение парной регрессии, используя для оценивания неизвестных параметров МНК, получили, что Y = - 193,558+7,495x.

С изменением регрессора (температуры) на 1 единицу, отклик (кол-во выпитого пива) в среднем изменяется на 7,495% от объема фляги).

Проведя анализ значимости параметров и самой модели, можно сделать вывод, что оба параметра (и_{0 и} и₁) значимы, и модель в целом также значима, то есть, верна. Следовательно, эту модель мы можем использовать для дальнейшего прогнозирования.

Нанеся на координатную плоскость исходные данные, линию регрессии, 95% -ный доверительный интервал, мы видим, что большинство значений исходных данных попадает или находится в непосредственной близи от доверительного интервала, что также подтверждает наше предположение о наличии тесной линейной связи между количеством выпитого пива и температурой воздуха в день охоты. Также, исходя из графика, можно заметить, что, чем ближе значение температуры к среднему, тем выше степень точности наших прогнозов.

Следовательно, чтобы расходовать меньше пива и брать его с собой меньше, Робинзону лучше выходить на охоту, когда температура относительно невысока.