Изучение гетероскедастичности. 
Линейная регрессия

Задание 1

Требование данного задания — исследовать парную линейную регрессию. В таб. 1 приведены исходные данные, основные и промежуточные результаты.

Решение Проведем полный регрессионный анализ исходных данных по формулам, приведенным в методических указаниях.

1) Определим параметры линейной регрессии и ее статистические оценки (см. таб. 2).

2) Рассчитаем значимость параметров регрессии и регрессии в целом. Коэффициент корреляции показывает тесноту линейной связи. Так как в нашем случае =0,867, то связь прямая и тесная. Коэффициент корреляции значим, если, что имеет место быть в нашем примере.

Коэффициент детерминации показывает долю вариации результативного признака, объясненную вариацией факторного признака., то есть доля вариации результата, объясненная вариацией фактора x, включенного в уравнение регрессии, равна 75,1%. Остальные 24,9% приходятся на долю прочих факторов, не учтенных в уравнении регрессии.

Стандартная ошибка регрессии служит для оценки качества уравнения регрессии.. В нашем примере можно говорить об удовлетворительном подборе уравнения регрессии к исходным данным.

Значимость коэффициента регрессии

Значение статистик,. То есть выполняется неравенство. Параметр — не случайно отличается от нуля и статистически значим.

Оценка значимости уравнения регрессии. Значения величин F=36,249 и, полученных в результате дисперсионного анализа показывают, что выполняется неравенство. Таким образом, гипотеза о случайности различий факторной и остаточной дисперсий (нулевая гипотеза) должна быть отклонена и с вероятностью 95% принимается альтернативная гипотеза о том, что эти различия существенны, статистически значимы, уравнение надежно, значимо, показатель тесноты связи надежен и отражает устойчивую зависимость y от x.

3) Покажем взаимное расположение доверительных интервалов относительно исходных данных и построенной линии регрессии (см. рис.1).

Рис. 1. Доверительные интервалы.

Таб. 1. Исходные данные, промежуточные и основные результаты

Таб. 2. Параметры регрессии и ее статистические оценки

— выборочная остаточная дисперсия;

— общая сумма квадратов отклонений зависимой переменной от средней;

— сумма квадратов, обусловленных дисперсией;

— F статистика для отношений приведенных к степеням свободы сумм квадратов;

— квантиль F — распределения с 1 и n-2 — степенями свободы числителя и знаменателя соответственно;

— оценка стандартного отклонения ошибки параметра b1;

— фактическое значение t-критерия Стьюдента для коэффициента регрессии b1;

— критерий Стьюдента для заданного уровня значимости и числа степеней свободы n-2;

— коэффициент корреляции;

— t статистика для оценки значимости коэффициента корреляции;

— коэффициент детерминации.

Задание 2

В данном задании необходимо произвести расчет параметров множественной регрессии и дать оценку значимости регрессии и ее параметров.

Исходные данные:

Решение

1) Получим матрицу X (10×3), у которой первый столбец состоит из единиц, остальные столбцы — x1 и x2:

2) Умножим. Результат:

3) Найдем обратную матрицу из п.2:

4) Определим. Результат:

5) Найдем матрицу

6) Рассчитаем регрессию

7) Определим сумму квадратов остатков

8) Получим ковариационную матрицу

где =25,760.

Рассчитаем по ней стандартные ошибки параметров регрессии:

.

9) Рассчитаем t-статистику :

Вычислим квантиль, при и n=10 =>. Оценим значимость параметров регрессии. Для этого сопоставим значения t-критерия с. Видим, что. Это говорит о том, что параметры b0, b1, b2 — не значимы.

Таким образом, x1 и x2 не оказывают существенного влияния на y.

Их влияние обусловлено случайностью, их следует исключить из модели и заменить более значимыми.

10) Построим корреляционную матрицу парных коэффициентов:

Данные коэффициенты характеризуют тесноту связи между двумя из рассматриваемых переменных. В нашем случае, между y и x1, а также между y и x2 — связь практически отсутствует, между x1 и x2 — сила связи слабая.

11) Определим частные корреляции:

Видим, что при условии комплексного взаимодействия факторов, связь между y и x1 — слабая, прямая, между y и x2 — слабая, обратная, а между x2 и x1 — умеренная, прямая.

линейный регрессия интервал параметр

12) Рассчитаем частные уравнения регрессии:

Здесь значение 6,30 — это среднеарифметическое от значений X2, а 9,40 среднеарифметическое от X1.

В отличие от парной регрессии частные уравнения регрессии характеризуют изолированное влияние фактора на результат, ибо другие факторы закреплены на неизменном уровне.

13) Определим коэффициент детерминации Для этого рассчитаем совокупный коэффициент множественной корреляции:

Тогда, то есть вариация y на 3,3% обуславливается x1 и x2, и данные факторы незначительно влияют на y.

Рассчитаем скорректированный коэффициент детерминации при p=2,. Значительное изменение значения по сравнению с подтверждает наш вывод о плохом качестве регрессионной модели, и объясняющие переменные не оказывают существенного влияния на зависимую переменную.

14) Рассчитаем коэффициенты эластичности по каждому параметру:

Таким образом, при изменении x1 на 1%, y меняется на 0,792% при условии, что x2 — остается в фиксированном положении. А при изменении x2 на 1%, при фиксированном положении x1, y уменьшается на 0,503%.

Стандартизованные коэффициенты:

Анализ стандартизованных коэффициентов показывает, что на y наибольшее влияние из двух исследуемых факторов с учетом их колеблемости способен оказать фактор x1, так как ему соответствует наибольшее (по абсолютной величине) значение коэффициента. Следовательно, при изменении на одно среднеквадратичное отклонение x1 изменение y составит 0,192 своего среднеквадратичного отклонения, далее по степени влияния следует фактор x2.

15) Рассчитаем F статистику:

В нашем примере n=10, p=2, — вычислено в п. 7, а, тогда .

Сравнивая с квантилем, при => То есть модель, в целом, незначима.

Таким образом, модель признается полностью неадекватной и на ее основе нельзя принимать решения и осуществлять прогнозы. Этот результат можно объяснить сравнительно невысокой теснотой выявленной зависимости и небольшим числом наблюдений.

Задание 3

Цель этого задания — изучение гетероскедастичности. Все исходные данные, промежуточные вычисления и итоговые результаты приведены в таб. 3.

Решение

1) Тест Голдфельда-Квандта После разделения выборки на три равные части, по 10 элементов в каждой, вычислим статистики регрессии для I и III части.

Статистики регрессии для I части. Статистики регрессии для III части.

Суммы квадратов остатков:

Определим статистику .

Найдем квантиль F — распределения

Так как, то гипотеза об отсутствии гетероскедастичности регрессионной модели отвергается.

2) Тест Уайта Определим параметры линейной регрессии по всей выборке:

Построим столбцы значений и в таб. 3. Вычислим параметры регрессии, где в качестве y и x используем и соответственно.

Оценим значимость полученной регрессии по F критерию, путем сравнения с квантилем Так как, то гипотеза об отсутствии гетероскедастичности регрессионной модели отвергается.

3) По полученным в предыдущем пункте параметрам и, построим в таб. 3 столбец с регрессией остатков. Также построим столбцы с нормированными переменными и .

Для нормированных переменных рассчитаем регрессию:

Теперь сопоставим этот результат с параметрами регрессии, полученной по первоначальной выборке и сделаем соответствующие выводы:

1. Значение коэффициента детерминации увеличилось с 0,237 188 до 0,677 714, что говорит об улучшении качества регрессионной модели. Теперь доля вариации результата, зависимая от вариации включенного в уравнение регрессии фактора x, равна 67,8%.

2. Значительно уменьшились стандартные ошибки параметров регрессии и .

3. Уменьшилась сумма квадратов, обусловленных регрессией, а также остаточная сумма квадратов таким образом уменьшилась и общая сумма квадратов отклонений зависимой переменной от средней. Важно что выросло отношение к, что привело к росту F статистики и увеличило меру, в какой уравнение регрессии лучше оценивает значение зависимой переменной по сравнению с ее средней.

4. Уменьшение выборочного стандартного отклонения указывает на повышение точности регрессионной модели.

Таб. 3. Исходные данные, промежуточные вычисления и итоговые результаты для задания 3

Задание 4

В данном задании требуется оценить на идентификацию следующую структурную модель:

Решение:

Модель имеет три эндогенные (и четыре экзогенные (переменные.

Проверим каждое уравнение системы на необходимое (Н) и достаточное (Д) условия идентификации.

Первое уравнение Н: эндогенных переменных — 3 (,

Отсутствующих экзогенных — 2 (.

Выполняется необходимое равенство: 3=2+1, следовательно, уравнение точно идентифицируемо.

Д: в первом уравнение отсутствуют. Построим матрицу из коэффициентов при них в других уравнениях системы.

Следовательно, достаточное условие идентификации не выполняется и первое уравнение нельзя считать идентифицируемым.

Второе уравнение Н: эндогенных переменных — 2 (, Отсутствующих экзогенных — 1 (.

Выполняется неравенство: 1+1=2, следовательно, уравнение идентифицируемо.

Д: во втором уравнении отсутствуют. Построим матрицу из коэффициентов при них в других уравнениях системы.

Достаточное условие идентификации для второго уравнения выполняется, так как ранг матрицы равен числу эндогенных переменных модели минус 1, то есть 3−1=2. Итак, второе уравнение точно идентифицируемо.

Третье уравнение Н: эндогенных переменных — 3 (, Отсутствующих экзогенных 2 (.

Выполняется необходимое равенство: 3=2+1, следовательно, уравнение точно идентифицируемо.

Д: в третьем уравнение отсутствуют. Построим матрицу из коэффициентов при них в других уравнениях системы.

Достаточное условие идентификации для третьего уравнения не выполняется. Уравнение неидентифицируемо.

Следовательно, рассматриваемая в целом структурная модель, идентифицируемая по счетному правилу, не может считаться идентифицируемой исходя из достаточного условия идентификации.

Задание 5

Цель задания — исследование регрессии по рядам динамики. Все исходные данные, промежуточные вычисления и итоговые результаты приведены в таб. 4.

Решение Предположим, что в двух рядах и, присутствует линейный тренд: для: , для: .

1) Методом аналитического выравнивания рассчитаем параметры линейного тренда в рядах и

Оценим значимость полученных регрессий по F критерию, путем сравнения с квантилем .

Так как оба значения F критерия больше квантиля делаем вывод о значимости полученных уравнений регрессий. Используя полученные значения коэффициента детерминации, отметим, что доля вариации в большей степени обусловлена вариацией, чем, 61,2% и 48,6% соответственно.

2) С помощью полученных параметров построим столбцы Результат приведен в таб. 4.

3) Рассчитаем столбцы с отклонениями от тренда

и .

Результат приведен в таб. 4.

4) Коэффициент корреляции служит показателем тесноты связи. Вычислим коэффициент корреляции по исходным уровням рядов .

Полученное значение говорит о том, что связь между переменными и прямая и сильная. Чтобы исключить предположение, что мы получили ложную корреляцию ввиду наличия в каждом из рядов линейной или близкой к линейной тенденции, вычислим коэффициент корреляции по отклонениям от трендов.

Окончательный вывод: связь между и прямая и умеренная.

Определим значимость полученных коэффициентов корреляции с помощью t-критерия Стьюдента (число степеней свободы -, уровень значимости —).

Сначала оценим .

То есть коэффициент корреляции по исходным уровням рядов — значим при 5%-ном уровне.

Аналогично для :

То есть коэффициент корреляции по отклонениям от трендов — значим.

5) Рассчитаем модель регрессии по отклонения от тренда

.

Так как, следовательно, полученное уравнение регрессии значимо.

6) Используя другой путь учета тенденции — включение в модель фактора времени, рассчитаем параметры множественной линейной регрессии, приняв за аргументы столбцы, и таб. 4, то есть, используя исходные данные, но в качестве самостоятельного фактора включим время.

Так как полученное значение, то полученный результат согласуется с теорией.

Так как, следовательно, полученное уравнение регрессии значимо.

7) Определим столбец остатков, используя в качестве расчетного значения результата формулу, где параметры — из пункта 6, и. Результат занесем в таб. 4.

8) Рассчитаем статистику Дарбина-Уотсона

9) Сформулируем гипотезы:

— в остатках нет автокорреляции;

— в остатках есть положительная автокорреляция;

— в остатках есть отрицательная автокорреляция.

Принимая нижний и верхний уровни d статистики, отмечаем, что фактически найденное находится в пределах от (1,55<2,134<2,45). Следовательно, нет оснований отклонять гипотезу об отсутствии автокорреляции в остатках.

10) В результате вычислений были получены следующие результаты:

Уравнение регрессии по уровням временных рядов с включением фактора времени Полученные уравнения, как было рассчитано выше, значимы по F критерию.

Интерпретация параметров уравнения следующая:

— параметр характеризует, что при увеличении на единицу, возрастет в среднем на 0,421 в условиях существования неизменной тенденции;

— параметр означает, что воздействие всех факторов, кроме приведет к увеличению на 1,799.

Уравнение регрессии по уровням временных рядов с включением фактора времени может быть использовано для прогноза, так как в нем устранена автокорреляция в остатках, уравнение значимо по F критерию и высокое значение коэффициента детерминации дает основание говорит о хорошем качестве регрессионной модели и считать полученные результаты статистически значимыми.

Уравнение регрессии по отклонениям от тренда Это означает, что в среднем за период отклонение от тренда было положительно по знаку и составляло 0,421 отклонения от своего тренда.

Содержательная интерпретация модели регрессии по отклонениям от тренда затруднительна, однако, несмотря на то, что полученное уравнение значимо по F критерию, малое значение коэффициента детерминации не дает оснований использовать ее для прогнозирования, и может говорить о не включении важных факторов.

Рассмотрим причины, по которым в рядах динамики имеет смысл рассматривать не только коэффициент корреляции по исходным уровням рядов, но и коэффициент корреляции по отклонениям от трендов.

Основная сложность состоит в том, что при наличии тренда за достаточно длительный период большая часть суммы квадратов отклонений связано с трендом. Если два признака имеют тренды с одинаковым направлением изменения уровней, то между уровнями этих признаков будет наблюдаться положительная ковариация. Коэффициент корреляции уровней окажется положительным. При разной направленности трендов ковариация уровней и коэффициент корреляции окажутся отрицательными.

Но ведь одинаковая направленность трендов вовсе не означает причинной зависимости. Таким образом, не только возникает масса «ложных корреляций», за которыми нет причинной зависимости, но искажаются и те показатели корреляции, за которыми стоят реальные причинные зависимости.

Чтобы получить реальные показатели корреляции, необходимо абстрагироваться от искажающего влияния трендов: вычислить отклонения уровней рядов от трендов и измерить корреляцию не уровней, а колебаний двух признаков.

Таб. 4. Исходные данные, промежуточные вычисления и итоговые результаты для задания 5