Линейная регрессия с несколькими объясняющими переменными (множественная регрессия)

В результате изучения данной главы студент должен:

знать

• • формулу для нахождения МНК-оцснок коэффициентов множественной регрессии;
• • определение и интерпретацию коэффициента множественной детерминации;
• • формулировку теоремы Гаусса — Маркова для случая множественной регрессии;

уметь

• • проверять гипотезы о значимости коэффициентов множественной регрессии;
• • строить доверительные интервалы для коэффициентов множественной регрессии;
• • проверять гипотезы об адекватности множественной регрессии;
• • проверять гипотезы о наличии нескольких линейных соотношений между коэффициентами регрессии;
• • находить оценки инструментальных переменных;
• • строить точечные и интервальные прогнозы;

владеть

• • навыками оценки множественной регрессии в основных статистических пакетах;
• • навыками интерпретации основных результатов оценки множественной регрессии, содержащихся в таблице AN OVA.

Формула для МНК-оценок коэффициентов множественной линейной регрессии

Предположение, сделанное в двух предыдущих главах, о том, что на зависимую переменную оказывает влияние только одна независимая переменная X, является очень сильным и далеко не всегда выполняется. Гораздо чаще необходимо учитывать влияние на зависимую переменную нескольких факторов — обозначим их X_v Х_к.

Модель множественной линейной регрессии имеет следующий вид:

где i — номер наблюдения, а г, — ошибки регрессии.

Как и в случае парной регрессии, перед нами стоит задача оценки параметров р₀, р_р р* по имеющимся данным Х_и, X_kjy i = 1,…, п.

Критерий выбирается аналогично случаю парной регрессии: по расши;

П

ренному набору параметров минимизируется RSS = X ^еЬ ^но формула для e_i

i= 1.

немного изменяется:

Можно аналогично случаю парной регрессии выразить RSS через р_о, р, р,. и приравнять к нулю частные производные RSS по этим переменным. По в случае множественной регрессии придется решать уже систему из (к + 1)-го линейного уравнения с (к + 1)-й переменной, что приведет к достаточно громоздким формулам. Поэтому в случае множественной регрессии обычно переходят к матричной форме: применение линейной алгебры помогает получить достаточно компактные аналитические формулы. Обозначим.

Тогда уравнение регрессии можно переписать в векторном виде: а после введения дополнительных обозначений.

появляется возможность записать это же уравнение в матричном виде: (5.4).

Критерий для нахождения оценок параметров остается прежним:

П

где RSS = X е? ⁼ е’е, е — вектор остатков регрессии.

1=1.

RSS зависит от вектора оценок параметров р следующим образом:

", , д (Ъ'а) д (ЫАЬ) Учитывая правила дифференцирования по вектору-= а и-=.

бЬ эь.

= 2АЬ, где, а и b — векторы размера п X 1, А — симметричная матрица размера п х п выпишем необходимое условие экстремума:

¹ Доказательство приведено в книге [27, р. 382].

Система нормальных уравнений для случая множественной регрессии принимает вид

Если матрица Х⁷Х является невырожденной (т.е. ее определитель отличен от нуля), то система нормальных уравнений имеет единственное решение (причем достаточное условие экстремума также выполнено), откуда.

Отметим, чтор в случае множественной регрессии является (k +^{-мерным} вектором.

Аналогично случаю парной регрессии определяются оцененные значения зависимой переменной: