Оценка параметров. 
Метод наименьших квадратов. 
Экономическая интерпретации

Рассматривается модель множественной линейной регрессии.

Па основе эмпирических наблюдений построим оценку теоретической регрессии — найдем выборочное уравнение регрессии.

Оценки a_yb_x, b₂,…, b_k параметров а, Д ,/?₂,…,/?* определяются по методу наименьших квадратов из соотношения:

т. е. значения a, b_r, b₂,…_yb_k выбираются таким образом, чтобы сумма квадратов отклонений наблюдаемых (выборочных) значений показателя y_t от расчетных значений y_t была минимальной.

Введем обозначения.

Здесь и далее знаком X' обозначается операция транспонирования матрицы.

Используя эти обозначения, модель множественной регрессии (2.1.4) может быть записана в матричной форме:

Применяя тот же прием, что и в случае парной регрессии (вычисляем частные производные по неизвестным параметрам и приравниваем их к нулю для того, чтобы найти минимум), приходим к системе так называемых нормальных уравнений метода наименьших квадратов. В матричной форме система нормальных уравнений, решением которой является оценка 1) вектора параметров регрессии р, записывается следующим образом:

Для того чтобы система (2.2.4) имела единственное решение, необходимо, чтобы матрица X⁷ X была неособенной (невырожденной), т. е. |Х'Х|*0. Для этого векторы значений объясняющих переменных (т. е. столбцы матрицы X) должны быть линейно независимы, т. с. ранг матрицы должен быть равен числу ее столбцов: г (Х) = к +1.

Кроме того, должно быть выполнено условие п > к +1, другими словами, число имеющихся наблюдений каждой из объясняющих переменных должно, по крайней мере, на единицу превосходить число объясняющих переменных. На практике часто считается, что при оценивании параметров множественной линейной регрессии для обеспечения статистической надежности требуется, чтобы число наблюдений, по крайней мере, в 3 раза превосходило число оцениваемых параметров.

Итак, если матрица XX невырождена, то решением системы уравнений (2.2.4) является вектор b = (a₉b_]9…₉b_k)¹, определяемый по формуле:

Найденное решение — вектор b = (a₉b_y9…₉b_k)^T называется оценкой наименьших квадратов неизвестных параметров <2,Д,…, Д .

Таким образом, эмпирическая (выборочная) множественная линейная регрессия имеет вид:

где коэффициенты а, Ь_гЬ₂«., Ь_к определяются по формуле (2.2.5).

Экономическая интерпретация коэффициентов b_l9b₂₉…₉b_k регрессии при объясняющих переменных аналогична парной регрессии. Коэффициент b показывает, на сколько единиц измени гея в среднем показатель у, если фактор .у увеличится на одну единицу, в то время как остальные факторы останутся неизменными.

В матричной форме выборочное уравнение множественной линейной регрессии (2.2.6) можно записать в виде.

где Y = у У, X и b определяются в (2.2.2), вектор оценок b вычислен в соответствии с (2.2.5).

Значения показателя, вычисленные, но выборочной регрессии для значений объясняющих факторов, содержащихся в выборке.

или в матричной форме.

где X,^r =(₉x_ll9x_l29…₉x_ik) — вектор значений объясняющих переменных (совпадает с / -й строкой матрицы X из (2.2.2)).

Особое значение для проверки статистической значимости множественной линейной регрессии имеют остатки (разности между наблюдаемыми значениями показателя и значениями, вычисленными, но уравнению линейной регрессии):