Оценивание параметров множественной регрессии методом наименьших квадратов

Процедура метода наименьших квадратов для модели (4.2) заключается в определении вектора оценок неизвестных параметров.

X

€"= ^ё' ,.

А, соответствующего минимальному значению суммы квадратов отклонений наблюдаемых значений зависимой переменной от значений, рассчитанных по уравнению регрессии (принцип Лежандра [18]). Другими словами, задача заключается в минимизации суммы квадратов остатков или остаточной суммы квадратов.

где  — вектор остатков.

С учетом ранее введенных обозначений можно записать:

Далее запишем необходимое условие экстремума для задачи (4.3):

Систему (4.4) можно преобразовать к виду.

Соотношение (4.5) представляет собой систему нормальных уравнений модели множественной регрессии (4.2). Однозначное решение системы нормальных уравнений возможно только в том случае, если матрица Х’Х является невырожденной. Данное требование выполняется при условии, что матрица X имеет полный столбцовый ранг. С учетом этого замечания вектор оценок неизвестных параметров может быть найден следующим образом:

Выражение (4.6) получило название формулы Гаусса — Маркова. Нетрудно заметить, что оценка (4.6) является линейной по Y. Интерпретация параметров уравнения (4.2) проводится аналогично интерпретации параметров уравнения парной регрессии.