Применение метода максимального правдоподобия для оценки параметров множественной линейной регрессионной модели

Метод максимального правдоподобия с успехом может быть применен и для нахождения параметров линейной регрессионной модели. Продемонстрируем это на примере парной регрессии.

Пусть Y_t = р₍₎ + pjX_y + ??, г = 1,…, п, причем ошибки взаимно независимы и имеют нормальное распределение: 8, ~ N (0; a²), i = 1,…, п. Тогда г, = Y_}-

— Ро-рд.

Поскольку 8-, i=l,…, Пу независимы и распределены нормально, то функция правдоподобия имеет вид

а логарифмическая функция правдоподобия —

Необходимым условием экстремума является равенство нулю частных производных по Р₍₎, pj и а²:

Легко заметить, что первые два уравнения точно такие же, как и в системе нормальных уравнений для оценок МНК (см. формулу (3.6)), поэтому мы сразу можем выписать решения:

бок: а²

Из последнего уравнения несложно найти оценку для дисперсии ошиr ее

—(напомним, что RSS определено формулой (3.3)).

МП.

п

Можно показать, что и в данном случае выполнены достаточные условия максимума (см. задание 6.3), поэтому найденные оценки являются ММП-оценками.

Замечание 6.1. Если оценки максимального правдоподобия коэффициентов р₍₎ и р, совпадают с МНК-оценками и, следовательно, являются несмещенными (см. параграф 4.1), то ММП-оценка дисперсии ошибок является смещенной (как отмечалось в подпараграфе 4.2.1, несмещенная оценка дисперсии ошибок есть а² = ——z).

п-2

ММП-оценки коэффициентов множественной регрессии можно получить аналогично, но, чтобы избежать громоздких формул, лучше использовать матричный аппарат, как это сделано в параграфе 5.1.

Для модели.

где 6 ~ N (0, а%), 0″ — /г-мериый нулевой вектор, 1_Я — и-мерная единичная матрица (напомним, что определение случайного вектора, имеющего совместное нормальное распределение, было дано в параграфе 2.2), функция правдоподобия имеет вид

или, а логарифмическая функция правдоподобия —.

Учитывая правила дифференцирования по вектору (см. параграф 5.1), получаем.

откуда где е = Y — Хр.

Можно показать^[1], что достаточные условия экстремума тоже выполнены, следовательно, полученные оценки являются ММП-оценками.

Как и для случая парной регрессии, МНКи ММП-оценки коэффициентов множественной регрессии совпадают, а оценка дисперсии ошибок.

_Л, RSS _Л, RSS

ст,. =-является смещенной (несмещенная оценка а- =—-, см. па;

п п — k — 1.

раграф 5.3). Однако на больших выборках это смещение невелико, посколь- 1 ¹

kv — и-:—- достаточно близки.

п п — k — 1.

• [1] См. работу [12, гл. 10.5].