Метод максимального правдоподобия

Рассмотрим выборку х = (х_1; х₂, …, х"), полученную в результате независимых наблюдений за случайной величиной, имеющей плотность распределения р?(х, 0). Подставляя элементы выборки в плотность распределения, будем получать функции pi;(x,-, 0) изучаемого параметра 0, из которых составим произведение: р?(х_а, 0) • р?(х₂, 0) х х … ? рЪ,(х_п, 0). Чем вероятнее набор значенийх_ьх₂,…, х", тем большую величину будет иметь это произведение. Эту величину можно менять

в некоторых пределах, варьируя параметр 0. Поэтому в качестве оценки неизвестного параметра 0 разумно принять такое значение 0, которое максимизирует составленное по выборке произведение. В этом заключается метод максимального правдоподобия.

Функцией правдоподобия L (x_b х₂, …, х_п, 0) называется произведение плотностей вероятностей для непрерывной случайной величины или произведение вероятностей для дискретной случайной величины:

Если выполнены некоторые достаточно общие условия, задача может быть сведена к исследованию на экстремум функции правдоподобия стандартным методом: находятся критические точки, рассматриваются достаточные условия. Дифференцирование произведения п функций по параметру 0 при исследовании на максимум достаточно громоздко. Поиск оценки упрощается, если максимизировать не саму функцию, а ее логарифм, так как максимумы функций L (x, 0) и lnL (x,.

0) достигаются при одном и том же значении параметра 0.

Тогда стандартный подход к исследованию на максимум логарифмической функции правдоподобия 1п1(х, 0) следующий:

• 1) (lnL (x, 0))е =0 (необходимые условия);
• 2) (1пДх, 0))о_О <0 (достаточные условия).

Максимальное значение может быть достигнуто на границе области, если экстремум отсутствует. Высокие достоинства метода максимального правдоподобия подтверждаются следующей теоремой.

Теорема 12.1. Пусть для случайной величины Г| с плотностью р_л(х, 0):

• 1) область определения аргумента х не зависит от 0;
• 2) существуют конечные Мг и Dr;

оо.

• 3) равенство J p^x, Q) dx = 1 трижды дифференцируемо по пароме-
• -оо

тру 0 сне равной нулю третьей производной;

4) информация Фишера конечна и не равна нулю.

Тогда:

• 1) решения 0уравнения (lnL (x, 0))e =0 существуют;
• 2) 0 — несмещенная или асимптотически несмещенная оценка 0;
• 3) 0 — эффективная или асимптотически эффективная оценка 0;
• 4) распределение оценки 0 асимптотически нормально, причем статистика

5) 0 — состоятельная оценка 0.

?Введем обозначения для функции правдоподобия:

Уравнение правдоподобия для логарифмической функции правдоподобия будет иметь вид.

<31пЦх, 0) «.

Функцию-разложим в ряд Тейлора в окрестности некото-

<30.

рой точки 0_О и разделим полученное равенство на п:

где последний член разложения является остаточным, 0 ' — некоторая точка из окрестности 9₀, причем третья производная по 0 в этой точке конечна. Случайные величины Е,₀, Ъ,₂ можно рассматривать как сред.

ние арифметические значения функций от наблюдений в точке 0 = 0_О. Например, случайная величина

есть среднее арифметическое значение функций от наблюдений 51пр"(Х (, 0).

---, взятое в точке 0 = 0_О.

SQ

После введения переменных получим квадратное уравнение относительно малого приращения 0 - 0_О:

оо (х 0).

Найдем М^₀, D^₀ и ME,_i} опираясь на равенства f —-—-—dx = 0

* д²р_ц (х, 0) — ⁵⁰

и J ——-ах = 0. Далее, где это не мешает восприятию, будем писать

— оо S0²

функции без аргументов:

По закону больших чисел средние арифметические сходятся по вероятности к своим математическим ожиданиям. Величины ?,₀ и ^ являются средними арифметическими случайных величин, поэтому.

5оДо,^Л/(0о).

Найдем корни квадратного уравнения относительно малого приращения 0 - 0_О:

Полагая п достаточно большим, чтобы можно было считать бесконечно малым, a — близким к -I или равным этой величине, разложим квадратный корень из функции выборки в ряд Маклорена по ^₀, сохранив члены первого порядка малости:

Поскольку оценка параметра 9 сделана по выборке, то обозначим 0 = 0(x₁, x₂,…, Jc_n) = 0. Взяв знак «плюс», получим первое решение.

Для полученной оценки найдем М0 и DQ:

Второе решение имеет вид.

и не обладает асимптотической несмещенностью, поскольку с ростом 21.

числа наблюдений—0, из-за того что по условию I Ф 0, < ⁰⁰ • Отне-

^2.

семся к нему как к постороннему решению.

Таким образом, удалось установить, что:

• 1) решения уравнения (lnL (x, 0))J, =0 существуют;
• 2) 0 — несмещенная или асимптотически несмещенная оценка 0;
• 3) оценка 0 по крайней мере асимптотически эффективна.

Обсудим другие свойства оценки 0.

Докажем, что распределение 0 асимптотически нормально, причем

Случайная величина ?₀, являясь средним арифметическим от функ-.

^d ( М

ций наблюдений асимптотически нормальна: —>N О, — .

Оценка 0 отличается от — на постоянную величину 0_О, поэтому, так

же, как и ?₀, асимптотически подчиняется нормальному распределению с математическим ожиданием М9 = 0_О и дисперсией D9 =—:

A ^d I] _Л . 0-М0 ^п/

0—>iV 0_О, —. Отсюда следует формула для —

I / у DO

Докажем что оценка состоятельна. В силу неравенства Чебышёва

Замечание 12.1. Полученные оценки по крайней мере асимптотически несмещенные и асимптотически эффективные. То, что оценка может быть просто несмещенной или просто эффективной, доказывается примерами.

Замечание 12.2. Если некоторые условия теоремы не выполнены, то

51пДх, 0) «

уравнение-= 0 может не иметь решении. Однако метод мак-

симального правдоподобия остается действенным методом отыскания

_u 51nL (x, 0)

наилучшеи оценки параметра. Например, статистика-положительна, функция правдоподобия L (x, 0) растет с увеличением 0 и, следовательно, достигает максимума на правой границе промежутка.

Пример 12.2. По выборке х₁₍ х₂, …, х_п найти оценку параметра X распределения Лапласа методом максимального правдоподобия.

X

Решение. Функция плотности распределения Лапласа p_t(x) =—е~^хМ, х е R. Логарифмическая функция правдоподобия имеет вид.

Найдем производную, приравняем ее к нулю:

и решим уравнение относительно X. Оценка для параметра X оказывается рав;

~ ^ 1 _п ~ _v d² L п

ной Х =-. Проверим знак второй производной: =—-<0. Знак.

1 I I DX X

Пы 1.

«минус» указывает на наличие максимума.