Метод максимального правдоподобия

Этот метод состоит в том, что для получения оценок неизвестных па;

А Л раметров 0J,…, 0_W нужно найти такие значения 0_t,… 0,", при которых вероятность реализации выборки (х_их_2>…, х_п) будет максимальной. С этой целью строится функция, определяющая вероятность получения выборки (х₁, х₂,…, х_п), и находится максимум этой функции по 0₍, — 0″_г. Эта функция называется функцией правдоподобия. Этот метод предложен Р. Фишером.

Пусть дана выборка из ГС, закон распределения которой зависит от неизвестных параметров 0,…, 0,". Если ?, — дискретная СВ, то функция правдоподобия будет иметь вид.

где

Замечание 8.3. Если среди элементов выборки имеются равные, г. е. она представима в виде

где rij — частота появления элементах;, то функция правдоподобия записывается в виде.

Если ^ — непрерывная СВ, то функция правдоподобия будет иметь вид.

т.е. функция правдоподобия представляет собой совместную плотность вероятностей СВ (х₁, х₂,…, х"), куда на место переменных подставлены выборочные значения, а в качестве переменных функции используются неизвестные параметры.

Пусть функция правдоподобия Ц0,0,") дифференцируема по 0_t, 0_m и при любых возможных значениях х₁, х₂,…, х_л достигает максимума по 0_1;…, 0," в интервале возможных значений параметров. Тогда согласно необходимому условию экстремума функции многих переменных оценки неизвестных параметров 0_1?…, 0_ОТ находят, решая систему уравнений.

Так как точки максимума функций Ц0,…0″,) и lnZ.(0,…, 0_m) совпадают, то часто удобнее вместо уравнений (8.4) решать уравнения.

Решая систему (8.5), и находят оценки неизвестных параметров 0!,…, 0_Ш.

Пример 8.2. Пусть (х₁, х₂,…, х") — выборка из ГС, имеющей нормальное распределение с параметрами а, а², причем, а и а² неизвестны. Найдем оценки этих параметров с помощью метода максимального правдоподобия (ММП).

Решение. Так как-то функция правдоподобия будет иметь вид.

Найдем

Обозначим а² =b, тогда

Возьмем частные производные по, а и, А и приравняем их к нулю:

Отсюда получим