Эффективность оценок. 
Теория вероятностей и математическая статистика

Требование минимальности выборочной дисперсии при оценивании представляется вполне разумным. В зависимости от метода исследования, числа наблюдений в выборке величина рассеивания вокруг среднего значения различна. Можно ли добиваться все меньшей дисперсии, совершенствуя наблюдения? Оказывается, существует пороговый уровень, ниже которого при определенных условиях минимальная выборочная дисперсия опуститься не может. Доказательству этого утверждения посвящена теорема Рао — Фреше — Крамера.

Неравенство Коши — Буняковского для математических ожиданий. Для случайных величин и г| имеет место неравенство (М^г|)² < < М^²Мг)².

? Будем исходить из очевидного неравенства, справедливого для любого t: M (t? + р)²> 0. Раскроем скобки и вынесем неслучайный параметр t за знак математического ожидания:

Квадратное неравенство при произвольном t неотрицательно, если его дискриминант D неположителен:

Отсюда следует утверждение. ?

Следствие. Пусть с, = х, — есть i-й результат наблюдения за случайной величиной ?, с плотностью распределения р^(х). Неравенство Коши — Буняковского в интегральной форме для непрерывных случайных величин ф (с,) и |/(q) с плотностью распределения рДх) для одного наблюдения примет вид.

Замечание 11.6. Занимаясь обработкой п наблюдений, мы вынуждены проводить преобразования с п величинами. Для упрощения преобразований введем обозначение (х_х, х₂, х_п) = х. Тогда, например,.

00 оо п-кратный интеграл J ••• |р_?(х₁, х₂, …, x_n)dx]dx₂•••dx" может быть.

• -сооо
• 00

записан как Jp_?(x)dx.

— оо.

Математическое ожидание некоторой функции от п наблюдений 0_n(xj, x₂,…, x_n) есть п-кратный интеграл от этой функции, помноженной на совместную плотность распределения:

или в краткой записи.

Для лучшего понимания формы записи рассмотрим небольшой пример. Пусть проведены два независимых наблюдения х_ь х₂ случайной величины Ъ, с плотностью распределения рДх, 0), где 0 — математическое ожидание. Совместная плотность их распределения равна р^(х_х, х₂,.

0) =р?(Х], 0) р_?(х₂, 0). В качестве оценки 0 возьмем выборочное среднее по двум наблюдениям 0₂ = ^{Xl +}*². Докажем, пользуясь кратными интегралами, что М0₂ =0:

Конечно, на языке высокого уровня данная задача решается проще:

Замечание 11.7. Неравенство Коши — Буняковского в наших обозначениях выглядит так:

Пусть ведется наблюдение за непрерывной случайной величиной имеющей распределение р_Е(х, 0) с параметром 0. Информацией Фишера о неизвестном параметре 0, содержащейся в одиночном независимом наблюдении х, случайной величины называется величина.

Теорема 11.3 (Рао — Фреше — Крамера). Пусть плотность распределения вероятностей р.(х, 0) непрерывной случайной величины? удовлетворяет следующим условиям:

• 1) область возможных значений случайной величины Е, не зависит от параметра 0;
• 2) 0 — несмещенная оценка параметра 0, полученная по п наблюдениям, т. е. М0 = 0;
• 00 оо
• 3) в равенствах J 0р. (х, 0) dx = 0 и j р.(х, 0) dx = l допустимо диффе-
• —Xсо

ренцирование по 0 под знаком интеграла;

4) информация Фишера конечна и не равна нулю.

Тогда для оценки 0 выполняется неравенство ВО > ^^ .

? По выборке х_ь х₂, …, х_п случайной величины? найдем какимлибо методом выборочную характеристику 0, которая представляет собой функцию выборки: 0= 0(х_1;Х2,…, х_п) = 0(х). Считая х_]; х₂, …, х_п переменными величинами, найдем математическое ожидание как п-кратный интеграл. Приравняем его в силу несмещенности оценки величине 0 и перепишем в сокращенной форме оба интеграла п. 3) условий:

1. Продифференцируем оба интеграла по 0:

Умножим второе равенство на 0 и вычтем из первого. Получим.

Производную плотности по 0 запишем в виде.

и подставим в интегральное выражение:

_л 51np=(x, 0).

2. Используя введенные обозначения <�р (х) = 0(х) — 0 и |/(х) =-²-.

<90.

воспользуемся неравенством Коши — Буняковского:

Первый интеграл справа в неравенстве есть дисперсия выборочной характеристики 0(х).

3. Докажем, что Mi|/(x,) = 0:

Вычисляя второй интеграл справа в неравенстве Коши — Буняковского, учтем, что в силу независимости наблюдений.

Точно так же.

4. Свяжем М1²(х) и Df (x):

Таким образом второй интеграл справа в неравенстве Коши — Буняковского будет равен.

Получили неравенство l ^^. ?

Замечание 11.8. Дисперсия выборочной характеристики при выполнении условий теоремы не может быть меньше некоторой величины, определяемой информацией Фишера. Минимальная возможная дисперсия выборочной характеристики D_min(0) = —-—. Чем больше инфор;

п/(0).

мации /(0) известно о параметре 9, тем меньшей дисперсией (меньшим разбросом) обладает выборочная характеристика 0 этого параметра. Оценка называется эффективной среди несмещенных оценок, если ее дисперсия D0 совпадает с правой частью ^ неравенства Рао —.

Фреше — Крамера (в дальнейшем для краткости будем его называть неравенство Рао).

Замечание 11.9. Минимальная возможная дисперсия выборочной характеристики при выполнении условий теоремы 11.3 убывает с ростом п не быстрее, чем —.

п

Замечание 11.10. Если оценка смещена и представлена в виде М0 = 0 + а (0), теорема, аналогичная теореме 11.3, может быть доказана.

f- «_пАЛ1 + (а (0))']²

с получением неравенства для выборочной дисперсии: DO >——-.

Замечание 11.11. Аналогично доказывается теорема для дискретной случайной величины. Информация Фишера о параметре 0 в одном.

наблюдении определяется через вероятность Р (? = х, 0) того, что дискретная величина примет какое-нибудь определенное значение х_;:

Например, в испытаниях Бернулли случайная величина принимает только два значения — 0 или 1:

Пример 11.3. Проверить на эффективность точечную оценку х математического ожидания а по выборкех_ьх₂, …, х" наблюдений, имеющих нормальное распределение ЛДа, о²).

Решение. Докажем, что выборочная характеристика х является эффективной оценкой математического ожидания а.

Убедимся, что точечная оценка х математического ожидания не смещена:

Вычислим дисперсию точечной оценки х:

Найдем информацию Фишера, содержащуюся в одном наблюдении х Учтем, что в неравенстве Рао параметр а обозначен как 0, среднее х — как выборочная характеристика 0. Поскольку наблюдение принадлежит нормальному распределению, то плотность распределения равна.

Логарифм плотности имеет вид.

Найдем производную по 0:

Информация Фишера одного наблюдения.

^{л л}

Сравнивая D0 = — и-=— = —, убеждаемся в равенстве D0.

п п/(0) n-1/cs² п

и и делаем вывод об эффективности оценки.

Пример 11.4. Найти дисперсию исправленной оценки параметра 0 из примера 11.1.

^А 71 +1 ^Л

Решение. Исправленная оценка параметра 0 равна 0_ИСПп=-0″, где.

п

9_n=*maxимеем.

Дисперсия оценки 0_ИСЩ> с ростом п убывает как —, т. е. оказалась лучше ^и п²

эффективной. Подобные оценки называют сверхэффективными.