Многомерный аналог неравенства Крамера-Рао

Будем предполагать, что 0 = (0j,…, 0,).

Теорема 6.4. Пусть t (x) — несмещенная оценка для числовой функции т (0) = т (0_1?…, 0,).

Тогда

fduLduL]

где а# = М₀ ———-, а коэффициенты с, = с,-(0) удовлеем Uj 0jj

Если матрица А = {ац} обратима и Л^-1 = {($}> то творяют системе.

При этом знак равенства достигается тогда и только тогда, когда оценка имеет вид.

где С/(0) — функции, зависящие лишь от 0.

Доказательство. В лемме предыдущего пункта положим.

Тогда.

Достаточные статистики

Предположим, что Х_ь…, Х_п образуют случайную выборку, причем Xj имеет дискретное или непрерывное распределение, и обозначим через р (х 0) распределение веорятностей. Неизвестный параметр 0 принадлежит параметрическому пространству Q. Совместная плотность распределения случайных величин Х_{, …, Х_п, как известно, равна.

Другими словами, совместная плотность распределения Х_у…, Х" принадлежит семейству всех распределений, имеющих форму (6.19) для произвольного возможного значения 0 g Q. Таким образом, проблема оценки значения 0 может рассматриваться как проблема выбора из этого семейства распределения, которое порождает случайные величины Ху…, Х_п. Распределение любой данной статистики Т можно получить из (6.19). В общем случае это распределение будет зависеть от 0, и, рассматривая все возможные значения 0, мы получим семейство распределений. Представим следующую ситуацию, в которой два статистика А и В должны оценить параметр 0; при этом А наблюдает X_h …, Х_п, в то время как В не имеет такой возможности, он наблюдает только значения Т (Х_{, …, Х_п). Так как А может выбирать любую функцию от наблюдений АфХ_п в качестве оценки 0, а В — только функции от Г, то вообще говоря, А имеет больше возможностей выбрать хорошую оценку, чем В. Тем не менее в некоторых задачах как А, так и В будут находиться в одинаковой ситуации. При таких проблемах функция Т= Т (Ху…, Х_п) в некотором смысле суммирует всю информацию, содержащуюся в выборке о праметре 0. Статистика, обладающая этими свойствами, называется достаточной статистикой.

Определение. Статистика T (X_h …, Х") называется достаточной для параметра 0, если для каждого ее возможного значения Т условное совместное распределение наблюдений Х_у…, Х_п при известном Т (Х,…, Х_п) = Т не зависит от 0.

Значение статистики Т и параметра 0, вообще говоря, векторные.

Критерий факторизации. Статистика Т достаточна для 0 тогда и только тогда, когда функция правдоподобия имеет вид.

где g и h — некоторые функции случайных величин.

L (x

Доказательство (для дискретных случайных величин). Достаточность. Пусть выполняется (6.20) для всех х е R" и 0 <= 0. Допустим, Т (х_у …, х_п) = t. Пусть A (t) — множество точек х е Rⁿ, таких, что Т (х) = t. Для произвольной точки х € A (t) имеем.

Так как Т (у) = t для произвольного у е A (t) и так как х е A (t)_y то из (6.20) следует.

что условная вероятность не зависит от 0, т. е. Т — достаточная статистика.

Необходимость. Предположим, что Т— достаточная статистика. Тогда для произвольного заданного значения статистики Т, произвольного .г е A (t) и 0 е Q, условная вероятность Р{Х = х Т = t, 0} нс зависит от 0 и имеет вид.

Поэтому.

что и требовалось доказать.

Пример 6.9. Пусть Х_ь…, Х_п — независимые, одинаково распределенные случайные величины, каждая из которых имеет распределение Пуассона с неизвестным параметром 0. Показать, что ста;

п

тистика Т= J]х} является достаточной.

Решение. Совместное распределение случайных величин Х,…, Х" имеет вид.

п.

где у = ^Xj. Мы видим, что L_n(.г|0) представима в виде (6.20), ес;

1 п

ли положить h (x) = П a g (T 0) = е""^е0^{, у}.

1 ^xi-

Пример 6.10. Пусть X_lf…, Х_п — наблюдения, полученные простым случайным выбором из нормальной совокупности N (p, а²) с неизвестными р и а². Показать, что статистика Т = (Т_х, Г₂), где 1 ^п

Т =Х_У Т₂= (XkX)¹ является достаточной. п _х

Решение. Совместное распределение случайных величин Х_х>…, Х_п равно.

Замечание 6.2. Отметим, что всякая эффективная статистика является в то же время достаточной, так как из.

следует форма (6.20) для L_n(x 0).

Лемма 6.2. Пусть Т (х_х,…, х_п) — достаточная для 0 статистика, t (x 1, …,*") — несмещенная оценка для т (0). Положим.

Тогда t (x>х_п) также является несмещенной для т (0), причем

Доказательство (для дискретных случайных величин).

Имеем.

Из этой леммы следует, что при рассмотрении несмещенных оценок можно ограничиться рассмотрением лишь оценок, являющихся функциями от достаточной статистики. Особый интерес представляют достаточные статистики Г, для которых единственной несмещенной оценкой нуля (т.е. т (0) = 0) вида g (T) является 0. Такие достаточные статистики называются полными.

Доказательство. В самом деле, отправляясь от произвольной несмещенной оценки t для т (0) получим согласно лемме оценку для которой Dl_{ < Dt. Статистика tt является несмещенной оценкой нуля; в силу полноты Тона равна 0. Следовательно, t=t и Dt < Dt < Dt_y тем самым, t — НОМД.

• 6.9. Достаточные статистики
• 163

Теорема 6.5. Пусть Т — полная достаточная статистика, /(7) — произвольная функция. Тогда статистика t (x_h…, х_п) = = f (T (x 1, …, х_п)) является НОМД для своего математического ожидания.

Пример 6.11. В случае выборки из показательного распределения р (х 10) = 0с, х > 0, достаточная статистика х для 0 является полной. Действительно, случайная величина х имеет гамма-распределение с параметрами (и, я0), где объем выборки п. Следовательно,.

и равенство Mg (x) = 0 для всех 0 > 0 влечет.

для всех 0 > 0, т. е. преобразование Лапласа функции g (x/h)xⁿ~ равно нулю и, значит, g = 0, т. е. статистика х является полной. Теперь, беря различные функции/, можно получать НОМД для т (0) = = Mf (x). Например, при f (x) = х^к получаем, что t = х^к есть НОМД.

Г (кг + п) .™ Г (п)

для Мх = ——— 0″ = т (0). Отсюда следует, что Zj С* —--х

Г (Я) _{т с} /г-0 V (k + n)

есть НОМД для т (0) = Zт-т.

k-o 0 гг