Выборочные характеристики. 
Теория вероятностей и математическая статистика

Выборочными характеристиками называются функции от наблюдений (точечные оценки), приближенно оценивающие соответствующие числовые характеристики случайной величины. В случае равноточных измерений в качестве оценок математического ожидания, дисперсии, функции распределения, начальных и центральных моментов и т. д. используются выборочное среднее, выборочные дисперсии, эмпирическая функция распределения, выборочные начальные и центральные моменты к-го порядка, выборочная мода, выборочная медиана и др. (табл. 11.1, где N — объем генеральной совокупности; п — объем выборки).

Для краткости в дальнейшем будем считать, что Мс, = о_Л = a, Dt = ц₂ = о².

Замечание 11.1. Все выборочные характеристики являются случайными величинами. Все теоретические характеристики есть точные величины. Поэтому выборочные характеристики в общем случае не совпадают с теоретическими, а являются всего лишь их оценками. Итак, еще раз: точечными оценками параметров называются функции от наблюдений, предназначенные для приближенного оценивания этих параметров.

Несмещенность и состоятельность точечных оценок основных параметров законов распределения

Чтобы статистические точечные оценки были близки по числовым значениям к своим теоретическим (генеральным) оцениваемым характеристикам, они должны удовлетворять определенным требованиям, а именно: быть несмещенными, состоятельными, эффективными.

Точечная статистическая оценка 0″ называется несмещенной, если ее математическое ожидание при любом п равно оцениваемому параметру 0, т. е.

Выборочные характеристики.

Точечная статистическая оценка 0″ называется состоятельной, если при неограниченном увеличении выборки она сходится по вероятности к оцениваемому параметру 0, т. е.

для любого е > 0.

Точечная несмещенная статистическая оценка 0″ называется эффективной, если она имеет минимальную дисперсию в классе всех несмещенных оценок рассматриваемого параметра.

Напоминание. Математическая статистика в своих расчетах использует простой прием математического анализа, на который обратим внимание. Пусть дана функция F (x) = 2х³. Требуется найти F'(l) х х F'(-l). Введем обозначения: (х^ х₂) = (1; -1). Рассмотрим х_1; х₂ как переменные и продифференцируем по ним. Получим F'(x₁)F'(х₂) = = 6Xj². бх| = 6 • I² • 6 • (-1)² =36.

Используем этот прием в математической статистике. Пусть случайная величина? ~ N (a, а²) приняла значение 2. Требуется найти М2 (мы разыскиваем математическое ожидание от случайной величины, которая приняла в одном из наблюдений значение 2). Обозначим наше наблюдение через х,. Рассмотрим теперь х, как переменную и проведем с ней все необходимые преобразования:

Следовательно, математическое ожидание одного наблюдения есть М2 = Мх; = а = М?, т. е. в тех случаях, где при суммировании или интегрировании х, исчезает, будем иметь теоретическую характеристику.

Например:

Перейдем к исследованию вопросов несмещенности и состоятельности выборочных характеристик, а затем, сформулировав и доказав теорему Рао — Фреше — Крамера, изучим вопросы эффективности. Несмещенность будем доказывать, беря математическое ожидание от выборочной характеристики. Для доказательства состоятельности используем неравенство Чебышёва.

• 1. Выборочное среднее.
• 1.1. Точечная оценка х является несмещенной оценкой математического ожидания а.

• 1.2. Точечная оценка х является состоятельной.
• ?Чтобы воспользоваться неравенством Чебышёва, предварительно найдем дисперсию. Учтем независимость наблюдений:

Полученный результат — дисперсия выборочного среднего в п раз меньше дисперсии одиночного наблюдения — будет неоднократно использован в дальнейшем.

В соответствии с неравенством Чебышёва.

т.е. оценка х является состоятельной оценкой (!.?

• 2. Выборочные начальные моменты к-го порядка а_к.
• 2.1. Точечная оценка а_к является несмещенной оценкой теоретического момента а_к.

• 2.2. Точечная оценка а_к является состоятельной оценкой.
• ?Найдем дисперсию выборочного начального момента а_к, используем при этом независимость наблюдений х:

В силу неравенства Чебышёва.

т.е. оценка выборочного начального момента а_к является состоятельной оценкой а_к. ?

• 3. Выборочная дисперсия а².
• 3.1. Точечная оценка а², построенная по п наблюдениям, является смещенной оценкой теоретической дисперсии а².
• ?Преобразуем а²:

Найдем математическое ожидание от выборочной дисперсии, используя формулу М (?, — Me)² = Dt:

л о О СУ^.

Полученный результат Ма²=а²—указывает на смещенность.

п

(заниженность) выборочной дисперсии. С ростом п смещение убывает, но при малых значениях п неучет этого обстоятельства приводит к ошибкам. ?

Найдем несмещенную оценку дисперсии. Из равенства Мст² =——о² выделим а²: ^п

Отсюда несмещенная, или исправленная, дисперсия S² будет равна.

Если математическое ожидание генеральной совокупности = а известно до проведения наблюдений, то.

В этом случае выборочная дисперсия не будет смещена. Причина смещения выборочной дисперсии состоит в том, что она вычислиется как отклонение от выборочного среднего х, а не от теоретического значения (математического ожидания а). Так как х находится в центре выборки, в отличие от а, то отклонения от х в среднем меньше отклонений от а.

Смещенность присуща не только выборочной дисперсии (центральному моменту 2-го порядка). Например, несмещенный выборочный коэффициент ковариации рассчитывается по формуле.

Для выборочного несмещенного центрального момента 3-го порядка справедлива формула.

Доказательство состоятельности дисперсии с помощью неравенства Чебышёва потребует нахождения дисперсии от выборочной дисперсии Da?_v что является достаточно сложным. Поэтому при доказательстве состоятельности выборочной дисперсии, а также других выборочных характеристик воспользуемся следующей теоремой о сходимости по вероятности непрерывных функций.

Теорема 11.1 (Слуцкого). Пусть функция /(х, у) непрерывна

р р

в точке (а, Ь), а случайные последовательности х_п —>а, у_п —>Ъ. Тогда f (x_n, y_n)^f (a, b).

?По определению непрерывности функции для любого е > 0 существует 8 > 0, такое что при всехх_п, у" из интервалов |х" - а | < 5 и |у" - b < < 8 выполняется неравенство f (x_n, y_n) -/(а, Ь) | < е.

Если же |/(х", у_п) -/(а, Ь) | > е, то по крайней мере верно либо |х" - а > > 8, либо |у" - Ъ | >8.

Тогда, используя теорему сложения для событий, А и В: Р (А + В) — = Р (А) -г Р (В) — Р (АВ), получим.

при п —Ь 00.

р

Следовательно, f (x_n, y_n)^>f (a, b).>-

Замечание 11.2. Теорема справедлива и при большем числе сходящихся по вероятности последовательностей, причем среди них могут находиться последовательности вида х" = const.

3.2. Точечная оценка ст^ является состоятельной оценкой а². ?В формуле для выборочной дисперсии раскроем скобки:

1 Л Выражение — Ух? есть выборочный начальный момент а₂, который, П|-1.

как мы уже знаем, сходится по вероятности к теоретическому начальному моменту а₂:

p.

Точно так же х = а_г —>а_г.

р Поэтому а² = /(а₂, а_х) = а₂ — —"а₂ — af.

Напомним, что параметры а_х и а₂ связаны с а² следующим образом:

р Отсюда ст² —>а₂ -а? = а².

Таким образом, выборочная дисперсия а² сходится по вероятности к теоретической а².^.

Замечание 11.3. Аналогично доказывается, что несмещенная выборочная дисперсия сходится по вероятности к теоретической а².

Замечание 11.4. Все другие выборочные характеристики состоятельны, если их можно представить как функции от начальных моментов и дисперсии. Центральные моменты любого порядка выражаются через начальные моменты. Асимметрия и эксцесс выражаются через центральные моменты, поэтому их точечная оценка состоятельна.

Замечание 11.5. Другой способ доказательства состоятельности состоит в нахождении предела от выборочной характеристики. Вспомним, что если последовательность сходится, то она также сходится по вероятности. В большинстве случаев такой подход наталкивается на непреодолимые трудности, например lima² = lim —Х (х, — -a)² ]-?

n-«x п-««фп;₌1 )

Ниже приведен пример 11.2, в котором этот подход привел к успеху.

4. Эмпирическая функция распределения F (x).

Теорема 11.2 (Гливенко — Кантелли). Точечная оценка F (x) функции распределения F (x) в каждой точке х является несмещенной и состоятельной оценкой функции распределения F (x).

? Пусть непрерывная случайная величина % имеет теоретическую функцию распределения F (x) = Р (?, < х) и эмпирическую функцию распределения Р (х)-—, где п_х — число наблюдений, меньших х; п — п

объем выборки. Заметим, что F (x) — случайная величина. Все элементы выборки разделим на две группы. В первую включим те из них, которые меньше х, во вторую включим элементы, большие или равные числу х. Вероятность попадания элемента в первую группу р = Р (<; < х) назовем успехом, во вторую P (i; >x) = lp = q — неудачей. Тогда попадание элемента в одну из двух групп следует распределению Бернулли с дискретной случайной величиной г|, равной числу успехов в п независимых испытаниях Бернулли и вероятностью Р (г| = п_х). Математическое ожидание того, что число успехов равно п_х, есть величина Мг — = Мп_х = пр, дисперсия есть Dr = Dn_x = npq.

Отсюда имеем.

• 1. MF (x) = М^—j ~ — = р = Р (^ < х) = F (x), т. е. оценка не смещена.
• 2 DF (x) = pfV^nfМС¹—Ft*)(l-F (x))

n) n² n

В силу неравенства Чебышёва для случайной величины F (x) и любого е > О

Поэтому.

при п —> оо, т. е. оценка состоятельна. ?

Пример 11.1. Пусть выборках_1;х₂, …, х" произведена из генеральной совокупности с равномерным распределением на промежутке [0; 0]. По выборке найти несмещенную оценку 0.

Решение. Плотность распределения случайной величины? равна.

х.

функция распределения равна F^(x) =—, хе [0; 0].

Имея ряд наблюденийх_1;х₂, …, х_г1, мы должны оценить правую границу равномерного распределения. Естественно предположить, что максимальное наблюдение х_тах и будет оценкой правой границы: 0_n = х_тах. Возможно, оценка окажется смещенной. Проверим это и в случае необходимости исправим оценку.

Пусть каждое из наблюдений х, окажется меньше некоторого числах. Вероятность осуществления такого совместного события.

Этой вероятности можно поставить в соответствие некоторую новую функцию распределения F (x) с переменным аргументом х. Ее производная есть плотность распределения вероятностей: (F (x))' = —х" ^-1.

Одно из наблюдений есть х_тах. Найдем его математическое ожидание. Получим.

Здесь удобно переписать равенство через 0″ = х_тах: М0″ =-0.

п + 1.

Оценка для границы распределения 0 оказалась смещенной. Исправим ее,.

п + 1.

для чего умножим обе части равенства на-:

п.

Таким образом, исправленная оценка параметра 0 имеет вид.

т.е. к максимальному значению наблюдения х_тах необходимо прибавить его n-ю часть. В противном случае будет возникать ошибка, причем тем больше, чем меньше объем выборки.

При изучении поведения параметра 0 при небольших значениях п фактор несмещенности оценки 0″ является важным, при больших значениях п интересуются состоятельностью оценки. Следует указать, что оценка может быть несмещенной и одновременно несостоятельной, а также смещенной и несостоятельной.

Пример 11.2. Случайная величина Е, ~ 0[О, 0]. Для оценивания параметра 0 выбрано одно из наблюдений, например x_t. Оценка параметра 0 принята О, = 2х,. Показать, что предложенная оценка является несмещенной и несостоятельной.

_Л 0.

Решение. Несмещенность: M0j = М (2х,) = 2Мх, = 2— = 0. Оценка не смещена.

Несостоятельность: lim 0_t = lim 2х, = 2х,. В силу произвольности значения П->" П—>оо х, и непрерывности равномерного распределения величина 2х, может принять любое значение на промежутке [0; 20]. Вероятность величине 2х, принять точечное значение 20 равна нулю. Значит, с вероятностью единица величина 2х, не примет это значение, т. е. х, не сходится по вероятности к числу 0.