Основные понятия и теоретические сведения

Функцию мы будем называть (для краткости) плотностью; в дальнейшем для неё используются и другие обозначения, связанные со спецификой конкретных распределений и традиционно используемые в математической литературе. математический кумулянта пуассоновский Частным случаем дискретных распределений являются решётчатые распределения и, в частности, распределения, сосредоточенные на множестве целых чисел или его подмножествах.

Если плотность из каких-то соображений задана, то говорят, что задана вероятностная модель эксперимента. В вероятностных задачах плотность наблюдаемой (изучаемой) случайной величины полностью известна, в статистических же — она известна лишь с той или иной степенью неопределённости. Часто при этом предполагается, что плотность задана с точностью до значений тех или иных параметров, от которых зависит функция , — в таких случаях говорят о параметрических статистических моделях. В теории вероятностей наиболее часто встречающиеся распределения (модели) имеют общепринятое наименование и обозначение — этот «язык» переносится и на соответствующие статистические модели. Вместе с тем в статистике используется и специфическая терминология: наблюдаемая в эксперименте случайная величина Х называется выборкой (синоним термина статистические данные), а множество её возможных реализаций ={х} - выборочным пространством.

На практике часто встречаются ситуации, когда эксперимент состоит в проведении серии повторных независимых наблюдений над некоторой случайной величиной. Если проводится n наблюдений, то выборка Х = (Х₁,…, Х_n) представляет собой n независимых копий величины, т. е. является n-мерным случайным вектором с независимыми и одинаково распределёнными компонентами. В этом случае плотность выборки Х=(Х₁,…, Х_n) имеет вид, т. е. полностью определяется плотностью наблюдаемой случайной величиной, и говорят, что Х=(Х₁,…, Х_n) есть случайная выборка объёма n из распределения (). Случайная выборка является математической моделью независимых измерений, проводимых в одинаковых условиях, и именно такие модели чаще всего применяются на практике и будут в основном рассматриваться в последующем. В общем случае параметрическая статистическая модель случайной выборки задаётся классом допустимых плотностей наблюдаемой случайной величиной (индекс случайной величины у плотности обычно опускается, если это не приводит к недоразумениям), т. е. плотность задаётся с точностью до значений некоторого параметра с областью возможных значений. Говорят, что в этом случае известен тип распределения наблюдаемой случайной величины, а неизвестен только параметр, от которого зависит распределение. Параметр может быть как скалярным, так и векторным, область (множество) его допустимых значений называется параметрическим множеством модели.

Для удобства дальнейшего изложения напомним также определения моментов случайных величин и основные соотношения между моментами различных видов.

Если для случайной величиной существует абсолютный момент порядка, то существуют и все обычные моменты, а также центральные моменты, при; при этом первый момент называется математическим ожиданием или средним значением случайной величины, а второй центральный момент — её дисперсией. Обычные и центральные моменты связаны соотношениями.

где , — биномиальный коэффициент, для которого используется также обозначение.

Факториальные и биномиальные моменты определяются соответственно равенствами.

где .

Имеют место следующие соотношения:

где и есть числа Стирлинга первого и второго рода соответственно, определяемые как коэффициенты разложений.

.

Пусть — целочисленная неотрицательная случайная величина и.

есть её производящая и характеристическая функции. Введём также производящие функции моментов:

Тогда имеют место соотношения.

.

Используются также семиинварианты, или кумулянты, представляющие собой коэффициенты разложения в ряд Тейлора логарифма характеристической функции:

.

в частности, .

Важную роль играют также следующие моментные характеристики случайной величины: коэффициенты вариации, асимметрии, эксцесса и среднее отклонение .

Одной из важных характеристик распределения (случайной величины) является интенсивность отказов (failure rate).

.

Для многомерных случайных величин определяются также смешанные моменты и кумулянты. В частности, смешанный центральный момент второго порядка двух случайных величин и называется их ковариацией:, а величина — коэффициентом корреляции.

Оценивание. В статистических задачах рассматриваются различные функции от выборки Х=(Х₁,…, Х_n), сами являющиеся случайными величинами (т. е. для которых при всех t определены вероятности (функция распределения)). Если при этом функция не зависит от неизвестного параметра модели, то её принято называть статистикой. В статистических задачах речь идёт либо об оценивании по наблюдениям Х=(Х₁,…, Х_n) той или иной характеристики наблюдаемой случайной величиной, которая в параметрической модели всегда является некоторой функцией от неизвестного параметра (такие функции называются параметрическими), либо о проверке тех или иных статистических гипотез о законе распределения (о параметре — в случае параметрической модели).

Если для оценивания параметрической функции используется некоторая статистика, то она называется оценкой (для). Обычно в качестве меры точности оценки используют среднеквадратическую ошибку, и среди всех возможных оценок ищут такую, для которой среднеквадратическая ошибка минимальна. При этом часто ограничиваются лишь несмещёнными оценками, т. е. такими оценками, для которых выполняется условие несмещённости:

.

Функция, для которой это уравнение имеет решение, называется оцениваемой. Для несмещённой оценки среднеквадратическая ошибка совпадает с её дисперсией, следовательно, оптимальной оценкой является оценка с минимальной дисперсией, для неё используется обозначение. Оптимальная оценка (в заданной модели и для заданной параметрической функции) существует не всегда, но в тех случаях, когда она существует, она единственна.

Обязательным для любого правила оценивания является свойство состоятельности, означающее сходимость по вероятности оценки к оцениваемой характеристике при неограниченном возрастании объёма выборки n.

Для удобства дальнейшего изложения напомним кратко некоторые дополнительные факты из теории статистического вывода.

1. Если в параметрической модели наблюдается случайная выборка Х=(Х1,…, Хn), то функцией правдоподобия данных называется. Если при этом плотность при всех х и, дважды дифференцируема по, и существует второй момент.

называемый функцией информации, то модель называется регулярной (большинство рассматриваемых ниже моделей являются таковыми).

Для регулярной модели любая несмещённая оценка дифференцируемой функции удовлетворяет неравенству Рао-Крамера.

.

Оценка, для которой эта нижняя граница достигается, называется эффективной (она и является оптимальной оценкой).

2. Пусть модель обладает полной достаточной статистикой, т. е. имеет место факторизация где множитель может зависеть от, а от зависит лишь через, а множитель от параметра не зависит, и при этом уравнение.

имеет единственное решение. Тогда всякая функция от является оптимальной оценкой своего среднего — этот факт во многих случаях даёт эффективный способ отыскания оптимальных оценок.

3. Одним из наиболее универсальных методов оценивания неизвестных параметров распределений является метод максимального правдоподобия. По этому методу оценкой максимального правдоподобия (далее кратко — ОМП) по выборке Х=(Х1,…, Хn) является такая точка параметрического множества, в которой функция правдоподобия достигает максимума.

Для произвольной параметрической функции её ОМП находится по правилу .

Для регулярных моделей оценки максимального правдоподобия обладают свойствами состоятельности, асимптотической нормальности и асимптотической эффективности. Это даёт возможность строить приближённые доверительные интервалы как для самого параметра: такой интервал (при больших значениях объёма выборки n и доверительном уровне) имеет вид.

.

так и для любой непрерывно дифференцируемой параметрической функции: соответствующий доверительный интервал имеет вид.

.

где и — стандартная нормальная функция распределения.

4. При байесовском подходе предполагается, что параметр — это случайная величина с некоторым (априорным) распределением (), а о качестве оценки судят обычно по величине квадратичной функции риска.

:

статистика, минимизирующая байесовский риск, называется байесовской оценкой, а минимизирующая максимальный риск — минимаксной оценкой. В ряде случаев при отыскании таких оценок можно руководствоваться следующим принципом: находится такое априорное распределение (), для которого соответствующая байесовская оценка имеет постоянный риск: (его называют наименее благоприятным априорным распределением), тогда является также и минимаксной оценкой.

При построении байесовских оценок важную роль играют сопряжённые априорные распределения, т. е. такие, для которых апостериорное распределение () принадлежит тому же семейству, что и априорное распределение (), — обычно наименее благоприятное априорное распределение находится в этом семействе.

Проверка статистических гипотез. Напомним кратко общую схему постановки задач и принципов их решения в теории проверки статистических гипотез. В случае параметрической модели статистические гипотезы формулируются в терминах параметра, и в общем случае основная (нулевая) гипотеза имеет вид утверждения: при задании соответствующего подмножества, альтернатива же в этом случае имеет вид. При заданном уровне значимости (вероятности ошибочно отвергнуть гипотезу, когда она верна, или, что-то же, вероятности ошибки первого рода) соответствующий тест имеет вид.

отвергается ,.

где критическое множество выбирается так, чтобы вероятность указанного события при гипотезе не превосходила :

.

Такой тест кратко называют критерием и его качество оценивают величиной его мощности.

среди всех критериев с уровнем значимости наилучшим считается такой, для которого мощность максимальна. Если такой критерий существует (тогда он обозначается символом), то он называется оптимальным или равномерно наиболее мощным (сокращённо — р.н.м.).