Математическая статистика

математическая статистика

1. Генеральная совокупность и выборка

В предыдущем разделе нас интересовала распределение признака в некоторой совокупности элементов. Совокупность, которая объединяет все элементы, имеющая этот признак, называется генеральный. Если признак человеческий (национальность, образование, коэффициент IQ т.п.), то генеральная совокупность — все население земли. Это очень большая совокупность, то есть число элементов в совокупности n велико. Число элементов называется объемом совокупности. Совокупности могут быть конечными и бесконечными. Генеральная совокупность — все люди хотя и очень большая, но, естественно, конечная. Генеральная совокупность — все звезды, наверное, бесконечно.

Если исследователь проводит измерение некоторой непрерывной случайной величины X, то каждый результат измерения можно считать элементом некоторой гипотетической неограниченной генеральной совокупности. В этой генеральной совокупности бесчисленная количество результатов распределены по вероятности под влиянием погрешностей в приборах, невнимательности экспериментатора, случайных помех в самом явлении и др.

Если мы проведем n повторных измерений случайной величины Х, то есть получим n конкретных различных численных значений, то этот результат эксперимента можно считать выборкой объема n из гипотетической генеральной совокупности результатов единичных измерений.

Естественно считать, что действительным значением измеряемой величины является среднее арифметическое от результатов. Эта функция от n результатов измерений называется статистикой, и она сама является случайной величиной, имеющей некоторое распределение называемая выборочным распределением. Определение выборочного распределения той или иной статистики — важнейшая задача статистического анализа. Ясно, что это распределение зависит от объема выборки n и от распределения случайной величины Х гипотетической генеральной совокупности. Выборочное распределение статистики представляет собой распределение Х_q в бесконечной совокупности всех возможных выборок объема n из исходной генеральной совокупности.

Можно проводить измерения и дискретной случайной величины.

Пусть измерение случайной величины Х представляет собой бросание правильной однородной треугольной пирамиды, на гранях которой написаны числа 1, 2, 3, 4. Дискретная, случайная величина Х имеет простое равномерное распределение:

Эксперимент можно производить неограниченное число раз. Гипотетической теоретической генеральной совокупностью является бесконечная совокупность, в которой имеются одинаковые доли (по 0.25) четырех разных элементов, обозначенных цифрами 1, 2, 3, 4. Серия из n повторных бросаний пирамиды или одновременное бросание n одинаковых пирамид можно рассматривать как выборку объема n из этой генеральной совокупности. В результате эксперимента имеем n чисел. Можно ввести некоторые функции этих величин, которые называются статистиками, они могут быть связаны с определенными параметрами генерального распределения.

Важнейшими числовыми характеристиками распределений являются вероятности Р_i, математическое ожидание М, дисперсия D. Статистиками для вероятностей Р_i являются относительные частоты, где n_i — частота результата i (i=1,2,3,4) в выборке. Математическому ожиданию М соответствует статистика

которая называется выборочным средним. Выборочная дисперсия

соответствует генеральной дисперсии D.

Относительная частота любого события (i=1,2,3,4) в сериях из n повторных испытаний (или в выборках объема n из генеральной совокупности) будет иметь биномиальное распределение.

У этого распределения математическое ожидание равно 0.25 (не зависит от n), а среднее квадратическое отклонение равно (быстро убывает с ростом n). Распределение является выборочным распределением статистики, относительная частота любого из четырех возможных результатов единичного бросания пирамиды в n повторных испытаниях. Если бы мы выбрали из бесконечной, генеральной совокупности, в которой четыре разных элемента (i=1,2,3,4) имеют равные доли по 0.25, все возможные выборки объемом n (их число также бесконечно), то получили бы так называемую математическую выборку объема n. В этой выборке каждый из элементов (i=1,2,3,4) распределен по биномиальному закону.

Допустим, мы выполнили бросания этой пирамиды, и число двойка выпало 3 раза (). Мы можем найти вероятность этого результата, используя выборочное распределение. Она равна

.

Наш результат оказался весьма маловероятным; в серии из двадцати четырех кратных бросаний он встречается примерно один раз. В биологии такой результат обычно считается практически невозможным. В этом случае у нас появится сомнение: является пирамида правильной и однородной, справедливо ли при одном бросании равенство, верно ли распределение и, следовательно, выборочное распределение.

Чтобы разрешить сомнение, надо выполнить еще один раз четырехкратное бросание. Если снова появится результат, то вероятность двух результатов с очень мала. Ясно, что мы получили практически совершенно невозможный результат. Поэтому исходное распределение неверное. Очевидно, что, если второй результат окажется еще маловероятней, то имеется еще большее оснований разобраться с этой «правильной» пирамидой. Если же результат повторного эксперимента будет и, тогда можно считать, что пирамида правильная, а первый результат (), тоже верный, но просто маловероятный.

Нам можно было и не заниматься проверкой правильности и однородности пирамиды, а считать априори пирамиду правильной и однородной, и, следовательно, правильным выборочное распределение. Далее следует выяснить, что дает знание выборочного распределения для исследования генеральной совокупности. Но поскольку установление выборочного распределения является основной задачей статистического исследования, подробное описание экспериментов с пирамидой можно считать оправданным.

Будем считать, что выборочное распределение верное. Тогда экспериментальные значения относительной частоты в различных сериях по n бросаний пирамиды будут группироваться около значения 0.25, являющегося центром выборочного распределения и точным значением оцениваемой вероятности. В этом случае говорят, что относительная частота является несмещенной оценкой. Поскольку, выборочная дисперсия стремиться к нулю с ростом n, то экспериментальные значения относительной частоты будут все теснее группироваться около математического ожидания выборочного распределения с ростом объема выборки. Поэтому является состоятельной оценкой вероятности .

Если бы пирамида оказалась направильной и неоднородной, то выборочные распределения для различных (i=1,2,3,4) имели бы отличные математические ожидания (разные) и дисперсии.

Отметим, что полученные здесь биномиальные выборочные распределения при больших n () хорошо апроксимируются нормальным распределением с параметрами и, что значительно упрощает расчеты.

Продолжим случайный эксперимент — бросание правильной, однородной, треугольной пирамиды. Случайная величина Х, связанная с этим опытом, имеет распределение. Математическое ожидание здесь равно

.

Проведем n бросаний, что эквивалентно случайной выборке объема n из гипотетической, бесконечной, генеральной совокупности, содержащей равные доли (0.25) четырех разных элементов. Получим n выборочных значений случайной величины Х (). Выберем статистику, которая представляет собой выборочное среднее. Величина сама является случайной величиной, имеющей некоторое распределение, зависящее от объема выборки и распределения исходной, случайной величины Х. Величина является усредненной суммой n одинаковых, случайных величин (то есть с одинаковым распределением). Ясно, что

.

Поэтому статистика является несмещенной оценкой математического ожидания. Она является также состоятельной оценкой, поскольку

.

Таким образом, теоретическое выборочное распределение имеет тоже математическое ожидание, что и у исходного распределения, дисперсия уменьшена в n раз.

Напомним, что равна

.

Математическая, абстрактная бесконечная выборка, связанная с выборкой объема n из генеральной совокупности и с введенной статистикой будет содержать в нашем случае элементов. Например, если, то в математической выборке будут элементы со значениями статистики. Всего элементов будет 13. Доля крайних элементов в математической выборке будет минимальной, так как результаты и имеют вероятности, равные. Среди множества элементарных исходов четырех кратного бросания пирамиды имеются только по одному благоприятному и. При приближении статистик к средним значениям, вероятности будут возрастать. Например, значение будет реализоваться при элементарных исходах, , и т. д. Соответственно возрастет и доля элемента 1.5 в математической выборке.

Среднее значение будет иметь максимальную вероятность. С ростом n экспериментальные результаты будут теснее группироваться около среднего значения. То обстоятельство, что среднее выборочного среднего равно среднему исходной совокупности часто используется в статистике.

Если выполнить расчеты вероятностей в выборочном распределении с, то можно убедиться, что уже при таком небольшом значении n выборочное распределение будет выглядеть как нормальное. Оно будет симметричным, в котором значение будет медианой, модой и математическим ожиданием. С ростом n оно хорошо апроксимируется соответствующим нормальным даже, если исходное распределение прямоугольное. Если же исходное распределение нормально, то распределение является распределением Стьюдента при любом n.

Для оценки генеральной дисперсии необходимо выбрать более сложную статистику, которая дает несмещенную и состоятельную оценку. В выборочном распределении для S² математическое ожидание равно, а дисперсия. При больших объемах выборок выборочное распределение можно считать нормальным. При малых n и нормальном исходном распределении выборочное распределение для S² будет ч²_распределение.

Выше мы попытались представить первые шаги исследователя, пытающегося провести простой статистический анализ повторных экспериментов с правильной однородной треугольной призмой (тетраэдром). В этом случае нам известно исходное распределение. Можно в принципе теоретически получить и выборочные распределения относительной частоты, выборочного среднего и выборочной дисперсии в зависимости от числа повторных опытов n. При больших n все эти выборочные распределения будут приближаться к соответствующим нормальным распределениям, так как они представляют собой законы распределения сумм независимых случайных величин (центральная предельная теорема). Таким образом, нам известны ожидаемые результаты.

Повторные эксперименты или выборки дадут оценки параметров выборочных распределений. Мы утверждали, что экспериментальные оценки будут правильными. Мы не выполняли эти эксперименты и даже не приводили результаты опытов, полученные другими исследователями. Можно подчеркнуть, что при определении законов распределений теоретические методы используются чаще, чем прямые эксперименты.

2. Анализ вариационных рядов

Статистическое исследование может быть полным и выборочным. При полном исследовании измерение интересующего вас признака производится у каждого элемента совокупности. При этом определяется точное распределение признака. Например, декан получил точное распределение оценок на экзамене по математике у всех 230 студентов. Он может определить точные доли отличников и не успевающих, процент успеваемости, процент качества обучения и т. п. Но это не «настоящая» статистика.

Статистика решает задачу как, обследовав элементы выборки из генеральной совокупности, получить необходимую информацию о генеральной совокупности. Первое, что должен решить статистик — это как провести выборку, чтобы она наилучшим образом соответствовала генеральной совокупности, то есть, чтобы выборка была репрезентативной. Выборка будет репрезентативной, если отбор элементов в выборку производится случайно. Это означает, что все элементы генеральной совокупности имеют одинаковую вероятность попасть в выборку. Один из способов получения случайной выборки состоит в том, что каждому элементу генеральной совокупности присваивается номер; билеты с номерами помещаются в шляпу или шарики с номерами в барабан; случайно извлекается билет или шарик, а затем выбирается соответствующий элемент. В настоящее время случайные числа выдают ЭВМ.

Обеспечить случайность выборки не так просто как кажется. Ни в коем случае не следует полагаться на свою интуицию, следует подчеркнуть: если выборка окажется не репрезентативной (ее называют смещенной), то с ростом ее объема может уменьшаться точность или могут появляться ошибочные выводы. Закон больших чисел сработает наоборот. По видимому, по этой причине Дизраэли пошутил: «На свете есть ложь наглая, ложь и статистика» .

Раздел статистики, в котором изучаются виды выборок, разрабатываются методики, обеспечивающие репрезентативность выборок, изучается влияние объема выборки на получаемые результаты и др., называется теорией выборки. Очевидна ее важная роль в планировании статистического исследования.

2.1 Дискретный вариационный ряд

Допустим, произведено n измерений случайной дискретной величины Х и получено k различных значений. При этом Х₁ наблюдалось m₁ раз, Х₂ — m₂ раз, …, Х_k — m_k раз. Можно сказать, что из бесконечной гипотетической совокупности результатов измерений сделана выборка объемом. Числа являются частотами измеренных значений, которые называют вариантами. Величины, ,…, называют относительными частотами вариант Х_i. Ясно, что. Будем считать, что варианты мы расположили в возрастающем порядке.

Полученные результаты удобно представить в виде таблицы.

Вторая строка таблицы представляет собой вариационный ряд для частот, третья — для относительных частот, четвертая — для кумулятивных относительных частот. Если число вариант k не очень велико, то для того, чтобы получить более наглядное представление о распределение случайной величины Х строят полигоны или кумуляты. Для этого на оси абсцисс откладывают значения вариант, а на оси ординат соответствующие значения частот или относительных частот или кумулятивных относительных частот F_i. Ясно, что полигон относительных частот дает представление о распределение вероятностей, а график кумулятивных относительных частот можно назвать эмпирической функцией распределения.

Эмпирическая функция распределения определена на всей числовой оси. Ясно, что для всех и для всех. На интервале функция будет иметь вид ступенчатой монотонно возрастающей от 0 до 1 функции такой, что .

Рассмотрим пример. Пусть в результате обследования получены следующие значения вариант:

Все значения () вариант целочисленные,,. Таблица для этих данных принимает следующий вид (таблица):

3. Интервальный вариационный ряд

Как уже отмечалось выше, для непрерывной случайной величины всю область ее возможных значений нужно разделить на интервалы, которые называют классами. Обычно ширины всех классов выбирают одинаковыми. Ширину интервалов ДX определяют формулой

где X_max и X_min — наибольшее и наименьшее значение признака в выборке, а k — количество классов. Оптимальное число классов зависит от объема выборки. При этом используют таблицу

Количество вариант в классе есть частота попадания в данный класс. Все классы кроме последнего представляют собой полуоткрытые справа интервалы (например), а последний закрытый. Можно составить таблицу интервальных вариационных рядов; ее общий вид таков:

Здесь a_i — границы классовых интервалов.

Если на оси абсцисс отложить классовые интервалы и над ними построить прямоугольники с высотами, равными соответствующим плотностям f_i относительной частоты, то площадь каждого прямоугольника будет равна относительной частоте. Полученная таким образом ступенчатая фигура называется гистограммой. Площадь под гистограммой равна единице, так как она равна сумме площадей всех прямоугольников. Понятно, что линия, которая идет по оси абсцисс, затем огибает гистограмму и затем снова идет по оси абсцисс является графиком эмпирической функции плотности вероятности.

Интервальный вариационный ряд можно построить и для дискретной случайной величины, если объем выборки достаточно большой. Нужно, чтобы в каждом классе было не менее трех вариант. В этом случае мы как бы совершаем переход от дискретной случайной величины к непрерывной.

Рассмотрим пример. Измерена частота пульса X_i (число сокращений сердца за минуту) у 1060 студентов (— объем выборки),,. Выборка очень большая, поэтому выберем число классов. Тогда, то есть в интервале содержится четыре значения Х (здесь у нас дискретная случайная величина). Допустим, на основании имеющихся вариант мы построили таблицу интервальных вариационных рядов.

На основании этих результатов строим гистограмму и эмпирическую функцию распределения. Так как мы перешли от дискретной случайной величины к непрерывной, то мы считаем плотность вероятности постоянной внутри каждого интервала, а функция распределения на каждом интервале будет возрастать линейно от начального до конечного ее значения на интервале.

На рис. представлена гистограмма, которая почти симметрична относительно вертикали. Три центральных класса с наибольшими частотами (модальная группа) оказались точно симметричными (см. таблицу). Поэтому хорошей оценкой моды, медианы и математического ожидания будет значение. Огибающая гистограммы и сама гистограмма с ростом объема выборки будут приближаться к кривой нормального распределения (кривой Гаусса) с параметрами и, то есть к кривой

.

Убеждаемся, что центральная предельная теорема выполняется.

На рис. представлена эмпирическая функция распределения — кумулята p_i. Эта функция приближенно выражается через функцию Лапласа (или интеграл вероятностей) :

по формуле

.

При функция распределения F имеет точку перегиба () и, то есть точка является медианой.

4. Точечные оценки параметров распределения признака Построение графиков эмпирических функций плотности вероятности гистограммы и функции распределения (кумяляты) дают общее представление о распределении случайной величины. Для уточнения деталей распределения по данным выборки статистики разработаны специальные методы. Очень помогают исследования, если удается определить тип закона распределения признака в генеральной совокупности (нормальный, биноминальный и др.). Очевидно, что благодаря центральной предельной теореме распределение генеральной совокупности часто является нормальным. И, следовательно, для уточнения модели остается точнее определить численные значения математического ожидания и дисперсии. Поэтому были точно рассчитаны распределения различных статистик для выборок из генеральной нормальной совокупности (², Стьюдента, Фишера). Теория статистики, построена на расположении о нормальности исходного распределения, была первой. Ее можно назвать Гауссовской статистикой.

Раздел статистики, в которой изучается проблема получения информации о генеральной совокупности по выборочным данным, называется статистические выводы. Этот раздел можно разделить на два отдела: оценивания параметров и проверка гипотез.

Для оценивания параметра распределения можно использовать несколько выборочных статистик. Например, оценка генерального среднего может служить и выборное среднее, и медиана, и мода. Наилучшая оценка должна обладать такими свойствами как: несмещенность, эффективность и состоятельность. Для несмещенности необходимо, что бы выборочная статистика имела математическое ожидание равное оцениваемому параметру. Если имеется две несмещенные оценки, то из них следует выбирать ту, которая имеет меньшую выборочную дисперсию (она считается более эффективной). Оценка должна также быть состоятельной. Это означает, что с ростом объема выборки, дисперсия оценки должна стремится к нулю.

Иногда становится важным и такое свойство оценки как простота вычислений, малое время обработки. Можно выбрать такую оценку вместо более эффективной, но и более дорогой и длительной.

Обычно оценку случайний величины (статистику) обозначают большими латинскими буквами (), значение оценки из данных выборки — соответствующими малыми латинскими буквами (), действительное значение параметра генеральной совокупности — малыми буквами греческого алфавита ().

Признаки каждого объекта выборки объема n можно считать независимыми случайными величинами Х_i (i=1,2,…, n) имеющими одинаковые законы распределения (одинаковые параметры и). Точечной оценкой математического ожидания будет статистика

.

Случайную величину называют усредненным значением признака выборочным средним. Значение для конкретной выборки будет среднее арифметическое из данных выборки

.

Если данные выборки сгруппировать в вариационный ряд, то находят по формуле

где x_i — значение варианты для дискретного вариационного ряда или средина классового интервала для интервального вариационного ряда; m_i — частота варианта или классовая частота.

Точечной оценкой дисперсии ² признака, при неизвестной величине математического ожидания является статистика

.

Значение этой статистики ² для конкретной выборки равно

.

Удобно пользоваться формулой

где или .

Точечной оценкой стандартного отклонения (среднего квадратического отклонения) является статистика

.

Точечной оценкой стандартного отклонения выборочной средней будет статистика Значение этой статистики для конкретной выборки равно

.

Подчеркнем, что s является характеристикой отдельного измерения, а — характеристикой совокупности измерений.

Если данные выборки представлены интервальным вариационным рядом, то для большего объема n и малого числа классов k.

Оценка дисперсии признака является завышенной на величину, называемой поправкой Шеппарда с учетом этой поправки имеем

где x — ширина классового интервала.

Если объем генеральной совокупности N, а объём выборки n соизмерим с N (), то дисперсия выборочной средней рассчитывается по формуле

.

Рассмотрим пример. Результаты измерения признака Х из элементов выборки объёма представлены интервальным вариационным рядом с :

По формуле находим выборочное среднее. Среднее от х² равно. Стандартные отклонение S находим с учетом поправки Шеппарда Из расчета видно, что поправка Шеппарда незначительна. По формуле определяем стандартное отклонение выборочной средней .

Такие величины как выборочные мода и медиана также могут служить для оценки среднего генеральной совокупности (особенно если генеральное распределение симметрично). Разность выборочного среднего и выборочной медианы (или моды) может быть оценкой коэффициента асимметрии. Статистики для моды и медианы определяются выборочными значениями. Например, для доли определенных элементов в генеральной совокупности (это вероятность Р случайно выбрать такой элемент) наилучшей точечной оценкой будет статистика где Х число этих элементов в выборке n, то есть доля тех же элементов в выборке.

Для двухмерной случайной величины выборка объёма n состоит из последовательности n пар чисел. Точечной оценкой корреляционного момента является статистика Для коэффициента корреляции точечной оценкой служит выражение

.

Для нахождения точечной оценки неизвестного параметра используется также метод наибольшего правдоподобия. Он состоит в том, что в качестве наиболее правдоподобного значения параметра берут то его значение, при котором вероятность получить в n опытах данную выборку является максимально большой. Каждая из величин X_i имеет плотность вероятности. Функция правдоподобия определяется соотношением

.

Эта функция имеет максимум при, где является решением управления

или .

Пусть — выборка из распределения Пуассона. Тогда

_,

.

Уравнение для определения имеет вид

решение которого даёт известный результат математический дисперсия выборка дискретный

.