Метод наименьших квадратов

Московский Авиационный институт

(Государственный технический университет)

Курсовая работа

по дисциплине: «Теория вероятностей и математическая статистика»

На тему: «Метод наименьших квадратов»

Вариант 11

Выполнил:

студентка группы 05−209

Трофимова Е.М.

Руководитель:

Иванов С.В.

Москва

Задание к курсовой работе

метод наименьший квадрат распределение дисперсия

Рассматривается регрессионная модель вида y=ax+b+.

Задание: 1) Считая, что a = 2,2, b = 8,5, в первом и третьем наборе = 1; во втором и четвертом наборе = 9. Получить 4 набора данных: a, b, x, е, y. 2) Получить точечные и интервальные оценки параметров a, b и .

Закон больших чисел

13.1. Виды сходимости последовательностей СВ

В п. 1.3 при определении вероятности указывается эмпирический факт, состоящий в устойчивости частоты появления события A в исследуемом опыте G при последовательном его повторении. Этот экспериментальный факт может быть обоснован математически с помощью закона больших чисел. Но для этого нам понадобятся некоторые понятия, характеризующие сходимость последовательности СВ.

Определение 13.1. Бесконечная последовательность СВ Xn, n=1,2,…, определенная на одном пространстве элементарных событий Щ, называется случайной последовательностью (СП) и обозначается {Xn}, n=1,2,…

Замечание 13.1.

Если последовательность состоит из детерминированных величин xn, то говорят, что последовательность сходится к величине x (это обозначается xn>x или limn>?xn=x), если для любого е>0 найдется такое N>0, что |xn?x|<�е для всех n? N. Попробуем уточнить смысл этого понятия для случайной последовательности. Так как для любого n, вообще говоря, может найтись такое е>0, что случайное событие Xn (щ)?X (щ)??, то нельзя говорить о сходимости случайной последовательности Xn к X в приведенном выше детерминированном смысле. Мы рассмотрим четыре вида сходимости последовательностей СВ. В дальнейшем для краткости записи мы по-прежнему не будем указывать зависимость СВ Xn (щ) от элементарного события щ.

Определение 13.2. Пусть Fn (x) — Функция распределения СВ Xn, где n=1,2,… и F (x) — функция распределения СВ X. СП {Xn}, n=1,2,…, сходится по распределению к СВ x при n>?, если последовательность функций Fn (x) сходится к функции F (x) в каждой точке x непрерывности функции F (x), т. е. Fn (x)>F (x) при n>?. Этот вид сходимости будем обозначать Xn>FX.

Пример 13.1.

Поясним на примере случай, когда Fn (x) сходится к F (x) во всех точках, за исключением точек разрыва функции F (x). Пусть с вероятностью 1 выполняется Xn=1/n, n=1,2,…, и X=0. Для них

Fn (x)={1,x?1/n, 0, x<1/n,

F (x)={1,x?0,0,x<0.

Очевидно, что Fn (x)>F (x) при n>? для всех x?0. Но Fn (0)=0 для всех n, а F (0)=1, поэтому последовательность {Fn (0)}, n=1,2,…, не сходится к F (0). Но точка x=0 является точкой разрыва функции F (x), поэтому согласно определению 13.2 Xn>FX.

Определение 13.3. Случайная последовательность {Xn}, n=1,2,…, сходится почти наверное (п.н.) к СВ X при n>?, что записывается как Xn?>"Ѓ."~.X, если

P{щ:limn>?Xn (щ)=X (щ)}=1.

Очевидно, что если Xn?>"Ѓ."~.X, то вероятность события, состоящего из таких щ, что последовательность {xn} реализаций СВ Xn (щ) не сходится к реализации x СВ X (щ), равна нулю:

P{щ:limn>?Xn (щ)?X (щ)}=0.

Таким образом, сходимость почти наверное случайной последовательности понимается по реализациям СВ Xn и X и в этом смысле похожа на сходимость детерминированной последовательности.

Кроме того, можно показать, что сходимость Xn?>"Ѓ."~.X равносильна тому, что для всех е>0 имеет место

limn>?P?е=1.

Определение 13.4. Случайная последовательность {Xn}, n=1,2,…, сходится по вероятности к СВ X при n>?, что записывается как Xn>PX, если для всех е>0 справедливо

limn>?P?е=1.

Очевидно, что условие сходимости Xn>PX, в вышеприведенном определении эквивалентно следующему: limn>?P>е=0.

Сходимость п.н. для случайной последовательности влечет за собой и сходимость по вероятности. Действительно,

Xn (щ)?X (щ)Ѓ"щ:supm?n.

Поэтому

limn>?P?е?limn>?P?е=1.

Из сходимости по вероятности не следует сходимость п.н.

Если Xn>PX, то можно доказать, что и Xn>FX. Обратное утверждение, вообще говоря, неверно.

Замечание 13.2.

В биржевом парадоксе мы имели сходимость Zn>P0.

Теорема 13.1. (Неравенство Чебышева, усиленный вариант). Пусть r-й абсолютный момент СВ X конечен, т. е. M[|X|r] 0 выполняется неравенство P? е?M[|X|r]/еr.

Д о к, а з, а т е л ь с т в о.

Для простоты доказательства предположим, что у СВ X существует плотность распределения fX (x). Тогда, используя свойство 3) f (x) имеем

M[|X|r]?

откуда следует доказываемое утверждение. ¦

Рассмотрим важный частный случай приведенного неравенства. Пусть СВ Y? X?mX, где mX? M[X]. Тогда, полагая в неравенстве Чебышева r=2, получим

P?е?M[|X?mX|2]е2?D[X]е2.

Замечание 13.3.

Данное неравенство, позволяющее оценить сверху вероятность отклонения от её МО на основе информации лишь о её дисперсии, широко используется в теории оценивания и управления стохастическими системами. В литературе чаще всего именно последнее неравенство называют неравенством Чебышева.

Определение 13.5. Случайная последовательность {Xn}, n=1,2,…, сходится к СВ X в среднем квадратическом при n>?, что записывается как Xn?>"ѓ."{.X, если M[|Xn?X|2]>0 при n>?.

Покажем, что если Xn>"ѓ."{X, то Xn>PX. Действительно, рассмотрим СВ Yn? Xn?X. В силу неравенства Чебышева для СВ Yn имеем

P?P?M[Y2n]е2?M[|Xn?X|2]е2.

Поэтому, если Xn?>"ѓ."{.X, т. е. M[|Xn?X|2]>0 при n>?, то для любого е>0 выполняется P>0 при n>?, т. е. Xn>PX. Из сходимости по вероятности не следует сходимость в среднем квадратическом.

Связь между различными видами сходимости удобно представить в виде логической схемы (рис. 13.1).

Рис. 13.1

13.2. Сходимость усредненной суммы независимых СВ

Определение 13.6. Будем говорить, что случайная последовательность {Xn}, n=1,2,…, является последовательностью независимых СВ Xn, если при любом n СВ X1,…, Xn независимы.

Определение 13.7. СВ Yn?1n?k=1nXk называется усредненной суммой СВ Xk, k=1,n…

Пусть СВ Xk, k=1,n???, независимы. Обозначим mk? M[Xk], dk? D[Xk], k=1,n… Тогда, используя свойства 1) M[X] и 4) M[X], получим

M[Yn]=1n?k=1nmk, D[Yn]=1n2?k=1nD[Xk]?1n2?k=1ndk.

Определение 13.8. Будем говорить, что к последовательности Xk, k=1,n???, независимых СВ применим закон больших чисел (ЗБЧ), если |Yn?M[Yn]|>P0 при n>?.

Теорема 13.2. (Теорема Маркова). Если для последовательности {Xn}, n=1,2,…, независимых СВ выполняется условие limn>?D[Yn]=0, то к этой последовательности применим закон больших чисел.

Д о к, а з, а т е л ь с т в о.

Утверждение теоремы равносильно тому, что

P=0.

По неравенству Чебышева при r=2 имеем

PYn?M[Yn]?P{?Yn?M[Yn]??е}?.

Согласно условию теоремы, получаем |Yn?M[Yn]|0. ¦

Утверждение теоремы остается верным, если СВ {Xn}, n=1,2,…, являются лишь попарно некоррелированными, так как свойство 4) M[X] сохраняется и для некоррелированных СВ.

Теорема 13.3. (Теорема Чебышева). Если последовательность {Xn} образована независимыми СВ, дисперсии которых равномерно ограничены, т. е. существует такая константа c, что D[Xn]?c для всех n=1,2,…, то к этой последовательности применим закон больших чисел.

Д о к, а з, а т е л ь с т в о.

Так как D[Xk]c для всех k=1,2,…, то, используя свойство 4) M[X], получим

D[Yn]=

Но c/n>0 при n>?, т. е. условие теоремы 13.2 выполнено и к последовательности {Xn}, n=1,2,…, применим закон больших чисел. ¦

Теорема 13.4. Если последовательность {Xn}, n=1,2,…, образована независимыми СВ с одинаковыми распределениями и конечной дисперсией D[X]<+?, то к этой последовательности применим закон больших чисел, причем Yn, где mx=mk?M[Xk], k=1,2,…

Д о к, а з, а т е л ь с т в о.

В данном случае D[Xk]=dX ?. Кроме того, M[Xk]?mk=mX для всех k=1,2,… Таким образом,

M[Yn]=

откуда следует, что |Yn?mX|0. ¦

Определение 13.9. Будем говорить, что к последовательности {Xn}, n=1,2,…, независимых СВ применим усиленный закон больших чисел, если |Yn?M[Yn]|0 при n>?.

Из усиленного закона больших чисел следует закон больших чисел, так как из сходимости почти наверное следует сходимость по вероятности.

Теорема 13.5. (Теорема Колмогорова). К последовательности {Xn}, n=1,2,…, независимых одинаково распределенных СВ, у которых mX, конечно, применим усиленный закон больших чисел, причем YnmX.

Замечание 13.4.

В данной теореме, в отличие от теоремы 13.4, не требуется существования дисперсии СВ Xn и при этом утверждение оказывается более сильным. Но доказательство этой теоремы значительно сложнее, чем доказательство теоремы 13.4, поэтому мы не приводим его в данной книге.

Замечание 13.5.

Закон больших чисел — это, по сути, свойство случайной последовательности {Xn}, n=1,2,…, состоящее в том, что случайные отклонения отдельных независимых СВ Xn от их общего среднего значения mX при большом n в своей массе взаимно погашаются. Поэтому, хотя сами величины Xn случайны, их среднее арифметическое значение при достаточно большом n практически уже неслучайно и близко к mX. Таким образом, МО mX СВ Xn заранее неизвестно, то, согласно теореме 13.5, его можно вычислить с любой «степенью точности» с помощью среднего арифметического Yn?. Но при этом встает вопрос: в каком смысле понимать точность приближения Yn? mX? Ответ на этот вопрос будет дан в следующем параграфе. Рассмотрим опыты, проводимые по схеме Бернулли, в результате которых событие A («успех») происходит с вероятностью p? P (A).

Рассмотрим частоту «успехов» Wn (A)?M/n, где M, есть число «успехов» при n испытаниях. Случайная величина M имеет биномиальное распределение Bi (n;p).

Теорема 13.6. (Теорема Бернулли, усиленный вариант). Частота «успехов» сходится почти наверное к вероятности «успеха», т. е. Wn (A).P (A)?p

Д о к, а з, а т е л ь с т в о.

Так как M имеет биномиальное распределение, то частоту успехов Wn=M/n можно представить в виде усредненной суммы независимых одинаково распределенных СВ Xk, k=, имеющих распределение Бернулли, со значениями x0=1 и x1=0. Причем P{Xk=1}=p, P{Xk=0}=q. Поэтому

Yn=Mn= где M[Xk]=p, D[Xk]=pq, k=1,2,…

Тогда по теореме 13.5, так как выполнено условие mX=p

Замечание 13.6.

Самому Якову Бернулли принадлежит доказательство более слабого утверждения, что Wn (A)P (A). Теорема Бернулли объясняет смысл свойства устойчивости частоты Wn (A)=M/n, которое мы ранее принимали как экспериментальный факт. Таким образом, теорема Бернулли является «переходным мостиком» от теории вероятностей к её приложениям.

14.1. Сходимость нормированной суммы независимых СВ

Рассмотрим нормированную сумму Zn независимых СВ Xk, k=:

Zn?

где по свойству 4) M[X] имеет место соотношение

?D,

так как? D[Xk], mk? M[Xk]. В связи с тем, что Zn является нормированной СВ, то по свойства 5) mX: M[Zn]=0, D[Zn]=1. Изучим поведение последовательности СВ при n>?.

Определение 14.1. Будем говорить, что к последовательности {Xn}, n=1,2,…, независимых СВ применима центральная предельная теорема (ЦПТ), если последовательность СВ Zn сходится по распределению к СВ U, имеющей стандартное нормальное распределение, U? N (0;1), т. е. Zn U.

Замечание 14.1.

Как отмечалось выше, закон больших чисел — это, по сути, свойство последовательности независимых СВ Xn (см. замечание 13.5), которое выполняется при определенных условиях. Аналогичную интерпретацию имеет и центральная предельная теорема. Название «центральная предельная теорема», на наш взгляд, не очень точное, так как по смыслу — это свойство, а не теорема. Но так как в литературе это понятие закрепилось, то и мы будем его придерживаться.

Определение 14.2. Будем говорить, что последовательность {Xn}, n=1,2,…, независимых СВ удовлетворяет условию Ляпунова, если Поясним смысл условия Ляпунова. Рассмотрим для произвольного д>0 случайные события

Ak?Xk?mk, k=.

Тогда по свойству 7) P получаем По условию Ляпунова последнее выражение стремится к нулю при n>?. Таким образом, все слагаемые в нормированной сумме Zn равномерно малы в том смысле, что вероятность хотя бы одного из них превзойти величину д>0 стремится к нулю при возрастании числа слагаемых.

Теорема 14.1(Теорема Ляпунова). Если последовательность {Xn}, n=1,2,…, независимых СВ удовлетворяет условию Ляпунова и СВ Xn, её образующие, имеют конечные МО и дисперсии, т. е. mn

Замечание 14.2.

Фундаментальная роль ЦПТ в теории вероятностей состоит в том, что при весьма общих предположениях сумма большого числа независимых (относительно малых, см., например, условие Ляпунова) СВ удовлетворительно описывается нормальным законом. Этим фактом и объясняется очень широкое распространение нормального закона на практике. Отметим, что существуют и другие условия, отличные от условия Ляпунова, при которых к последовательности СВ применима ЦПТ. Но эти условия имеют общую черту: все слагаемые в нормированной сумме равномерно малы.

Пример 14.1.

Рассмотрим последовательность {Xn}, n=1,2,…, независимых одинаково распределенных СВ Xn с конечным МО, дисперсией и третьим абсолютным моментом. Тогда Таким образом, условие Ляпунова выполнено. Поэтому к последовательности независимых одинаково распределенных СВ в данном случае применима ЦПТ. В действительности это утверждение верно при более слабых предположениях. По теореме Леви для применимости ЦПТ в данном примере достаточно существования конечных МО и дисперсии.

14.2. Сходимость частоты

Основные выборочные характеристики. Основные понятия

Вариационный ряд

Выборочная функция распределения

Практическая часть

Исходные данные:

;

2,2;

= 8,5;

;

Набор 1 (n=11, шаг=5, m=0, у2=1)

Аналогичные вычисления проводим для остальных наборов данных.

Набор 2 (n=51, шаг=1,m=0, у2=1)

Набор 3 (n=11, шаг=5, m=0, у2=9)

Набор 4 (n=51, шаг=1, m=0, у2=9)

Рассмотрим

Так как, следовательно, уравнение зависит только от .

Найдём

Для набора 1:

=2,222 738

=8,389 866

Для набора 2:

=2,212 794

=8,343 918

Для набора 3:

=2,178 976

=7,761 067

Для набора 4:

=2,222 452

=8,689 651

Построение оценки неизвестной дисперсии погрешности измерений

где nчисло измерений.

где — оценка кривой регрессии

Значения найдены с помощью ЭВМ.

Для набора 1:

= 1,320 778

Для набора 2:

=1,9 621

Для набора 3:

=9,1992

Для набора 4:

=10,58 741

Сравнение точечных оценок с истинными

Сравнение графиков функций:

Для набора 1:

Для набора

Для набора 3

Для набора 4:

Построение интервальных оценок для a, b.

Построим интервальную оценку для b:

Построим интервальную оценку для a:

гдеквантиль уровня распределения Стьюдента .

Выберем уровень надежности 0,9

Для набора 1:

Для набора 2:

Для набора 3:

Для набора 4:

Построение интервальных оценок дисперсии

где ;

— квантиль для распределения с n степенями свободы.

Для набора 1:

Для набора 2

Для набора 3

Для набора 4

Список используемой литературы

1. А. И. Кибзун, Е. Р. Горяинова, А. В. Наумов «Теория вероятностей и математическая статистика. Базовый курс с примерами и задачами».

2. Электронный учебник

3. Е. М. Гмурман «Теория вероятностей и математическая статистика»