О статистическом оценивании плотности распределения сплайн функциями

Теория непараметрического оценивания является одним из интенсивно развиващихся разделов математической статистики. Непараметрические методы определяются как методы, не подразумевающие знания функционального вида генеральных распределений, из которых извлечена выборка. К проблемам непараметрического оценивания относятся задачи оценивания функциональных характеристик закона распределения наблюдений. В частности, в последнее время возрастает интерес к задачам оценивания плотности вероятности.

В построении различных эмпирических характеристик случайных величин, в статистическом анализе оценок различных функционалов от плотности вероятностей [II ?71 1171 (информационное количество Фишера, энтропия, функция опасности отказа и функция надёжности в теории массового обслуживания, оценка кривой регрессии и т. д.) пользуются оценками плотности вероятностей.

Отметим, что первые результаты в этом направлении принадлежат В. И. Гливенко 161 и Н. В. Смирнову [2.9] которые в качестве оценки неизвестной плотности вероятности рассматривали гистограмму. В. И. Гливенко ?.61 установил почти наверное равномерную сходимость гистограммы к непрерывной плотности вероятности, Н. В. Смирнов ^.30*1 получил предельный закон распределения для максимума абсолютной величины нормированного уклонения гистограммы от теоретической гладкой плотности. Дальнейшему обобщению результатов Н. В. Смирнова [30 посвящена работа С.Х.ТУманяна t.32]. — В последующем новый класс оценок, обобщающий гистограмму, был введён в работах Н. Н. Ченцова 137], [38] М. Розенблатта⁵⁵¹ и Е. Парзена ^531.

В настоящее время имеются ряд других подходов к непараметрическому оцениванию плотности вероятности .50l на которых мы не будем останавливаться.

Работы ^64* - содержат историю развития методов, сравнение и основные свойства оценок функции плотности.

Важным классом оценок плотности вероятности являются оценки, построенные при помощи сплайн функций.

В теории приближения сплайн функции по сравнению с другими аппаратами обладают по крайней мере двумя важными преимуществами. Во-первых, бесспорно, лучшими аппроксимативными свойствами и, во-вторых, удобствами реализации построенных на их основе алгоритмов на ЭВМ (см., например, ^2} «18» ] [31]).

Отметим, что алгоритмы построения кубических сплайнов являются весьма простыми и эффективно реализуются на ЭВМ, приб чём влияние ошибок округления при вычислениях оказывается незначительным. Кроме того, кубические сплайны обладают интересными экстремальными свойствами, связанными с тем фактом, что профиль рейки, проходящей через данные точки с определёнными краевыми условиями принимает форму, при которой потенциальная энергия рейки минимальна (см. 81 стр.11).

Важно отметить, что при непараметрическом оценивании функции плотности по методу максимального правдоподобия (МП) с использованием штрафных функций естественным образом, как решение оптимизационной задачи, возникают сплайн функции.

Впервые в работе [421 была предложена непараметрическаяоценка неизвестной плотности вероятности, основанная на параболической сплайн функции. В этой работе даны достаточные условия сходимости оценки плотности параболического сплайна. М. Розенблатт и К. С. Лии [48] рассматривали в качествекубической сплайн функции. Они изучали асимптотическое поведение смещения, дисперсии и ковариации сплайн оценки.

Асимптотика среднеквадратической ошибки сплайн оценки была получена в работе Г. Ваба 161} • Использованию сплайн функций в регрессионных моделях посвящена работа [62].

В работе [49] найдено предельное распределение квадрати-ческой меры отклонения сплайн оценки плотности вероятностей.

Автор работы [44] вводит три типа сплайн оценок для неизвестной плотности распределения и приводит необходимое и достаточное условие для сходимости почти наверное в равномерной метрике этих оценок к истинной плотности вероятности.

К установлению дальнейших статистических свойств сплайн оценок посвящена данная диссертационная работа. В диссертации приведены экспоненциальные оценки для распределений сплайн оценок, установлено предельное распределение квадратичной меры отклонения сплайн оценок, найдено впервые предельное распределение максимального уклонения сплайн оценок. Полученные результаты позволяют строить критерии согласия для проверки гипотезы о плотности распределения, а также построить доверительную область для значений неизвестной плотности распределения.

Переходим к обзору результатов диссертации.

В работе принята следующая нумерация теорем и формул, оценки неизвестной плотности распределенияпроизводнуюсамостоятельная в каждом параграфе* При ссылках на теорему или формулу другого параграфа номер параграфа ставится впереди. Например (3.5) означает ссылку на формулу 5 параграфа 3.

Работа состоит из введения и семи параграфов.

В предлагаемой работе в качестве оценок плотности распределения сосредоточенной на отрезке [o, i] принята производная от кубического сплайна и изучены различные свойства этой оценки.

В § I изложено построение сплайн оценки.

В § 2 приведены некоторые вспомогательные факты. которые применяются в последующем в доказательстве основных результатов диссертации.

В § 3 найдено (теорема 3.2) необходимое и достаточное условие для сходимости почти наверное в равномерной метрике сплайн оценок onM и, а именно: при условии, что h-«o.1ИЛ о при и->оо «для того чтобы с вероятностью едиотносительно меры Лебега.

Отметим, что аналогичные результаты для оценок типа Парзена-Розенблатта и Н. Ченцова установлены в работах [241 llli ницанеобходимо и достаточно, чтобы функция была сосредоточенной и непрерывной на М1 плотностью распределения[523 Дб7].

Отметим, что теорема 5.1 уточняет результат К. С. Лии [49] в смысле ослаблений условий на |(х). В [49] предполагалось, что -|(/х:) 6 С^&Л! а в теореме 5.1 требуется только&euroI" If A 0<& $ 1Здесь же изучаются асимптотические поведения критерия согласия, основанного на Тп.

Одной из важных задач в непараметрической теории оценивания является исследование максимума модуля уклонения оценки плотности распределения от ^(т).

Актуальность этой задачи была отмечена, например, в работах [411 и [541. Исследование максимума модуля уклонения оценки от по отрезку вещественной прямой позволяет, в частности, строить асимптотические полосы для непрерывной плотности.

Предельное распределение максимума модуля уклонения оценок типа Парзена-Розенблатта впервые было найдено в [.411 • Из работы Бикела и Розенблатта [411 следует, что нахождение предельного распределения максимума модуля уклонения оценки типа Парзена-Розенблатта по отрезку сводится к нахождению предельного распределения максимума модуля стационарного гауссовского процесса на большом интервале. Уточнению и обобщению результатов Бикела и Розенблатта посвящены работы [131 «[14].

В § 7 диссертации исследуется максимум модуля уклонения сплайн оценок плотности вероятностей. Эта задача сведена к задаче нахождения предельного распределения максимума модуля гауссовского локально стационарного процесса на большом интер-. вале.

Основной результат этого параграфа утверждает, что принекоторых условиях на1. Is'hW * - Щ&для всехгде-XDit it) — ^ ?Ли VхЦи ¦VОС- №аопределено в § 7, стр. 93.

Основные результаты диссертации опубликованы в fell -[23] Они докладывались на Всесоюзном семинаре по теории многоком-панентных случайных систем (Ташкент, 1982), на Ш-Ферганской. конференции по предельным теоремам теории вероятностей (Фергана, 1983), на заседании семинара «Избранные задачи теории случайных процессов и полей» в МГУ им. М. В. Ломоносова,' на городском семинаре кафедры теории вероятностей и математической статистики ТашГУ им. В. И. Ленина и «Асимптотическиеметода в математической статистике» в Институте математики им" В. И. Романовского, а также на ежегодных конференциях профессорско-преподавательского состава Ташкентского электротехнического института связи.

Точки называются узлами сплайна.

Мы будем рассматривать только интерполяционный кубический сплайн. Поэтому слово «интерполяционный» будет опускаться.

В дальнейшем для удобства положим [a,, а получаемые результаты остаются справедливыми и для любого конечного интервала [а, ы.

Если выберем граничные условия для в виде (5)V) ii3(6) — 22 то olo г CLm Г О И [49]LгдеN-l: (м г (i" M N Г" 1и N (7)еслиJг о{ч) если J ly^.^U-t уесли ^ - N -1.

ЦО ' 1JВ дальнейшем, в§-3, § 4, § 5, §-6и§-7 будем предполагать:1) неизвестная плотность вероятности сосредоточена и непрерывна в интервале -2) в качестве статистической оценки плотности вероятности принята либо статистика (1*8), либо (I.IO)-3) шаг интерполяции \ удовлетворяет условиюУ\ оо И->оо.§ 2. НЕКОТОРЫЕ ВСПОМОГАТЕЛЬНЫЕ РЕЗУЛЬТАТЫ.

Приводим некоторые вспомогательные результаты, которые применяются в следующих параграфах.

В последующем мы воспользуемся следующими вспомогательными левшами.

Лемма 3. Пусть ^ и ^ случайные величины такие, что для некоторых ?.1 £.г>0PllvM^O <ч •Тогда для любых ОсДоказательство леммы 3 простое, поэтому мы его опускаем.

Доказательство см. в [15].

Лемма 6. Если о? a * - точк-гК — 1}ЪjугдекСая. iii —Vсуммирование ведётся по всем упорядоченным разбиениямК Tit ^ CL^I,!,"., [ к/г >[оОцелая часть положительного числа. Доказательство см. в til]. § 3. СИЛЬНАЯ СОСТОЯТЕЛЬНОСТЬ СПЛАЙН ОЦЕНОК В РАВНОМЕРНОЙ МЕТРИКЕВ этом параграфе в качестве оценки f-Cx'i примем статистику (I.8). Отметим, что результат, полученный в этом параграфе остается справедливым и для оценок вида (I.IO)•Следующая теорема характеризует асимптотические. поведения смещения, коварнации и дисперсии сплайн оценки.

Из лемм 1.2 следует, что с вероятностью единица приIL n^SUP o<-L/ ИТаким образом, объединяя (1)-(4) и используя теорему 10 из L3ll получим утверждение теоремы I.I..

Необходимость. Пусть в вероятностью единицаsupOi o^tпри Y -> OQ. Отсюда и из непрерывности SnM следует непрерывностьГнаотрезкеСледовательно, последовательность случайных величинС-.

1. АЗЛАРОВ Т.А., ХАШИМОВ Ш. А. О предельном распределении оценок некоторых нелинейных функционалов от плотности вероятностей, Предельные теоремы для случайных процессов и смежные вопросы, Ташкент, «Фан», 1982, 3−15..

2. АЛБЕРГ Дж., НИЛЬСОН Э., УОЛЬШ Дж., Теория сплайнов и её приложения, М., «Мир», 1972..

3. БЕНТКУС Р.Ю., КАЗБАРАС А.Р., Об оптимальных статистических оценках плотности распределения, ДАН СССР, 1981, 258, № 2, 265−268..

4. БЕНТКУС Р., РУДЗКИС Р., Об экспоненциальных оценках распределения случайных величин. Литов. матем. сб., 1980, 20,1, 15−30..

5. ВАПНИК П., СТЕФАНЮК А.Р., Непараметрические методы восстановления плотности вероятностей. Автоматика и телемеханика, 1978, *6, 38−52..

6. ГЛИВЕНКО В.И., Курс теории вероятностей, М., 1939..

7. ДМИТРИЕВ Ю.Г., ТАРАСЕНКО Ф.П., Теория вероятностей и её применения, 1973, 18, 3, стр. 662..

8. ЗАВЬЯЛОВ Ю.С., КВАСОВ Б.И., МИРОШНИЧЕНКО В.Л., Методы сплайн-функций, М., «Наука», 1980..

9. ИБРАГИМОВ И.А., ХАСЬМИНСКИИ Р.3., 06 оценке плотности распределения, Зап. науч. семинаров ЛОМИ, 1980, 98, 61−85..

10. ИБРАГИМОВ И.А., ХАСЬМИНСКШ Р.З., Асимптотическая теория оценивания, М., «Наука», 1979..

11. КАЗБАРАС А. Большие уклонения для статистических оценок плотности распределения. Литов. матем. сб., 1980,20,1,51−57..

12. КОНАКОВ В.Д., Полные асимптотические разложения для максимального уклонения эмпирической функции плотности. Теория вероятн. и её применения, 1978, 23, 3,495−509..

13. КОНАКОВ В.Д., ПИТЕРБАРГ В.И., Скорость сходимости распределений максимальных уклонений гауссовских процессов и эмпирических плотностей. I., Теория вероятностей и её применения, 1982, 27, 4, 707−724..

14. КОНАКОВ В.Д., ПИТЕРБАРГ В. И. Скорость сходимости распределений максимальных уклонений гауссовских процессов и эмпирических плотностей. П., Теория вероятн., и её применения, 1983, 28, 4, 764- I 07..

15. КРАМЕР Г., Математические методы статистики, М., ИЛ, 1948..

16. КРАМЕР Г., ЛЙДБЕТТЕР М., Стационарные случайные процессы, М., «Мир», 1969..

17. ЛЕВИТ Б.Я., Проблемы передачи информации, 1978, 14, 3, стр. 65..

18. ЛЕОНОВ В.П., ШИРЯЕВ А.Н. К технике вычисления семиинвариантов. Теория вероятн. и её применения, 1959, 4, 3, 342−355..

19. МАНИЯ Г. М., Статистическое оценивание распределения вероятностей, Тбилиси, 1974,.

20. МИРЗАХМВДОВ М.А., 0 скорости сходимости в оценивании плотности вероятности, ДАН УзССР, 1981, № 4, 7−9..

21. МУМИНОВ М.С., Большие уклонения для сплайн оценок плотности распределения. Известия АН УзССР, серия физ.-мат.наук, 1983, № 4, 19−20..

22. МУМИНОВ М.С. О статистических свойствах сплайн оценок плотности вероятностей. Рукопись деп. в ВИНИТИ, 23.05.84,№ 3324−84. 22 с..

23. МУМИНОВ М.С., ХАШИМОВ Ш. А., Об оценке плотности вероятности сплайн функцией,^опись деп. в ВИНИТИ, 22.05.84,3291−84. 35 С..

24. НАДАРАЯ Э.А., Непараметрическое оценивание плотности вероятностей и кривой регрессии, Тбилиси, Издательство университета, 1983..

25. НАДАРАЯ Э.А., 0 квадратической мере отклонения проекционной оценки плотности распределения, Теория вероят. и её применения, 1976, 4, 864−871..

26. ПЕТРОВ В.В., Суммы независимых случайных величин, М., «Наука», 1972..

27. РУДЗКИС Р., О лемме В. А. Статулявичуса. Литов.матем.сб., 1977, 17, 2, 179−185..

28. СКОРОХОД А. В. Случайные процессы с независимыми приращениями, Физматгиз, 1963..

29. СМИРНОВ Н.В., Приближение законов распределения случайных величин по эмпирическим данным, Успехи Матем. Наук, 1944, 10, 179−206..

30. СМИРНОВ Н.В., 0 приближении плотностей распределения случайных величин, Ученые записки МГПИ им. В. П. Потёмкина, 1951, 16, 3, 69−96..

31. СТЕЧКИН С.Б., СУББОТИН Ю.Н., Сплайны в вычислительной математике, М., «Наука», 1976..

32. ТУМАНЯН С.Х., 0 максимальном уклонении эмпирической плотности распределения, Научные труды Ереванского государственного университета, 1955, 48, 3−48..

33. ХАРДИ Г. Г., ЛИТТЛЬВУД Дж.Е. и ПОЛИА Г., Неравенства, М., ИЛ., 1948..

34. ХАШИМОВ Ш. А. Асимптотическая нормальность и большие уклонения для непараметрических оценок плотности распределения, Случайные процессы и математическая статистика, Ташкент, «Фан», 1983, 218−222..

35. ХАШИМОВ Ш. А. О скорости сходимости квадратичной меры отклонения непараметрической оценки плотности распределения, Теория вероятн. и её применения, 1984, I, 164−170..

36. ЧЕНЦОВ Н. Н. Оценка неизвестной плотности распределения по наблюдениям, ДАН СССР, 1962, 147, I, 45−48..

37. ЧЕНЦОВ Н. Н. Статистические решающие правила и оптимальные выводы, М., «Наука», 1972..

38. ШИРЯЕВ А.Н., Вероятность, М., «Наука», 1982..

39. BERMAN S.M., Sojourns and extreme of Gaussian processes, Ann. Prob., 1974, 2,6.41• BICKEL P., ROSENBLATT M., On some global measures ofdeviations of density functions estimates. Ann. Statist., 1973, 1, 6, 1071−1095..

40. BONEVA L.I., KENDALL D.G. and STEPANOV I., Spline transformations. J. Roy. Statistist. Soc., 1971, B33, 1−70..

41. BOSQ D., Contribution a1la theorie de I*estimationfunctionelle. Publi. Inst. Statist. Univ. Paris, 1970, «19, 2, 1−96..

42. KOMLOS J., MAJOR P. and TUSNADY G., Ann approximationof partial sums of independent rv’s and the sample df. I, Z. Wahrscheimlichkeitstheorie und Verw. Geb., 1975, 32, 111−131..

43. LEONAKD I. Density estimation, stochastic processesand prior information. J.Roy. Statist. Soc., 1978, В 40, 2, 113−146..

44. LII K.S. and ROSENBLATT M., Asymptotic behavior of a spline of a density function. Comput.Math. Appl., 1975, 1, 223−235..

45. LII K.S., A global measure of a spline density estimate. Ann. Statist., 1978, 6, 5, 1138−1148..

46. LQFTSGARDEN D.O., QUESENBERRY C.P., A nonparametric estimate of multivariate density function, Ann. Math. Stat., 1965, 36, 1049−1951..

47. MIRZAHMEDOV M.A., CHASHIMOV Sh.A., On some properties of estimators of a orobability density, Kybernetika, 1973, 9, 4, 242−250..

48. MIRZAHMEDOV M.A., CHASHIMOV Sh.A., On some propertiesof the estimators of the probability density. Proceedings of the European Meeting of the Statisticians. Budapest 1974..

49. PARZEN E, On estimation of probability density function and mode, Ann, Math. Stat., 1962, 33, 3, 1065- H076..

50. REVESZ P., Testing of density of density functions, Periodica Math. Hungarica, 1971, 1, 1, 35−44..

51. ROSENBLATT M., Remarks on some non-parametric estimates of a density function, Ann. Math. Stat., 1956, 27, 832−837..

52. ROSENBLATT M., Curve estimates. Ann. Math. Statist., 1971, 42, 6, 1815−1842..

53. SAMANTA M., A note on uniform strong convergence of bivariate density estimates. Z. Y/ahrscheinlichkeits theorie und Verw. Geb., 1974, 28, 2, 85−88..

54. SCHWARTS S.C. Estimation of probability density by on orthogonal series. Ann. Math. Stat., 1967, 38, 126,1−1265..

55. SCOTT D. W^, TAPIA R.A., THOMPSON J.R., Nonparametric probability density estimation by discrete maximum penalizcdlikelihood criteria, Ann. Stat., 1980, 8, 4, 820−832..

56. VIOLLAZ A. J", Asymptotic distribution of norm of the deviations of density function estimates. Ann. Statist., 1980, 8, 2, 322−346..

57. WAHBA G., Interpolating spline methods for density estimation. I. Equi-spaced khots, Ann. Statist., 1975, 3,1, 30−48..

58. WEGMAN E.J., Nonparametric probability density estimation II. A comparision of density estimation methods. J. Statist. Comput. Simul., 1972, v. 1, 225−245..

59. WEGMAN E.J., WRIGHT I.W., Splinesin statistics. J.Amer. Statist, Assoc., 1983, 78, No 382, 351−365..