Актуальность темы
Задача обеспечения надежных статистических выводов всегда рассматривалась как важнейшая задача в обработке данных наблюдений. В последнее время наиболее важными становятся такие задачи при разработке автоматизированных систем управления технологическими процессами и транспортными средствами. При этом необходимо иметь ввиду, что поступающие в режиме реального времени данные могут быть подвергнуты воздействию неконтролируемых внешних причин, которые, в свою очередь, могут приводить и к потере части данных или к существенному искажению данных. Учет особенностей формирования доступных данных приводит к тому, что такие особенности могут быть адекватно описаны с помощью лишь непараметрических множеств распределений.
Наиболее сложными для исследований являются задачи, в которых требуется получать решения с гарантированным качеством. Это принципиально отличает рассматриваемую постановку задачи от байесовского подхода, который позволяет сохранить предложенную Вальдом конструкцию решающего правила, но при этом критерием качества решающего правила является средняя вероятность ошибки. Поэтому актуальной является задача построения решающих правил, гарантирующих, что что вероятность ошибки для любого допустимого распределения наблюдений не превосходит заданный уровень.
Оказалось, что решение задачи в такой подстановке существенно сложнее, поскольку в этом случае необходимо исследовать поведение целого семейства отношений правдоподобия, которое, как указано выше, является бесконечномерным.
Понятно, что решение должно приниматься за минимально короткое время, что особенно важно при управлении процессами в режиме реального времени. Поэтому строящиеся правила должны иметь свойства, близкие к оптимальным по средней продолжительности необходимых наблюдений. Таким образом возникает проблема построения гарантийного статистического решения задачи последовательной проверки непараметрических гипотез, требующего минимального количества наблюдений при любом возможном неблагоприятном распределении.
Последовательная проверка гипотез стала развиваться с 1940;ых годов. Первые результаты, легшие в основу теории последовательных статистических решений, приведены в работах А. Wald [72], Н. Chernoff [36] и др. Большое количество работ посвящено асимптотической теории последовательной проверки гипотез (G. Schwarz [68], J. Kiefer, J. Sacks [44], G. Lorden [45], [48], A.A. Новиков [2], М. Б. Малютов, И. И. Цитович [6], [52]—[61] и др.). М. Б. Малютовым и И. И. Цитовичем (см. [52]) была предложена асимптотически оптимальная последовательная стратегия проверки непараметрических гипотез при наличии управления наблюдениями и зоны безразличия с гарантийным решающим правилом. В основе этой стратегии лежит тест Вальда, но для ее реализации используется на первом этапе построение состоятельной оценки истинного распределения. С практической точки зрения задача построения состоятельной оценки распределения может оказаться более сложной, чем проверка гипотез, особенно в случае, когда распределения близки, поэтому практическая реализация такой стратегии может оказаться неприемлемой.
Таким образом, для обеспечения надежности статистических выводов актуальной является задача построения гарантийного статистического решения задачи последовательной проверки непараметрических гипотез, поз-1 воляющая минимизировать среднее значение необходимого количества наблюдений при любом возможном неблагоприятном распределении, но в предположении, что основные характеристики распределений известны лишь с определенной точностью. Такая постановка задачи позволяет избежать трудностей, связанных с построением состоятельной оценки распределения наблюдений.
Цель работы. Разработать непараметрические статистические модели наблюдений в зависимости от априорной информации о возможных погрешностях в распределении наблюдений. Построить субоптимальные (близкие к оптимальным) последовательные гарантийные процедуры проверки гипотез для таких моделей и исследовать их свойства.
Методы исследования. В работе использованы методы теории вероятностей, математической статистики, теории оптимизации, компьютерное моделирование.
Научная новизна работы. Предложена постановка задачи проверки статистических гипотез, в которой можно обеспечить гарантийные статистические решения, близкие к оптимальным, не используя предварительную оценку распределения наблюдений. Полученные неасимптотические оценки функции риска процедуры позволяют проводить анализ статистических моделей задачи и выбирать ту из них, которая обеспечивает наиболее эффективное решение задачи проверки гипотез при заданных априорных сведениях о возможных ошибках в наблюдениях.
Личный вклад. Все научные результаты, приведённые в диссертационной работе, получены автором лично.
Практическая ценность и реализация результатов работы. Работа носит теоретический характер. Все полученные в работе оценки продолжителыюсти процедуры принятия решения являются неасимптотическими, а решающие правила явно заданными исходя из доступных априорных сведений о точности данных наблюдений, что позволяет их использовать на практике и строить статистические решения с близкими к оптимальным свойствами. Полученные оценки эффективности гарантийных статистических решений позволяют показать влияние априорных предположений о распределении наблюдений на вес наблюдений, которые рассматриваются как выбросы. Рассматриваемый подход позволяет проводить исследование областей изменения параметров статистической модели, в которых применение определенного статистического критерия является наиболее эффективным.
Апробация работы. Основные положения диссертационной работы докладывались и обсуждались на: 14-й Международной конференции по вероятности и статистике (Созопол, Болгария, 2008), XI Всероссийском симпозиуме по прикладной и промышленной математике (Кисловодск, 2010), 30-й — 33-й конференциях молодых учёных и специалистов ИППИ РАН: Информационные технологии^ системы (2007)—(2010), научных семинарах ИППИ.
Публикации. По теме диссертации опубликовано 9 работ, в том числе 3 в изданиях из Списка ВАК.
Основные положения, выносимые на защиту:
1. Разработка понятия субоптимального статистического решающего правила, позволяющего получать близкие к оптимальным робастные статистические решения о проверке гипотез.
2. Субоптимальная последовательная процедура решения задачи проверки статистических гипотез с гарантийным решающим правилом при наличии априорной информации о равномерной относительной погрешности в плотности распределения наблюдений и ее многоэтапная модификация.
3. Свойства построенных субоптимальных процедур для задачи последовательной проверки статистических гипотез с гарантийным решающим правилом при наличии априорной информации о скорости убывания хвостов распределений.
4. Неасимптотические оценки функции риска и примеры оценки эффективности статистических моделей для решения задачи проверки гипотез с учетом доступной априорной информации.
5. Анализ свойств х2-критерия как субоптимальной процедуры при наличии некоторого априорного свойства регулярности.
Содержание работы.
В диссертации рассматривается задача построения робастного гарантийного статистического решения задачи последовательной проверки простых гипотез в предположении, что основные характеристики распределений известны лишь с определенной точностью. Для решения этой задачи предложен подход, заключающийся в переходе от задачи проверки простых гипотез к задаче проверки сложных непараметрических гипотез, когда новые гипотезы задаются окрестностями распределений, задающих исходные простые гипотезы.
В главе 1 проводится анализ возможный отклонений в определении основных характеристик модели. В разделе 1.2 в случае ограниченного множества возможных значений наблюдений X строится окрестность, содержащая распределения, относительное отклоненное плотностей которых от исходных заданных плотностей не превосходит заданное малое число е. В разделе показано, что при определенном значении параметров данные окрестности могут быть применены при наличии выбросов в модели Тьюки-Хубера, а также в ситуации, когда результат наблюдений искажается малым шумом.
В разделе 1.3 рассматривается случай, когда множество X неограниче-но. В данной ситуации предлагается учитывать оценки сходимости хвостов распределений. В разделе рассматриваются окрестности, содержащие распределения, относительное отклоненное плотностей которых от исходных заданных плотностей не превосходит заданное малое число г на отрезках Л{, на которых сосредоточена большая часть наблюденийзначения плотностей вне отрезков А{ не превосходят значения заданных функций и ?/ В качестве важного частного случае, рассматривается ситуация экспоненциального убывания хвостов наблюдения, т. е. функции ??~ и ¿-г+ имеют вид еК (х-аг) и ек+(а±х) соответственно.
В разделе 1.4 проводится анализ асимптотически оптимальной процедуры для задачи проверки сложных непараметрических гипотез (когда функцией риска является максимальная средняя продолжительность). На основании этого анализа в 1.6 вводится понятие субоптимальной процедуры, позволяющей выделять из всего множества допустимых решений близкие к оптимальным робастные статистические решения, где допустимыми считаются последовательные процедуры проверки сложных непараметрических гипотез, задаваемых окрестностями исходных распределений, максимально возможная вероятность ошибки которых не превосходит заданную малую величину а.
В разделе 1.6 рассматриваются популярные на практике многоэтапные процедуры, позволяющие снизить стоимость процедуры в случае, когда выполнение наблюдений сериями и анализ возможности завершения наблюдений и принятия решения о справедливости одной из гипотез по завершению серии, меньше, чем стоимость процедуры, когда наблюдения проводятся последовательно, и после каждого наблюдения принимается решение о необходимости проведения дополнительно наблюдения или в противном случае, о принятии одной их гипотез. Показано, что задача поиска оптимального решения в случае наличия неопределенностей в значениях параметров наблюдаемого распределения делает неоправданно громоздкими процедуры, являющиеся близкими к оптимальным для проверки соответствующих простых гипотез, не учитывающих погрешности в наблюдениях.
В второй главе диссертации решается задача субоптимальной проверки непараметрических гипотез при ограниченном множестве X в случае, когда относительное отклонение плотности истинного распределения от модельного не превосходить величину е.
В разделе 2.3 рассматривается последовательная процедура, которая не разбивается на этапы. В разделе 2.3.2 приводится субоптимальная процедура, основанная на отношении правдоподобия. Из приведенного вида полученных статистик видно, что они отличаются от соответствующих статистик теста Вальда поправочных слагаемым, зависящим от е, обусловленным неточностью задания модели. В разделах 2.2.3−2.2.5 исследуются свойства построенной процедуры. В разделе 2.2.3 показано, что процедура является допустимой, в разделе 2.2.4 получена эффективно вычисляемая верхняя оценка функции риска процедуры при выполнении некоторых достаточно общих условий регулярности. На основании полученной верхней границы и соответствующей нижней границы функции риска теста Вальда для простых гипотез доказано свойство субоптимальности предложенной процедуры. Таким образом, средняя продолжительность наблюдений при применении предложенного робастного субоптимального решающего правила возрастает несущественно по сравнению с классическим решающим правилом, особенно при малых погрешностях в определении параметров распределения наблюдений.
В разделе 2.3 рассматривается многоэтапная процедура, которая состоит из 3-х этапов. На первом этапе выполняется минимально необходимое с точки зрения информационного уклонения между гипотезами количество наблюдений. Если после первого этапа не удается принять ни одну из гипотез, то на основании статистического материала первого этапа определяется продолжительность 2-го этапа, которая является случайной величиной. Процедура построена таким образом, что 2-й этап является основным, т. е. вероятность того, что процедура не завершится после 2-го этапа, мала. На 3-м этапе проводится фиксированное количество наблюдений на основании информационного уклонения между гипотезами.
Для построенной процедуры получены свойства допустимости, верхняя граница функции риска и доказано свойство субоптимальности. Анализ верхней границы функции риска позволяет сделать вывод, что введение дополнительного ограничения на правило окончания наблюдений на этапе не приводит к существенному изменению свойств решающего правила: главный член асимптотического разложения средней продолжительности наблюдений остается таки же, как и для последовательных процедур.
В третьей главе диссертации решается задача субоптимальной проверки непараметрических гипотез при неограниченном множестве X в случае, когда относительное отклонение плотности истинного распределения от модельного не превосходить величину е на отрезках Аг, а вне отрезков Аг значение плотности ограничено сверху заданными функциями.
В разделе 3.2 рассматривается частный случай, когда плотности распределений имеют экспоненциальную скорость убывания на хвостах, а также выполняется условие непрерывности плотности. В разделе 3.2.1 приводится субоптимальная процедура для окрестностей такого типа. Вид статистик Ьг (х 1,., хп) усложнился по сравнению с соответствующей процедурой главы 2 за счет учета скоростей убывания хвостов распределений.
Анализ поправочных коэффициентов позволяет определить вес выбросов, т. е. наблюдений, значения которых лежат вне отрезков А{. Наиболее типичным являются предложения использовать выделяющиеся наблюдения с ограниченным вкладом I в статистику Ьг (х,., хп) или просто отбрасывать такие наблюдения ([15]). Последнее предложение является частным случаем первого: вес наблюдения считается равным нулю. Из вида полученных статистик Ьг (х 1,., хп) следует, что такой подход будет допустимым лишь при условии, что минимальные предполагаемые скорости убывания хвостов распределений имеют одинаковый порядок для распределений из обеих гипотез. В противном случае решающее правило может не гарантировать заданные границы для вероятности ошибки. В частности, приращения логарифма отношения правдоподобия могут быть неограниченными функциями на —оо и +оо при соответствующих значениях параметров, причем они могут быть неограниченными снизу и в этом случае предлагаемый выше подход даже со штрафными значениями I {I < 0) может не давать требуемый результат. Таким образом, предположения о минимальной предполагаемой скорости убывания хвостов распределений оказывают существенное влияние на сохранение робастпости решающего правила при использовании 1 отбрасывания отдельных результатов наблюдений или использовании их с ограниченными весами.
Для построенной процедуры в случае экспоненциально убывающих хвостов доказано свойство допустимости, получена неасимптотическая верхняя граница для функции риска и доказано свойство субоптимальности. Принципиальным отличием полученных результатов от результатов главы 2 является то, что получающаяся граница для функции риска субоптимальной процедуры в случае неопределенности на хвостах в пределе отличается от соответствующей границы для простых гипотез.
В разделе 3.3 рассматривается общий случай, когда оценка плотности на. хвостах распределений оцениваются произвольными функциями и х). В разделе 3.3.1 приведена модификация процедуры из введенной в главе 2, учитывающая отклонения в модели, описываемые функциями х) и ^(х). Для построенной процедуры доказано свойство допустимости и получена оценка сверху для функции риска. Анализ верхней оценки процедуры позволяет оценить стоимость неточностей в сведениях о параметрах распределения наблюдений. Это позволяет проводить сравнительный анализ различных моделей измеримого пространства (X, Б) для определения того из них, которое обеспечивает наименьшее среднее время наблюдений. Пример ситуации, когда переход к более простому множеству X оправдан с информационной точки зрения, поскольку на новом множестве значений наблюдений возможно лучше описать поведение функции плотности возможного распределения на хвостах, приведен в разделе 4.6.
В главе 4 выполнено исследование введенных в главах 2 и 3 процедур с помощью численного моделирования. Проведен сравнительный анализ эффективности оптимальной последовательной процедуры Вальда проверки простых гипотез и субоптимальных процедур проверки соответствующих сложных гипотез при различных предположениях об априорных сведениях о возможных погрешностях в распределении наблюдений. Кроме сравнительного анализа продолжительности процедур вычисляется и точность принимаемого решения.
Полученные результаты показывают, что применение классической процедуры Вальда может приводить к тому, что она не обеспечивает заданные уровни ошибок. Полученные результаты не могут быть объяснены статистической погрешностью, поскольку значение, а не попадает в доверительный интервал для вероятности ошибки процедуры Вальда.
В разделе 4.7 рассматривается связь между-критерием и субоптимальными решающими правилами, рассматриваемыми в диссертации. Показано, что при наличии дополнительного условия регулярности: монотонности отношения правдоподобия, статистика х2-критерия в определенном смысле близка к статистике ½ (гг), ориентированной на принятие альтернативы, а статистика критерия знаков — к статистике Ь (п), ориентированной на принятие основной гипотезы. Также получены поправочные коэффициенты для статистики х2-критерия, позволяющие обеспечить его робастность в предположениях главы 2.
4.8. Выводы.
1. Численное моделирование подтвердило теоретические положения об обеспечении предлагаемыми статистическими решениями заданного уровня ошибок.
2. Субоптимальные статистические решения при малых погрешностях в значениях параметров модели обеспечивают практически те же или близкие значения функции риска, что и стандартный тест Вальда. С другой стороны, при неправильном определении границ изменения параметров модели оба теста не обеспечивают заданную точность решения.
3. Необходимо максимально точно описывать параметры статистической модели задачи, поскольку завышение границ изменения параметров приводит к более жесткому решающему правилу, которое требует избыточного количества наблюдений.
4. Численные исследования показывают, что подход, основанный на простом отбрасывании наблюдений, которые признаются «неправильными», является необоснованным, поскольку или такие наблюдения должны быть компенсированы некоторым числом дополнительных наблюдений, или должна быть пересмотрена статистическая модель и заново сформулированы гипотезы, для которых полученные результаты наблюдений не являются выбросами.
5. Полученные результаты показывают, что неопределенность в точности определения скорости убывания хвостов распределений может приводить к тому, что гарантийная проверка гипотез делается невозможной, а при использовании более простой модели, которая не использует информацию о скорости убывания хвостов, такое решение задачи возможно.
6. Полученный результат позволяет сделать вывод о том, что необходим предварительный анализ статистической модели задачи для выяснения возможности и эффективности решения задачи гарантийной проверки гипотез при неопределенностях в параметрах модели. Становится содержательной задача выбора*статистической модели, в которой неопределенности в параметрах меньше, и несмотря на некоторое уменьшение информативности наблюдений окончательное решение в рамках новой модели оказывается боле эффективным:
7. Оценка эффективности модели может производится с помощью сравнения верхних и нижних оценок для функции риска предлагаемой субоптимальной процедуры, полученных в главе 3.
8. Критерий х2 построен на основании статистики, которая асимптотически является субоптимальной, что объясняет часто наблюдаемую эф' фективность этого критерия.
Введение
поправочных коэффициентов, вытекающих из соответствующей задачи построения субоптимальных решающих правил, позволяет устранить типичные погрешности критерия: низкую эффективность для малых и очень больших выборок. Кроме того, такой подход позволяет получить обоснование правил группи рования данных наблюдений таким образом, чтобы группировка данных не сказывалась существенным образом на эффективности критерия.
Заключение
.
1. Построены статистические модели окрестностей распределений, учитывающие априорную информацию о возможных ошибках в результатах измерений и о неопределенностях в описании распределения результатов наблюдений. Показано, что при этом возникают непараметрические множества вероятностных распределений, поэтому робастные статистические решения о справедливости одной из простых гипотез приводят к задаче проверки непараметрических гипотез.
2. Показано, что в случае ограниченного множества возможных значений X возможны статистические модели окрестностей распределений с равномерной относительной погрешностью определения плотности распределений.
3. Введено понятия субоптимального статистического решающего правила, позволяющего выделять из всего множества допустимых решений близкие к оптимальным робастные статистические решения о проверке гипотез.
4. Построены субоптимальные решающие правила в задаче последовательной проверки статистических гипотез с гарантийным решающим правилом при наличии априорной информации об равномерной относительной погрешности в плотности распределения наблюдений.
5. Построены субоптимальные решающие правила в задаче проверки статистических гипотез с гарантийным решающим правилом при дополнительном ограничении на правило организации наблюдений, когда длина каждого этапа наблюдений задана на момент начала этапа, при различных условиях на стоимость наблюдения и организации этапа.
6. Построены субоптимальные решающие правила в задаче последовательной проверки статистических гипотез с гарантийным решающим правилом при наличии априорной информации о скорости убывания хвостов распределений.
7. Для построенных процедур получены неасимптотические оценки функции риска. Это позволяет использовать полученные оценки для выбора статистической модели, обеспечивающей наиболее эффективное решение задачи проверки гипотез с учетом доступной априорной информации.
8. Проведено исследование влияния априорной информации о скорости убывания хвостов распределений на гарантийное решающее правило. Показано, что при большой погрешности в скорости убывания хвостов распределений главный член асимптотического разложения функции риска субоптимальной процедуры может не совпадать с главным членом асимптотического разложения функции риска процедуры проверки соответствующих простых гипотез. Установлено, что в некоторых случаях целесообразно проводить упрощение статистической модели для обеспечения более эффективной последовательной проверки гипотез с гарантийным решающим правилом.
9. Показано, что традиционные методы обработки результатов наблюдений с целью обеспечения робастности последующих статистических решений при определенных условиях могут быть неэффективными и не обеспечивать робастность этих решений.
10. Проведенное численное моделирование подтвердило теоретические положения об обеспечении предлагаемыми статистическими решениями заданного уровня ошибок. Субоптимальные статистические решения при малых погрешностях в значениях параметров модели обеспечивают практически те же или близкие значения функции риска, что и стандартный тест Вальда, который часто не гарантирует заданный уровень вероятности ошибки. С другой стороны, при неправильном определении границ изменения параметров модели оба теста не обеспечивают заданную точность решения.
11. Показано, что критерий х2 построен на основании статистики, которая асимптотически является субоптимальной, что объясняет часто наблюдаемую эффективность этого критерия.
Введение
поправочных коэффициентов, вытекающих из соответствующей задачи построения субоптимальных решающих правил, позволяет устранить типичные погрешности критерия: низкую эффективность для малых и очень больших выборок. Кроме того, такой подход позволяет получить обоснование правил группирования данных наблюдений, причем группировка не сказывается существенным образом на эффективности критерия.
