Приближенные методы разделения смесей вероятностных распределений

Актуальность темы

исследования. Смеси вероятностных распределений являются популярными математическими моделями, описывающими статистические закономерности в самых разных областях знания, например, в гидрологии, финансовом анализе, биологии, астрономии, физике плазмы, обработке изображений, актуарной и страховой математике, теории массового обслуживания. Они демонстрируют высокую адекватность при описании неоднородных данных. Смеси вероятностных распределений хорошо зарекомендовали себя при описании хаотических процессов, моделирующих, к примеру, поведение цен финансовых инструментов [1], турбулентной плазмы [1, 2]. Публикации, в которых используются смешанные вероятностные модели, исчисляются сотнями. Многочисленные примеры случайных процессов, имеющих в качестве одномерных распределений смеси нормальных распределений, можно найти в книге [1] и работах из библиографии к ней.

Смеси также используются как неотъемлемые составные части некоторых математических методов. Например, на представлении распределения вероятностей в виде смеси основан байесовский подход к статистическому анализу. Методы непараметрического (ядерного) оценивания распределения вероятностей и кластерного анализа также фактически сводятся к представлению оцениваемого распределения в виде смеси.

Согласно расхожему мнению, чрезвычайно высокая адекватность смешанных вероятностных моделей может быть формально объяснена большим числом настраиваемых параметров, позволяющих подогнать какую угодно модель к каким угодно данным. Среди статистиков хорошо известно высказывание Ж. Бертрана «Give me four parameters and I shall describe an elephantwith five, it will wave its trunk» (цитируется по статье Л. ЛеКама [3]). Это обстоятельство, конечно же, играет заметную роль, однако на самом деле смешанные вероятностные модели в большинстве случаев адекватны по гораздо более естественным глубоким причинам.

В прикладной теории вероятностей принято считать ту или иную модель в достаточной мере обоснованной (адекватной) только тогда, когда она является асимптотической аппроксимацией, то есть когда существует довольно простая предельная схема (например, схема суммирования) и соответствующая предельная теорема, в которой рассматриваемая модель выступает в качестве предельного распределения [4]. В последнее время доказаны разнообразные предельные теоремы, устанавливающие критерии сходимости распределений статистик, построенных по выборкам случайного объема, в первую очередь, сумм случайного числа случайных величин [5, 6] и порядковых статистик [7, 8] к смесям тех распределений, которые выступают в качестве предельных при неслучайном объеме выборки.

Первые работы по исследованию и применению смесей вероятностных распределений появились еще в конце XIX века. К числу пионерских работ этого направления можно отнести работы С. Ньюкомба 1886 г. 9] и К. Пирсона 1894 г. 10]. В них рассматривается смесь нормальных распределений, использующаяся для моделирования скошенных и островсршшшых распределений.

Как отмечалось выше, платой за высокую адекватность смешанных моделей является большое число параметров, подлежащих статистическому оцениванию. Более того, задача отыскания статистических оценок параметров смесей распределений вероятностей (разделения смеси), вообще говоря, является некорректной и имеет единственное решение, только при дополнительном условии идентифицируемости рассматриваемого семейства смесей [11].

В общем случае задача разделения смеси вероятностных распределений заключается в поиске смеси из некоторого допустимого класса, которая ближе всего в некотором смысле к распределению наблюдаемой величины. Так как класс допустимых смесей чаще всего определяется классом допустимых смешивающих распределений, гарантирующих идентифицируемость модели, задача разделения смеси чаще всего сводится к задаче статистического оценивания смешивающего распределения по реализациям смеси. Различные примеры решения таких задач можно найти в [12, 13, 14, 15].

Традиционными статистическими инструментами при решении задачи разделения смеси являются метод моментов и метод максимального правдоподобия. Эти подходы восходят к цитированным выше работам С. Нью-комба [9] и К. Пирсона [10]. Так, в работе Пирсона [10] применяется метод моментов. Эта работа вообще интересна тем, что в ней изучается не только сама задача разделения смеси распределения, но и корректность ее постановки.

Как правило, для оценки смешивающего распределения в рассматриваемых задачах используется метод максимального правдоподобия. При этом ищется точка глобального максимума функции правдоподобия, соответствующая семейству допустимых смесей, как функция параметров. Численно данная задача может быть решена с помощью стандартных методов оптимизации [16]. К примеру, в работе [17] сравнивается применение метода Ньютона и метода наискорейшего спуска. Показано, что для разделения конечных смесей нормальных распределений метод наискорейшего спуска лучше работает на выборках малого размера в то время, как метод Ньютона — на выборках большого объема. Информацию о других методах решения задачи статистического разделения смесей вероятностных распределений таких, как метод моментов, метод минимума хи-квадрат, метод наименьших квадратов и пр., можно найти, например, в обзорах [18, 19] и книгах [12, 13, 14, 15].

Для конечных смесей нормальных распределений задача поиска оценок максимального правдоподобия может быть решена с помощью ЕМ-алгоритма. ЕМ-алгоритмом принято называть схему построения процедур итерационного типа для численного решения задачи поиска экстремума целевой функции в разнообразных задачах оптимизации. В частности, в прикладной статистике эта схема вполне работоспособна при поиске оценок максимального правдоподобия и родственных им в ситуациях, когда функция правдоподобия имеет сложную структуру, из-за которой другие методы оказываются неэффективными или вообще не применимыми.

По-видимому, впервые итерационная процедура типа ЕМ-алгоритма, позволяющая находить численное решение задачи максимизации функции правдоподобия при разделении смесей распределений вероятностей, была предложена С. Ньюкомбом в уже упоминавшейся выше пионерской работе [9]. Затем после довольно большого перерыва эта идея вновь возникла в работе [20]. Появление первых электронно-вычислительных машин сделало возможной удобную и быструю реализацию довольно сложных итерационных процедур, к числу которых принадлежит ЕМ-алгоритм, и стимулировало дальнейшее развитие идей, лежащих в основе ЕМ-алгоритма. Эти идеи нашли свое отражение в работах [21, 22, 23, 24, 25, 26, 27, 28, 29]. Достаточно полный исторический обзор на эту тему сдержится в книге [30].

Теория ЕМ-алгоритма изложена и систематически исследована в работах [31, 32]. Само название ЕМ-алгоритм было предложено в работе [31], посвященной применению метода максимального правдоподобия к статистическому оцениванию по неполным статистическим данным. Возможно поэтому зарубежные источники традиционно ссылаются на эту статью [31], как на первую работу по ЕМ-алгоритму.

Основные свойства ЕМ-алгоритма были описаны еще в работе [24]. Позднее в работа [31, 12, 33, 34, 35] эти свойства были передоказаны и развиты.

Литература

по ЕМ-алгоритму и его применениям к решению задач из конкретных областей обширна. Перечисление всех работ заняло бы слишком много места. Ограничимся упоминанием лишь книг, посвященных собственно ЕМ-алгоритму [36, 30], монографий, в которых ЕМ-алгоритму уделено значительное место [37, 38], а также работ [39, 40, 41, 1].

Поиск оценок весов и параметров компонент смеси с помощью ЕМ-алгоритма работает эффективнее, чем стандартные методы оптимизации [1]. Однако в общем случае функция правдоподобия конечной смеси нормальных распределений нерегулярна, имеет много локальных максимумов (возможно, к тому же бесконечных). Поэтому при численном решении дайной задачи ЕМ-алгоритм так же, как и стандартные методы оптимизации, становится крайне неустойчивым. К сожалению, последнее обстоятельство является серьезным препятствием для корректной интерпретации результатов применения данных алгоритмов к разделению конечных смесей нормальных законов.

В частности, было экспериментально установлено, что ЕМ-алгоритм обладает неустойчивостью по начальным данным. Например, в случае четырех-компонентпой смеси нормальных законов, при объеме выборки 200−300 наблюдений, замена значения лишь одного из них на другое может кардинально изменить итоговые оценки, полученные с помощью ЕМ-алгоритма [41]. Поэтому необходимо иметь альтернативные методы разделения смесей, ориентированные не на максимизацию «полной» функции правдоподобия, а на оптимизацию других разумных критериев качества получаемых оценок.

Одно из серьезных ограничений использования метода максимального правдоподобия для решения данной задачи заключается в том, что класс допустимых смешивающих распределений чаще всего параметризован и задастся точками из некоторого подмножества евклидова пространства. Это связанно с тем, что поиск точек глобального максимального правдоподобия обычно проводится численно. При этом задача поиска оценки смешивающего распределения, например, среди всех распределений, сосредоточенных на некотором компакте, не может быть решена с помощью данных методов без дополнительных ограничений.

Поиск новых эффективных методов является принципиально важным с точки зрения возможности адекватной практической интерпретации результатов работы алгоритмов разделения смесей. Именно такие альтернативные методы и предлагаются в данной работе.

Используемые подходы и методы. Рассматриваемых методы используют подход, основанный на замене исходной смеси другой, близкой к ней, для которой неизвестными являются только веса компонент. Первые результаты применения методов, разработанных в рамках этого подхода [42, 41], к анализу конкретных процессов описаны в [43, 44]. Данная работа развивает идеи из [42, 41, 43] и дополняет [44], в которой исследованы сеточные методы разделения смесей вероятностных распределений, основанные на минимизации невязки между эмпирической и теоретической функциями распределения.

Как было отмечено выше, при работе сеточных методов поиск оценки смешивающего распределения ведется в классе распределений, сосредоточенных на конечном множестве фиксированных точек, покрывающих область, содержащую носитель истинного распределения. Для доказательства допустимости такого подхода необходимо исследовать стохастическую устойчивость модели, с которой ведется работа. Поэтому в первой главе рассматриваются верхние и нижние оценки устойчивости смесей вероятностных распределений к возмущениям смешивающих распределений.

Оценкам устойчивости различных классов смесей нормальных распределений к возмущениям смешивающих распределений были посвящены работы [45, 46, 47]. Результат для частного случая — простой модели загрязнения (контаминации), предложенной Дж. Тьюки [45], был получен в [42, 47]. В [46] можно найти решение этой задачи для оценки расстояния между нормальным распределением и масштабной смесью при выполнении некоторых условий, наложенных на смешивающее распределение.

Цель работы. Исследовать свойства сеточных методов разделения смесей и теоретически обосновать их состоятельность.

Краткое содержание диссертации. В нерпой главе диссертации получены верхние оценки близости сдвиг-масштабных смесей нормальных законов через близость смешивающих распределений в метрике Леви-Прохорова, аналогичные оценки в метрике Леви рассмотрены для масштабных и сдвиговых смесей. Помимо этого, исследуются нижние оценки устойчивости для различных подклассов смесей нормальных законов. Показано, что для сдвиговых смесей полученные оценки не могут быть улучшены без дополнительных ограничений. В заключение выписаны достаточные условия существования нижних оценок для произвольных классов смесей. Результаты первой главы используются во второй и третьей главах для обоснования применимости сеточных методов и исследования их свойств.

Вторая глава посвящена описанию сеточных методов разделения смесей вероятностных распределений. Предложены методы приближенного разделения смесей, основанные на.

• (1) минимизации невязки между теоретическими и эмпирическими моментами.

• (11) максимизации сеточной функции правдоподобия.

Показано, что задачи типа (?) могут быть сведены к задачам линейного программирования. Для численного решения задач типа (?1) предложены «усеченный» ЕМ-алгоритм и алгоритм условного градиента. Приведены результаты сравнительного анализа эффективности предложенных методов.

Показано, что наибольшую эффективность при решении задачи разделения смесей вероятностных распределений демонстрирует сеточный метод максимального правдоподобия, реализованный с помощью алгоритма условного градиента. Этот вывод сделан как на основе исследования свойств алгоритмов, так и на основе анализа применения различных сеточных методов разделения смесей к решению задачи статистической декомпозиции во-латильности финансовых индексов.

В третьей главе исследуются асимптотические свойства оценок смешивающего распределения, полученных с помощью сеточного метода максимального правдоподобия для масштабных смесей нормальных законов. К сожалению, классическая теория, описывающая свойства оценок максимального правдоподобия, не может быть применена для изучения свойств последних. Для их исследования используются аппараты М-оценок и эмпирических процессов, достаточно подробно описанных в работах [48, 49].

При работе сеточных методов разделения смесей поиск оценки смешивающего распределения ведется в классе, который, вообще говоря, не обязан содержать истинное распределение. Однако для любого смешивающего распределения можно выбирать семейство допустимых распределений так, чтобы в нем существует распределение, приближающее истинное с заранее заданной точностью. С учетом этого в третьей главе представлен алгоритм согласованного пополнения класса допустимых распределений и увеличения размера выборки такой, что последовательность получаемых оценок сходится к оцениваемому распределению.

Основные результаты.

1. Получены верхние оценки устойчивости для масштабных, сдвиговых и сдвиг-масштабных смесей нормальных законов.

2. Исследованы вопросы существования нижних оценок устойчивости для подклассов смесей нормальных законов. Оценки для сдвиговых смесей нормальных распределений получены в явном виде.

3. Разработан, исследован и реализован класс сеточных методов разделения смесей. Проведено тестирование данных алгоритмов на различных наборах данных.

4. Исследованы асимптотические свойства оценок, получаемых с помощью сеточного метода максимального правдоподобия.

5. Доказана функциональная предельная теорема, описывающая сходимость оценок, полученных с помощью сеточного метода максимального правдоподобия для разделения масштабных смесей, при согласованном увеличении размера выборки и числа узлов сетки.

Апробация диссертации. Результаты диссертации докладывались на ежегодной международной конференции студентов, аспирантов и молодых учёных «Ломоносов» (Москва, Россия, апрель 2009 г. и апрель 2012 г.), на научной конференции «Ломоносовские чтения» 2012 года на секции вычислительной математики и кибернетики (Москва, Россия, 16−25 апреля 2012 г.), XXX Международном семинаре по проблемам устойчргвости стохастических моделей (Светлогорск, Россия, 24−30 сентября 2012 г.), VI Международном рабочем семинаре «Прикладные задачи теории вероятностей и математической статистики, связанные с моделированием информационных систем» (Бер-Шева, Израиль, ноябрь 2012 г.), на научно-исследовательском семинаре «Теория риска и смежные вопросы» на факультете ВМК МГУ, на семинаре «Исследование асимптотического поведения и устойчивости стохастических моделей» на механико-математическом факультете МГУ, на семинаре «Моделирование финансовых рынков» в Высшей школе экономики. Результаты диссертации опубликованы в 10 печатных работах, 3 из которых — в журналах, включенных в список ВАК.

Основные результаты диссертации состоят в следующем:

1. Получены верхние оценки устойчивости для масштабных, сдвиговых и сдвиг-масштабных смесей нормальных законов.

2. Исследованы вопросы существования нижних оценок устойчивости для различных подклассов смесей нормальных законов. Оценки для сдвиговых смесей нормальных распределений выписаны в явном виде. Построен пример, показывающий, что полученные оценки не могут быть принципиально улучшены без дополнительных ограничений на смешивающее распределение. Доказана теорема, устанавливающая достаточные условия существования нижних оценок.

3. Разработан, исследован и реализован класс сеточных методов разделения смесей вероятностных распределений. По результатам тестирования алгоритмов на различных наборах данных были сделаны следующие выводы: a) Сеточный метод моментов менее точен, нежели сеточный метод максимального правдоподобия, и показывает менее устойчивые результаты работы на исследуемых данных. b) Сеточный метод моментов с минимизацией евклидовой нормы невязки плохо применим для численного решения задачи разделения смесей. c) Использование «усеченного» («сеточного») ЕМ-алгоритма даст результаты, практически идентичные результатам, получаемым с помощью максимизации сеточной функции правдоподобия градиентными методами. При этом наиболее высокое быстродействие демонстрирует сеточный метод максимального правдоподобия, реализованный при помощи алгоритма условного градиента.

4. Исследованы асимптотические свойства оценок, получаемых с помощью сеточного метода максимального правдоподобия. Выписана оценка скорости сходимости в сеточном методе максимального правдоподобия при неограниченном увеличении размера выборки на фиксированной сетке.

5. Доказана функциональная предельная теорема, описывающая сходимость оценок, полученных с помощью сеточного метода максимального правдоподобия для разделения масштабных смесей, при согласованном увеличении размера выборки и числа узлов сетки. Она позволяет теоретически обосновать применимость сеточных методов на практике.

ЗАКЛЮЧЕНИЕ

.