Разработка и исследование непараметрических вероятностных моделей стохастических систем

Актуальность темы

В связи с развитием таких направлений науки и информационных технологий, как математическое моделирование, системный анализ, обработка статистической информации стало возможным построение математических моделей сложных систем. Прогрессивная методология системного анализа [2], имеющая общетеоретическое значение при рассмотрении сущности и общих принципов исследования сложных систем, позволяет поставить задачу познания объекта (процесса, явления) в конкретных науках и выбрать эффективную стратегию его изучения как системы. Эта методология на основе сравнительного анализа альтернативных решений позволяет выбрать соответствующую концепцию построения и совершенствования моделей сложных систем, сформулировать общие условия, обеспечивающие успешную работу ряда компонент при их объединении в одно целое. Высокая результативность методологии системного анализа позволяет ставить и решать задачи организации, функционирования и дальнейшего развития сложных систем, у которых состав и границы далеко не очевидны.

Попытки моделирования сложных систем привели к появлению множества приемов, подходов, которые постепенно обобщались, образуя определенную технологию преодоления количественных и качественных сложностей. Такие ситуации возникали в разных сферах практической деятельности, а соответствующие технологии вместе с их теоретическими основами получали разные названия: в инженерной деятельности — «методы проектирования», «системотехника" — в экономике — «исследование операций" — в административном и политическом управлении — «системный подход», «политология" — в прикладных научных исследованиях — «имитационное моделирование» и т. п.

Построение математических моделей является эффективным методом исследования различных объектов и систем. Внимание к вопросам построения моделей объектов и систем в условиях их функционирования обусловлено высокой практической значимостью. В работах [5,12,21] рассматриваются проблемы моделирования, отличающиеся и методами и алгоритмами. В [71] особое внимание уделяется построению математических моделей (аналитических или имитационных), реализуемых на современных ЭВМ. Моделирование используется для принятия обоснованных решений в различных сферах деятельности.

Создание моделей может быть осуществлено на основе изучения некоторой совокупности входных и выходных величин, которые описывают поведение объекта. Моделирование на основе результатов реализаций «вход-выход» известно в настоящее время как идентификация объектов или систем.

Задача идентификации состоит в оценивании функции на основе выборки в форме: = /5(х, у1ух (), (В.1) где у>1 — выходные, а. X- =(х}-х?-.-х?) — входные измеряемые величины, = 1,5, 5 — объем выборки. Для нахождения оценки (В.1) могут быть применены как параметрические, так и непараметрические методы. В зависимости от применяемых методов формулы типа (В.1) являются параметрическими или непараметрическими моделями объекта.

Любые данные, представляющие собой количественные характеристики каких-либо объектов или систем, формируются под воздействием множества факторов, не все из которых доступны внешнему контролю. Обычно предполагают, что все факторы, не учтенные явно в модели, оказывают на объект или систему некоторое результирующее воздействие, значение которого невозможно предсказать заранее. Его можно рассматривать как некоторую случайную величину % с неизвестной плотностью распределения р (£,). При построении моделей с использованием данных экономического, медицинского, экологического характера все факторы, не учтенные в модели, обычно, носят не аддитивный, а мультипликативный характер. С помощью центральной предельной теоремы можно показать, что их закон распределения близок к логарифмически нормальному при самых общих условиях, аналогично тому, как нормальное распределение имеет место при сложении ошибок.

Введение

случайного компонента в модель приводит к тому, что взаимосвязь остальных ее переменных перестает быть строго детерминированной и становится стохастической. Наличие стохастической (вероятностной) связи между входными и выходными измеряемыми величинами предполагает, что каждому фиксированному значению входной переменной соответствует определенное (условное) распределение вероятностей выходной переменной с плотностью р (у/х). Можно рассматривать некоторую типичную характеристику этого распределения, такую, как среднее, мода, медиана и т. п. [32]. Вообще говоря, это значение будет зависеть от х и может быть обозначено ух. При изменении х, точка (х, ух) описывает некоторую кривую, которая называется модельной линией регрессии, а саму функцию — модельной функцией регрессии. Если в качестве ух выбирать условное среднее, то будем получать среднюю регрессию, если за ух принимать моду, то получается модальная регрессия, в случае выбора за ух медианы, говорят о медианной регрессии.

Стохастическая природа данных обуславливает необходимость применения специальных адекватных им статистических методов для их анализа и обработки. Для одного и того же объекта в зависимости от конкретных требований практики и типа решаемой задачи может быть построен ряд моделей. В математической статистике можно выделить два подхода к решению одних и тех же задач. Эти подходы обусловили возникновение двух больших групп методов: параметрического и непараметрического, в определенной мере конкурирующих и противостоящих друг другу.

Группа параметрических методов предполагает достаточный объем априорной информации о закономерностях функционирования изучаемых объектов, поскольку в этом случае необходимо на первом этапе определить параметрический класс моделей с точностью до набора вектора параметров. Если класс моделей, к которому принадлежит изучаемый объект, задан, то рассматривают постановку задачи идентификации в «узком смысле», которая трактуется как оценивание коэффициентов алгебраического или дифференциального уравнения объекта.

Общим вопросам идентификации в узком смысле посвящено много научной литературы. В книгах П. Эйкхоффа [72,84] рассмотрены основные понятия и определения модели, постановка задач оценивания параметров и методы решения задач для различных классов объектов. Э. П. Сейдж и Д. Л. Мелса в [63] рассматривают классические методы получения модели, базирующиеся на корреляционной теории случайных функций, методы стохастической аппроксимации. Исследуют оптимальные байесовские оценки и оценки максимума правдоподобия. В работах Н. С. Райбмана и В. М. Чадеева [57,58] рассматриваются общие методы и алгоритмы построения моделей, на базе которых решаются задачи выбора структуры параметров на основе данных «вход-выход». Формулируется постановка задачи идентификации и предлагаются методы построения линейных и нелинейных моделей. Все эти модели изучаются с точки зрения математического описания, т. е. приводятся соотношения, использующие данные наблюдения объекта. В книге ЯЗ. Цыпкина [82] в основном изложение касается идентификации линейных объектов, описывающихся линейными разностными уравнениями. Среди разнообразных алгоритмов, предназначенных для оценивания коэффициентов уравнений по наблюдаемым данным, чаще всего используются рекуррентные методы. У Ф. Фишера [77] рассмотрены вопросы идентификации экономических систем, а именно, вопросы оценивания параметров зависимостей, выражающих технологию или экономическое поведение систем на основе эмпирических исследований. Дается систематическое изложение проблем, связанных с идентификацией моделей больших размерностей. Рассматриваются условия, накладываемые на систему, а также проблемы, связанные с нелинейностью уравнений.

Для сложных реальных объектов приходится предварительно решать такие задачи, как: выбор структуры или задание класса моделей, оценивание степени и формы влияния входных переменных на выходные. Часто из-за отсутствия достаточных априорных сведений эти проблемы становятся неразрешимыми. В этом случае рассматривают задачу идентификации в «широком смысле» [43,72 и др.].

Принципы формирования алгоритмов идентификации тесно связаны с выбором аппроксимирующего уравнения объекта, выбором критерия качества этой аппроксимации (функции потерь) и выбором метода оптимизации критерия [56,83]. До сих пор этот выбор был в значительной степени произвольным, и поэтому предпочитали квадратичную функцию потерь. В этом случае получали в качестве оценки выходов среднеквадратичную (среднюю) регрессию, которую обычно называют просто регрессией, т. е. традиционно при сглаживании данных применяют модели вида: y = M{Y/x}. (В .2).

Построение и исследование регрессионных моделей можно рассматривать как с позиций параметрического подхода [5,21,27,32,33], так и непараметрического [26,48,64,80]. Следует заметить, что использование моделей средней регрессии оправдано, если условная плотность распределения выходных переменных при данном значении входа имеет симметричный или близкий к нему вид. В последнее время появилась потребность многих наук в обработке данных, не имеющих характерное гауссовское распределение. В частности, таковы многие задачи экономики, социологии, биологии и т. д. В этом случае, более разумно в качестве оценки выхода выбирать наиболее вероятное значение условного распределения [43,80,93], т. е. строить модели вида: у = mod р (у / х), (В.З) которые назовем модально-регрессионными. Следует отметить, при использовании модально-регрессионных моделей получаемые оценки выходов являются робастными, т. е. менее чувствительны к «засорениям» статистических данных и влиянию грубых ошибок, попавших в статистический материал. Пропагандой робастных методов оценивания занимались Д. Тьюки.

75], Н. Джонсон и Ф. Лион [14]. В книге В. Хардле [80] упоминается о таком простом и устойчивом методе оценивания, как медианное сглаживание и говорится об устойчивости этого метода по отношению к большим выбросам. В этой же работе рассматривается «.задача предсказания на один шаг для одномерных временных рядов», а одним из способов предсказания будущих значений является метод, основанный на функции моды условной плотности (в предположении ее однозначности).

Ясно, что применение моделей (В.З) при идентификации различных объектов предпочтительнее, т. к. оценки выходов, получаемые по этим моделям, будут точнее, чем оценки, полученные с использованием обычных регрессионных моделей (В.2), но здесь возникает задача оценивания моды условной плотности. Естественный путь ее решения — восстановить плотность и найти абсциссу максимума оценки. Этот прием основан на том, что Парзеном была введена оценка в$ моды в распределения, а именно: р5{в5) = шахр5 (х). X.

Причем в случае, когда мода 0-единственна, доказана состоятельность и асимптотическая нормальность этой оценки 65~. Сама по себе задача восстановления плотности распределения по результатам наблюдений является центральной задачей математической статистики. Для ее решения могут применяться как параметрические, так и непараметрические подходы. При параметрическом подходе на основании некоторых априорных сведений выдвигается гипотеза о том, что закон распределения наблюдаемых данных принадлежит к тому или иному параметрическому семейству — гауссовскому, показательному и т. п. Эти распределения считаются зависящими от конечного числа параметров, которые оцениваются по выборочным данным. К настоящему времени разработаны различные алгоритмы оценивания неизвестных параметров по наблюдениям входа и выхода объектов с привлечением, как правило, классических методов — метода наименьших квадратов, метода максимального правдоподобия и метода моментов [10,33,56]. На следующем этапе проверяется адекватность выбранного распределения с.

2 2 использованием критериев согласия типа % Пирсона, Колмогорова, со Мизеса и др. Применение критериев согласия для проверки простых и сложных гипотез рассматривается в [39,65,68].

Естественно, что ограниченное множество типов параметрических распределений, используемых на практике, не всегда позволяет адекватно описать реально существующие зависимости, или априорной информации недостаточно для того, чтобы выдвинуть ту или иную гипотезу относительно предполагаемого закона распределения. В этом случае применяют методы обработки данных, которые не предполагает знания априори параметрического семейства законов распределений, т. е. применяют непараметрические методы. Они начали развиваться значительно позднее, чем гауссовские и обладают перед ними рядом преимуществ. Основные из них — более широкое поле приложений, а также возможность их использования для выборок малого объема. Вопросам непараметрического оценивания плотностей последнее время в научной литературе посвящено много работ и монографий [13, 15−18]. Внимание к этой проблеме вызвано как ее теоретическим значением, так и важностью для приложений.

Предварительными простейшими оценками плотностей можно считать гистограмму и полиграмму первого и более высокого порядков [60,68,74].

Последующий вклад в теорию непараметрического оценивания плотности внесли М. Розенблатт, Е. Парзен [88, 89], В. А. Епанечников [18]. В работах этих и других авторов вводятся новые классы оценок, обобщающие гистограмму. Так, один из этих классов, называемых «ядерными оценками», был предложен Розенблаттом и Парзеном. В работах [16,44,49,64] исследуются вопросы несмещенности оценок, асимптотика и скорость сходимости отклонений, изучается влияние формы ядра на качество приближения оценки к функции плотности. В статьях [24,31] рассматриваются варианты определения параметра размытости (сглаживания) непараметрических оценок плотности, в частности, с гауссовым ядром. Определяются границы области поиска экстремума по параметру размытости функционала правдоподобия или эмпирического риска, исследуется скорость сходимости к нулю интегральной среднеквадратичной ошибки. Mark Brewer в работе «Байесовская модель для локального сглаживания в ядерной оценке плотности» [86] предлагает процедуру для управления шириной окна в ядерной оценке одномерной плотности с использованием перекрестной проверки и анализа графической модели. Процедура допускает гибкий выбор ширины окна в терминах требуемой величины степени сглаживания. Показывается особое преимущество метода с точки зрения квадратичного риска при малых объемах выборок, что подтверждено на примере оценки плотности по реальным данным.

При построении оценок естественными являются вопросы исследования их асимптотического поведения и сходимости к оцениваемым функциям. Задачи статистического оценивания, свойства параметрических и непараметрических оценок рассматриваются в книгах JL Девроя и JL Дьерфи [13], И. А. Ибрагимова и Р. З. Хасьминского [23], Г. М. Мания [41], Э. А. Надарая [49], Ф. П. Тарасенко [74], в статьях Ю. А. Кошевника [30], Г. М. Кошкина [31], С. Ю. Новака [52,53].

Работа посвящена построению модально-регрессионных моделей, причем рассматривается несколько подходов к их построению, т. е. применяются как параметрические, так и непараметрические методы.

Вопрос о том, какую группу методов следует использовать при анализе данных, составлял предмет спора с давних времен. Примером тому могут служить разногласия между Пирсоном и Фишером, о которых пишет в своей монографии В. Хардле [80]: «.обе точки зрения по-своему интересны. Пирсон отмечал, что цена, которую мы должны заплатить за чисто параметрическое приближение, — это возможность грубой ошибки при спецификации, приводящей к слишком большому смещению модели. С другой стороны, Фишер выражал обеспокоенность в связи с рассмотрением моделей без параметров в чистом виде, которые могут приводить к большому разбросу оценок, особенно для выборок малого объема» .

В научной литературе разрабатывается идея о совместном использовании тех и других методов для наиболее полного учета априорной информации. В. Хардле отмечает, что совмещение параметрических и непараметрических составляющих может даже привести к построению лучших моделей. В последнее время получены успешные результаты при восстановлении стохастических зависимостей, использующих учет частичных сведений об их виде и данных экспериментальных исследований. Такой комплексный подход имеет место в работах Г. М. Мания [41], А. В. Лапко, В. А. Лапко, С. В. Ченцова [35−37].

В диссертационной работе при построении модально-регрессионных моделей (В.З) для нахождения оценки моды условной плотности предлагается несколько способов. Один из них состоит в том, что, сначала, используя непараметрические оценки Розенблатта-Парзена, восстанавливается условная плотность, а затем находится абсцисса ее максимума (модель А). Применение ядерных оценок связано с нахождением оптимального параметра размытости. Этому вопросу посвящены работы [24,31,42]. В данной работе предлагается несколько видов новых критериев для его нахождения, проведен их численный сравнительный анализ.

Другой подход предусматривает для некоторого типа данных нахождение моды плотности без восстановления последней (модель В).

Цель работы состоит в построении модально-регрессионных моделей идентификации стохастических объектов по наблюдениям входа и выхода, измеренными с помехами с неизвестными функциями распределения. Для достижения поставленной цели необходимо решить следующие задачи:

— сформировать выборку условного распределения выходов при каждом фиксированном значении вектора входных переменных;

— найти оценку условной плотности одномерного распределения выходов;

— предложить критерий нахождения оптимального параметра размытости;

— предложить алгоритмы нахождения моды условной плотности;

— при нахождении моды с использованием аналитических формул предложить способ определения параметра л:0.

Методы исследования. При выполнении диссертационной работы использован современный вероятностно-статистический аппарат, методы теории оптимизации и статистического моделирования, элементы аналитической геометрии, а также методы непараметрического оценивания плотностей вероятностей.

Научная новизна работы состоит в следующем:

1. Предложен новый метод идентификации стохастических систем, а именно, новый класс модально-регрессионных моделей;

2. Сконструирована непараметрическая оценка условной плотности и доказана с помощью трех лемм теорема ее асимптотической сходимости к условной плотности в среднеквадратическом смысле;

3. Предложены критерии выбора оптимального значения параметра размытости в оценках одномерных плотностей Розенблатта-Парзена, в которых используется новая непараметрическая оценка функции распределения и доказана ее сходимость к оцениваемой функции;

4. Выведены формулы определения моды плотности в зависимости от асимметрии распределения для некоторого вида изучаемых данных и аналитически построен интервал, которому принадлежит мода;

5. Предложены некоторые виды нелинейных преобразований статистических данных, сводящие их распределение к нормальному, и метод определения параметра таких преобразований.

Практическая ценность. Результаты работы могут найти применение в математическом моделировании, в обработке статистической информации и системном анализе при изучении работы сложных стохастических объектов и систем, наблюдаемые входные и выходные данные которых осуществляются с помехами с неизвестными функциями плотностей распределения. Предлагаемые в диссертации методы могут быть использованы в широком круге приложений экономики — инвестиционный анализ, принятие решений, управление риском и др.

На защиту выносятся:

1. Методы построения модально-регрессионных моделей;

2. Критерии нахождения оптимального параметра размытости при непараметрическом ядерном восстановлении плотностей;

3. Методы определения оценки моды плотности;

4. Результаты сравнительного анализа оценивания выходов по регрессионной и модально-регрессионным моделям, проведенного на модельных примерах;

5. Теоремы об асимптотической сходимости непараметрических оценок условной плотности и функции распределения в среднеквадратическом смысле к оцениваемым функциям.

Апробация работы. Основные результаты диссертации докладывались и обсуждались:

— на V, VII Всероссийских научно-практических конференциях «Проблемы информации региона. ПИР», Красноярск, 1999, 2001 гг.;

— на I, II Всесибирских конгрессах женщин-математиков, Красноярск, 2000, 2001 гг.;

— на IV, V Международных симпозиумах «Интеллектуальные системы» INTELS '2000,2002, Москва, 2000 г., Калуга, 2002 г.;

— на Международной научной конференции 'Интеллектуальные системы и информационные технологии управления IS&ITC — 2000″, Псков, 2000 г.;

— на VIII Международной конференции «Математика. Компьютер. Образование.», Пущино, 2001 г.;

— на Межрегиональной научно-практической конференции преподавателей и работников торговли, Красноярск, 2001 г.;

— на Всероссийской научно-практической конференции с международным участием «Достижения науки и техники — развитию сибирских регионов», Красноярск, 2001 г.;

— на VI Международной конференции «Computer Data Analysis and Modeling», Минск, 2001 г.;

— на III Международной конференции «Кибернетика и технологии XXI века», Воронеж, 2002 г.;

— на I, II Всероссийских конференциях по финансово-актуарной математике и смежным вопросам. ФАМ' 2002, 2003, Красноярск, 2002, 2003гг.;

— на Межрегиональной конференции «Математические модели природы и общества», Красноярск, 2002 г.;

— на Международной конференции САКС-2002;

— на семинарах в Научно-исследовательском институте СУВПТ (20 002 003гг.);

— семинарах кафедры высшей и прикладной математики КГТЭИ (20 002 004гг.).

Публикации. По результатам работы опубликовано 15 печатных работв том числе, лично -8- в виде статей — 13 и тезисов докладов — 2.

Структура и объем работы. Диссертация состоит из введения, четырех глав, заключения, списка используемой литературы из 104 названий и приложения. Содержание работы изложено на 130 страницах печатного текста, проиллюстрировано 78 рисунками.

Заключение

.

В диссертационной работе было предложено при идентификации стохастических объектов использовать не общепринятые регрессионные, а новые модально-регрессионные модели. Построение таких моделей осложнено тем, что необходимо оценивать моду условных плотностей. Поскольку сами условные плотности априори неизвестны, в работе сконструированы их непараметрические оценки и доказана, с помощью трех лемм, теорема об асимптотической сходимости оценки условной плотности в среднеквадратическом смысле к условной плотности. Эти оценки, в случае кмерных входных переменных, зависят от (/: + 1)-мерных векторов параметров размытости, задача нахождения которых пока не решена. В диссертации предложен алгоритм формирования одномерной выборки выходов при каждом фиксированном значении вектора входных переменных. По этим выборкам осуществляется оценивание моды, которая и принимается за оценку выхода. Задача нахождения оценки моды плотности условного распределения решается разными методами, каждый из которых имеет свои сложности. Один из методов построения модально-регрессионных моделей предполагает восстановление условной плотности с использованием непараметрических оценок Розенблатта-Парзена. В этом случае качество восстановление существенно зависит от выбора параметра размытости С5. В работе предложено несколько критериев для настройки этого параметра, проведено численное исследование восстановления плотностей по выборкам как большого, так и малого объемов, где параметр С5 находился по одному из этих критериев. После чего был сделан вывод, что наиболее оправдано применение критерия (С5). При выборе параметра размытости по этому критерию требуется меньше машинного времени, чем при работе с критериями.

ПРИ этом У восстановленной плотности видны ее все особенности. Это очень важно, если учесть, что целью восстановления является определение моды. В каждом из этих критериев используется новая непараметрическая оценка функции распределения, которая была предложены в данной работе. Доказана теорема об ее асимптотической сходимости в среднеквадратическом смысле к функции распределения.

Другой метод может применяться в таких областях как экономика, медицина, экология и др. В этом случае можно показать, что условные плотности будут иметь распределения близкие к логарифмически нормальным. В работе выведены формулы нахождения моды плотности Мох, аналитические выражения которых зависят от таких характеристик как медиана Мех и среднее квадратичное отклонение <7. Они легко определяются по имеющимся данным. Также в этих формулах присутствует параметр х0, для однозначного определения которого, предложен критерий И^Осо). Применение этих формул значительно упрощает задачу построения модально-регрессионных моделей, т. к. в этом случае нет необходимости восстанавливать условную плотность, но может применяться только для определенного типа данных.

В диссертации предложен способ преобразования данных, имеющих асимметричную функцию плотности, к данным, распределение которых имеет близкий к нормальному вид. Так же аналитически получен интервал, которому принадлежит мода, что позволит уменьшить объем вычислений при нахождении моды по восстановленной плотности.

Применяя методы имитационного моделирования, были проведены численные исследования применения модально-регрессионных и регрессионных моделей при идентификации стохастических объектов и систем. Предложенные и построенные модально-регрессионные модели показали лучшую точность восстановления зависимостей по статистическим данным с точки зрения абсолютных ошибок, посчитанных по моделям.

Сформулируем кратко заключительные выводы.

1. Предложен новый класс модально-регрессионных моделей при идентификации объектов и несколько методов их построения.

2. Сконструирована непараметрическая оценка условной плотности и предложена новая непараметрическая оценка функции распределения, доказаны теоремы асимптотической сходимости этих оценок к оцениваемым функциям в среднеквадратическом смысле.

3. Предложены критерии выбора параметров размытости для оценок плотности Розенблатта-Парзена и исследовано их применение на различных выборках.

4. Выведены формулы нахождения моды для данных, имеющих распределение близкое к логнормальному или зеркально ему отраженному.

5. Предложен способ преобразования статистических данных, имеющих логнормальное распределение к нормальному.