Исследования, связанные с изучением различных дискретных систем, становятся в настоящее время все более актуальными. Количество публикаций по данной тематике ощутимо растет. Очевидно, толчком послужил технологический прорыв последних лет в развитии вычислительной техники, благодаря которому появилась принципиальная возможность без серьезных затрат проводить сложные эксперименты с объектами, аналитические подходы к которым малоэффективны.
Интересно, что параллельно с рождением новых прикладных областей науки, где изучение дискретных математико-алгорит-мических конструкций является основой методологии исследования (нейронные сети, моделирование биологических, социальных и информационных процессов, решеточные алгоритмы в применении к непрерывным системам и т. п.), наблюдается четко выраженная тенденция к переосмыслению адекватности описания физической реальности в терминах континуальной математики (см. [1−7]), что далеко не в последнюю очередь происходит благодаря интенсивным исследованиям хаотических систем.
В настоящей работе рассматривается комплекс вопросов, связанных с устойчивым и хаотическим поведением нерегулярных дискретных динамических систем, на примерах дискретизиро-ванной системы Лоренца [8] и модифицированной модели реалистической нейронной сети Кропотова-Пахомова [9−11]. Модель Лоренца относится к динамическим системам, которые в современной научной литературе называют хаотическими (chaotic systems), а нейронные сети являются представителями сложных систем (complex systems). Определение хаоса и соответственно хаотических систем содержит обычно три элемента: непериодическое асимптотическое по времени движение, детермини-стичность системы и чувствительность к начальным условиям. Первое подразумевает существование траекторий, которые не уходят в бесконечность и не стремятся к периодическим орбитам или фиксированным точкам. Согласно второму условию в уравнения, задающие систему, не должны входить случайные члены. Чувствительность к начальным данным означает экспоненциальный рост расстояния между сколь угодно близкими траекториями со временем. Сложными системами, как правило, называются конструкции, состоящие из большого количества нелинейным образом взаимодействующих объектов. Отметим, что универсальных определений, как для хаотических, так и для сложных систем в данный момент не существует.
На сегодняшний день в исследовании хаотических систем есть два подхода, которые, в определенном смысле, можно считать философскими концепциями. Первый традиционный подход состоит в использовании методов классической континуальной математики. Стержнем второго является теория алгоритмической информации А. Н. Колмогорова (см. [12−16]), известная под термином «сложность Колмогорова» (Kolmogorov complexity) и основанная на понятии конечной точности. Если, к примеру, для динамических систем вида х = v (x), х 6 W1 при известных условиях классическая математика утверждает существование траектории x (t), x (to) = xq и предъявляет формальное точное решение x (t) = [P (t)x] Х=Х0, где P (t) = е" т = t — t0, v = ^(ж) • д/дх, то в теории Колмогорова применительно к хаотическим системам классического понятия траектории не существует. Вместо траекторий, которые по словам Колмогорова «невычислимы», предлагается рассматривать либо решения, получающиеся в результате регуляризации, либо функционалы от этих решений. В обоих случаях параметры алгоритма регуляризации и сам алгоритм становятся частью исследуемой системы.
В подходе Колмогорова просматривается некоторая аналогия с квантовой механикой, где роль квантовых объектов играют решения дифференциальных уравнений, акт наблюдения состоит во введении регуляризации, означающий на практике применение того или иного численного метода, а наблюдаемыми становятся результаты вычислений. Однако, в отличие от физических объектов, дифференциальные уравнения принадлежат сфере классической математики. С одной стороны, ввиду того, что сами уравнения можно рассматривать в качестве идеализированных моделей реально существующих физических объектов, понятна позитивистская философия теории, предложенной Колмогоровым и развитой его последователями, утверждающей, что существуют только вычислимые объекты. С другой стороны, нельзя забывать, что математическое понимание содержит элементы, несводимые полностью к алгоритмическим методам [17]. Не углубляясь сейчас в философскую сторону вопроса, отметим, что, не смотря на наличие взаимоисключающих установок в описанных подходах, при исследовании хаотических систем нельзя полностью отказываться ни от одного из них.
Первый блок рассматриваемых в диссертации вопросов посвящен вышеупомянутой проблематике. Показано, что математическая модель в результате дискретизации приобретает уникальные свойства, вследствие чего к полученной конструкции необходимо подходить как к новому объекту исследований, а не использовать исключительно в качестве инструмента изучения исходной модели. Вместе с этим дискретная система позволяет не только получить количественную информацию о своем «идеальном» прообразе, недоступную при классическом описании, но и, в некотором смысле, экспериментально подтвердить факты существования «идеальных» математических объектов, доказанные аналитически.
Исследования проведены на системе Лоренца при параметрах, соответствующих наличию в ее фазовом пространстве странного аттрактора. Алгоритм дискретизации является разновидностью метода, предложенного Ф. Рану (Р. Каппой) [18], и удовлетворяет требованию теории алгоритмической информации о наличии конечной точности. В фазовом пространстве дискре-тизируемой системы вводится кубическая решетка и задается определяемое векторным полем однозначное отображение решетки саму в себя, задающее правила перехода от одного узла решетки к другому при вычислении дискретных траекторий. При фиксированных параметрах странный аттрактор представляется набором дискретных циклов, независящих от начальных условий, использованных при их вычислении, что является следствием применения однозначного отображения. Дискрети-зированная система регулярна, так как однозначно определен переход от предыдущей точки траектории к последующей. Хаос исходной системы проявляется в нетривиальной топологии циклов, образующих дискретный аттрактор.
Ключевыми параметрами алгоритма дискретизации являются расстояние между узлами решетки а, ассоциируемое с упомянутой выше конечной точностью вычислений, и, так называемый, «шаг на решетке» 6, определяющий расстояние между соседними точками дискретных траекторий. Среднее количество циклов в аттракторе не зависит от параметров алгоритма, а так как аттрактор исходной системы является ограниченным множеством, то параметр, а задает сложность дискретных циклов и определяет верхний предел на количество точек в аттракторе. Параметр Ь преимущественно влияет на гладкость циклов, поэтому при рассмотрении различных нелокальных характеристик циклов аттрактора его можно фиксировать. Естественно ожидать, что с уменьшением шага решетки сложность циклов, в частности, их длины должны возрастать. Удобной характеристикой, позволяющей оценить сложность аттрактора, является суммарная длина I циклов его составляющих. Оказывается, что зависимость 1(а) при фиксированном Ъ представляет собой кусочно-непрерывную функцию и обладает рядом интересных свойств.
При вариации шага решетки в пределах каждого отдельного непрерывного участка зависимости 1(а) все изменения аттрактора сводятся к незначительным сдвигам координат точек циклов, поэтому его структура сохраняется. Точки разрыва функции 1(а) соответствуют перестроению аттрактора, при котором в общем случае изменяется и форма отдельных циклов и их количество. Длины непрерывных участков на несколько порядков меньше текущих значений а. Они также стохастично зависят от, а и в среднем падают при, а —> 0.
С уменьшением шага решетки амплитуда флуктуации величины I увеличивается. Если разбить область изменения, а на непересекающиеся интервалы и вычислить для каждого интервала среднее и дисперсию, то получим, что среднее величины I растет при, а —> 0 пропорционально где ц > 0, а ее дисперсия — пропорционально а-", причем ь> ~ 2/л. Особо отметим, что степенные показатели ц и V не зависят от параметра Ъ и могут использоваться в качестве характеристик исходной непрерывной системы.1.
По мере роста амплитуды флуктуации: величины 1(a) положение нижней границы флуктуаций практически не изменяется. Это означает, что, несмотря на увеличивающуюся в среднем сложность циклов, даже в области малых значений параметра, а существуют точки, при которых дискретный аттрактор имеет простую структуру и состоит из единственного простейшего нетривиального2 цикла, имеющего только по одному витку в каждом из полупространств х < 0 и х > 0. Пространственное положение этих циклов в процессе снижения шага решетки стабилизируется, поэтому уместно говорить о существовании предела при, а —"¦ 0. Аналогичная картина происходит и с другими циклами. На основании проведенных численных экспериментов в качестве правдоподобной гипотезы можно выдвинуть утверждение о том, что всю совокупность циклов, полученных при всевозможных шагах решетки, можно разбить на классы эквивалентности, каждому из которых будет сопоставлен свой предельный цикл при, а —У 0.
Пространственное расположение дискретных циклов в области аттрактора определяется положением так называемых нестабильных периодических орбит (unstable periodic orbit UPO), которые являются замкнутыми решениями исходной недискре-тизированной системы. Существование этих объектов доказано аналитически, и имеются разнообразные вычислительные методы по их поиску (см. [19−30]). Если предположить, что между классами эквивалентных циклов и UPO существует взаимооднозначное соответствие, а это проверено для некоторого количества случаев, то рассматриваемый алгоритм дискретизации может быть использован не только для локализации UPO, но и для их классификации. Вышеупомянутые предельные циклы при определенных условиях на процедуру снятия регуляризации могут рассматриваться в качестве «хороших кандидатов» в UPO.
Отыскание UPO актуально в разделе теории управления, где.
1 Построение более сложных характеристик хаотических систем на основе дискретных циклов приведено в работе [60].
2Нетривиальными мы называем циклы, лежащие по обе стороны от плоскости х = 0решаются задачи «регуляризации» хаотических систем (control, optimal control, digital control (см. [31−37])). Контроль хаотической динамической системы означает такое ее изменение или внешнее воздействие, которые исключают ее хаотическое поведение. Важным является соблюдение условия малости соответствующих изменений или воздействий. В случае применения рассматриваемого в настоящей работе алгоритма дискретизации и выборе параметров, при которых аттрактор представлен одним простым циклом, оптимальный контроль осуществляется посредством особенностей внутренней динамики дискретной системы. Для системы Лоренца, введение решетки, узлы которой не совпадают с началом координат, являющимся устойчивой фиксированной точкой, практически исключает зависимость результата контроля от начальных условий, так как почти все траектории попадают на единственный цикл аттрактора. Возможность варьировать параметры, не изменяя при этом структуры аттрактора, допускает применение метода к реальным физическим системам с целью регуляризации их хаотической динамики.
В контексте теории алгоритмической информации Колмогорова необходимо выделить особую роль, играемую шагом решетки, а в процессе дискретизации. С одной стороны, будучи параметром дискретной системы, он существенным образом определяет ее динамику. С другой стороны, имеет смысл точности, с которой мы подходим к изучению исходной математической модели. Тогда, во-первых, проекции непрерывных участков функции 1(a) на ось, а приобретают смысл допустимых погрешностей, не влияющих на динамику дискретизированной системы. При этом каждому значению точности будет соответствовать своя погрешность, в среднем уменьшающаяся с увеличением точности. Во-вторых, в силу стохастической зависимости структуры аттрактора от шага решетки на шкале точности в окрестности любой ее точки не только существуют выделенные непрерывные интервалы, где аттрактор представлен единственным простейшим циклом, но и участки, где аттрактор имеет наперед заданную структуру из допустимых верхним пределом флуктуаций, который определяется текущей точностью. Следовательно, каждому значению точности, а можно сопоставить два характерных масштаба: погрешность 6(а) и интервал Д (а), определяющий окрестность точки а, в рамках которой гарантированно найдется точка, соответствующая требуемой структуре аттрактора. При фиксированном, а дискретизированная система регулярна. Ее динамика устойчива относительно вариаций меньших 5(а). Если по каким-либо причинам, в процессе дискретизации шаг решетки нельзя поддерживать в рамках то мы получим нерегулярную дискретную систему.
Различные характеристики дискретной системы, которые в той или иной степени инвариантны относительно изменения параметров алгоритма, очевидно, должны иметь отношение к исходной математической модели. К таким характеристикам относятся степенные показатели х и р, о которых говорилось выше. Факт существования классов эквивалентных циклов, также может быть доказан только накоплением статистической информации о дискретной системе путем изменения параметров.
Таким образом, явления, связанные с фиксацией конкретных значений параметров алгоритма, есть то новое, что привносит дискретизация в математическую модель. Получить же информацию об исходной модели, исследуя ее дискретный образ, можно по пути поиска каких-либо инвариантов.
Дискретизированная система Лоренца принадлежит к системам, которые при фиксированных параметрах не проявляют хаотической динамики. Свидетельством хаоса исходной модели является только нетривиальная топология циклов аттрактора. Во втором блоке вопросов, рассматриваемых в настоящей работе, посвященном особенностям внутренней динамики самоорганизующихся нейронных сетей, исследуется модифицированная модель нейронной сети Кропотова-Пахомова, относящаяся к сложным системам, которые, напротив, обладают нерегулярной динамикой при фиксированных параметрах.
Оригинальная немодифицированная модель Кропотова-Пахо-мова была предложена авторами для изучения поведения ансамблей нервных клеток, возбуждаемых внешними сигналами, и отражает важные характеристики динамики реальных нейронов (см., например, [38]), такие как возвращение мембранного потенциала к исходному состоянию после разряда нейрона, наличие порога генерации потенциала действия, кратковременный спад синаптической эффективности в ответ на кратковременную стимуляцию пресинаптического окончания и др. В силу наличия диссипативных свойств модель нетривиально эволюционирует только при наличии внешнего воздействия. Для исследования особенностей внутренней динамики, обусловленной механизмами межнейронного взаимодействия, оригинальная модель была модифицирована и в новом варианте обладает устойчивыми динамическими режимами и при отсутствии внешних стимулов.
В области исследования нейронных сетей можно выделить два основных направления. Доминирующим является прикладное, так как нейросетевые конструкции позволяют решать массу практических задач. Второе направление состоит в детальном моделировании физиологических особенностей работы мозга и нервной системы. Отсюда разделение сетей на искусственные (см. [39−42]) и реалистические (см. [43−45]).
Промежуточную нишу с прикладной стороны занимают исследования динамики искусственных нейронных сетей и моделей сложных природных и социальных процессов (см. [46−49]). Последние часто именуются сложными сетями (complex networks). С противоположной от прикладного направления стороны в нише находятся нейросетевые модели, обладающие той или иной степенью абстрактности (см. [50−52]) по сравнению с реалистическими моделями «низкого уровня». Модифицированную модель Кропотова-Пахомова можно отнести именно к этой группе нейронных сетей. Важность построения и исследования подобных абстрактных моделей сложных систем отмечает К. Канеко (К. Kaneko) в книге [53]:
Благодаря неотделимости сложной системы от внешней среды одной модели самой по себе недостаточно для отражения реальности, даже, если она очень детализирована. Наоборот, модель не может совершенно потерять связь с реальностью, даже находясь на высоком абстрактном уровне. Поэтому требуются модели на различных уровнях обобщения и, несомненно, конструирование разноуровневых моделей является неотъемлемой частью процесса познания сложной сущности природы.3.
Отметим, что наша основная цель состоит не в моделировании работы мозга на определенном уровне, а в изучении внутренних динамических свойств самоорганизующихся нейронных сетей, применяемых в качестве инструмента исследования сложных систем и процессов. Модель Кропотова-Пахомова представляется для этого достаточно удачным выбором, так как строилась авторами для прикладных исследований и хорошо отражает специфику поведения ансамблей нервных клеток, а в модифицированном виде проявляет некоторые важные свойства общие для данного типа нейронных сетей.
Модифицированная модель, как и ее оригинальный вариант относится к классу однослойных полносвязных сетей и, будучи заданной системой конечноразностных уравнений, развивается в дискретном времени. Методология работы с модифицированной сетью состояла в следующем. В начальный момент времени бралась сеть с нулевыми связями и тривиальными значениями динамических переменных, затем в течение определенного времени она подвергалась воздействию случайного сигнала, после чего исследовалась динамика сети без внешнего стимулирования. Характер первичного сигнала, как и воздействие на сеть в процессе установившегося движения, могут повлиять на динамику сети только в областях фазовых переходов и так называемых смешанных фаз (см. параграф 2.5), где внешние импульсы способны перевести сеть из одного динамического режима в другой. Вдали от областей высокой чувствительности установившаяся динамика сети при отсутствии стимулирования не зависит от типа внешнего воздействия, которое оказывалось на нее ранее. Именно такие динамические режимы подробно рассмотрены в настоящей работе. Кроме того, в исследованных режимах количество нейронов также не играло существенной роли, а именно, выбиралось такое их количество, при котором дальнейшее увеличение числа элементов сети уже не влияло на характер динамики.
3 Переведено с английского автором диссертации.
Для устойчивого эволюционирования модифицированной нейронной сети в определенном динамическом режиме в ней должен сохраняться соответствующий этому режиму уровень беспорядка, проявляющийся в рассогласованном поведении нейронов и различных численных значениях межнейронных связей. Максимальная упорядоченность сети происходит в случае полной синхронизации нейронов, что приводит к так называемому обнулению, в результате которого динамика сети становится тривиальной: все нейроны неактивны, а значения межнейронных связей стремятся к нулю. Максимальный уровень беспорядка достигается во время воздействия на нейронную сеть случайными импульсами. После снятия сигнала, а в некоторых случаях еще до момента его отключения, в сети начинаются переходные процессы, связанные с ее упорядочиванием, в результате которых нейронная сеть либо попадает в один из устойчивых динамических режимов, либо обнуляется.
В периодическом режиме нейронная сеть обладает структурой связей, которая формируется в результате разбиения сети на группы синфазно-колеблющихся нейронов. Зависимости всех динамических переменных модели от времени в периодическом режиме, а также тип соответствующей этому режиму структуры связей, могут быть аналитически найдены по временным зависимостям активностей нейронов4. Частоты колебаний разных нейронов сети в периодическом режиме могут отличаться друг от друга, но количество этих частот ограничено и в проведенных экспериментах не превышало двух.
При непериодическом динамическом режиме нейроны сети могут переключаться с одной частоты колебаний на другую. Количество допустимых частот также ограничено. При этом существуют доминирующие частоты, на которых нейроны находятся наибольшее время. Промежутки времени, в течение которых нейрон колеблется с доминирующей частотой и не переходит на другие частоты, подчиняются кусочно-степенному распределению и по величине могут на два-три порядка превосходить период колебаний. В результате при непериодическом режиме в нейронной сети могут появляться короткоживущие.
4 Активность нейрона является одной из его динамических переменных структуры подобные тем, которые образуются в периодических режимах.
Необходимо отметить, что вышеупомянутые колебания нейронов являются результатом модификации модели и не имеют аналога в оригинальном варианте. Именно благодаря наличию этих высокочастотных колебаний, выполняющих роль своеобразной подпитки диссипативной сети, последняя может устойчиво эволюционировать независимо от внешнего воздействия. Однако интерес представляют не сами колебания, а их модуляции. Если исключить из рассмотрения высокочастотную составляющую, то каждому периодическому режиму будет соответствовать свое стационарное состояние с определенной структурой связей.
Интересно, что при определенных условиях в некоторых областях высокой чувствительности сети к внешним воздействиям в ней возникают так называемые длиннопериодические колебания, период которых может в тысячи раз превосходить период высокочастотных колебаний нейронов. Обнаружены, как собственные, так и вынужденные длиннопериодические колебания. В обоих случаях поведение большинства нейронов не изменяется, и они образуют своеобразный фон, на котором оставшаяся малая часть нейронов эволюционирует по сложному закону. Длиннопериодические колебания представляют собой модулированные по фазе или частоте высокочастотные колебания. Вынужденные колебания появляются при воздействии на один или несколько нейронов сети периодическими импульсами. Замечательно, что период вынуждающих импульсов должен быть по порядку величины равен периоду высокочастотных колебаний. Таким образом, мы имеем явление, в котором период вынужденных колебаний на несколько порядков превосходит периоды вынуждающих импульсов и собственных колебаний.
Результаты диссертации опубликованы в работах [54−60].
Материал изложен в диссертации следующим образом.
В главе 1 приводятся результаты исследования аттрактора дискретизированной системы Лоренца. Параграф 1.1 содержит определения алгоритмов дискретизации. В параграфе 1.2 вводится понятие дискретного аттрактора и описываются типы циклов. В параграфе 1.3 рассматриваются свойства дискретного аттрактора в зависимости от параметров алгоритма дискретизации: строятся инвариантные характеристики аттрактораизучаются особенности его структурывводится понятие вершин циклов и исследуется характер их распределения по аттрактору и циклам. В приложении к главе 1 описано использованное при численных экспериментах программное обеспечение.
В главе 2 изучается модифицированная модель нейронной сети Кропотова-Пахомова. В параграфе 2.1 формулируется оригинальная модель, в 2.2 — модифицированная. Выбор параметров модифицированной модели и его обоснование — в 2.3. Классификация динамических режимов сети, фаз и фазовых переходов приведены в параграфах 2.4 и 2.5. В параграфе 2.6 вводятся определения энтропий и рассматриваются зависимости последних от времени в переходных и устойчивых процессах. Результаты исследования особенностей динамики и структурообразо-вания в нейронной сети при периодическом и непериодическом режимах приведены в параграфах 2.7 и 2.8 соответственно. В приложении 1 предлагается способ записи в нейронную сеть последовательностей образов. Описание программного обеспечения, разработанного для исследования модифицированной модели нейронной сети Кропотова-Пахомова, приведено в приложении 2.
Основные результаты, полученные в настоящей работе, могут быть сформулированы следующим образом.
1. Подробно исследована структура аттрактора дискрети-зированной системы Лоренца. Дискретизация выполнялась по одному из двух предложенных алгоритмов, являющихся видоизменениями метода, впервые описанного в работе [18]. Найдены характеристики системы, независящие от численных значений параметров алгоритма дискретизации. Экспериментально показаны нечувствительность системы к микровариациям параметров алгоритма в рамках некоторых интервалов, с одной стороны, и сильная зависимость структуры аттрактора к изменениям параметров, превышающим упомянутые интервалы — с другой. Последнее позволяет найти такие значения параметров, при которых дискретный аттрактор будет иметь определенную заранее структуру, а в совокупности с предыдущим свойством использовать предложенный метод дискретизации для практического применения в области регуляризации хаотических систем. Исследованы характеристики циклов, образующих дискретный аттрактор в зависимости от параметров. Отмечена связь между дискретными циклами и нестабильными периодическими орбитами исходной непрерывной системы. Показано, что совокупность всевозможных циклов, полученных при различных параметрах алгоритма, может быть разбита на классы эквивалентных циклов, каждому из которых можно поставить в соответствие некоторый предельный цикл при снятии регуляризации. Разработан комплекс консольных приложения для исследования различных характеристик хаотических систем, дис-кретизированных описанными в работе алгоритмами.
2. На основе модели реалистической нейронной сети Кропо-това-Пахомова [9−11] построена модифицированная модель самоорганизующейся нейронной сети, отличающаяся от своего прообраза способностью эволюционировать в различных устойчивых динамических режимах. Особенностью новой модели является стремление при переходных процессах развиваться в сторону меньшей энтропии, что проявляется в кластеризации связей и синхронизации нейронов. Показано, что каждому устойчивому динамическому режиму можно сопоставить свой относительный уровень энтропии, который в среднем сохраняется постоянным в процессе эволюции сети. Тип динамического режима задается параметрами модели. Исследованы основные особенности периодических и непериодического динамических режимов. Для периодических режимов детально рассмотрен механизм кластеризации сетипредъявлено аналитическое решение, позволяющее по поведению активностей нейронов найти периодические функции, к которым стремятся зависимости связей от временинайдены типы структур связей, образующиеся в результате кластеризации. Обнаружен и исследован эффект возникновения собственных и вынужденных длиннопериодических колебаний, возникающих в областях высокой чувствительности сети к внешним воздействиям и локальным вариациям параметров. Для непериодического режима показано, что зависимость активности любого из нейронов сети от времени можно разбить на интервалы, в рамках которых поведение нейрона строго периодическое с длинами периодов в среднем значительно меньших длин интервалов. Найдено распределение длин интервалов, соответствующих одной доминирующей частоте. Полученное распределение имеет кусочно-степенную форму. Вычислены степенные коэффициенты для отдельных участков распределения. Предложен способ записи в нейронную сеть последовательностей образов с возможностью их многократного воспроизведения. С целью исследования модели создан обширный пакет программ, объединяющий в себе удобство работы благодаря разветвленному интерфейсу и высокую скорость вычислений.
Заключение
.
