Нейро-нечёткие сети

Нейро-нечёткие сети

Введение

Искусственные нейросетевые системы — одно из перспективных направлений в области разработки искусственного интеллекта. Особую привлекательность в утилитарном смысле нейросети получили ввиду способности обнаруживать неявные закономерности в различных процессах при отсутствии необходимости в понимании этих закономерностей, а также из-за способности к запоминанию представленных образов.

Основа для теории искусственных нейронных сетей появилась в процессе попыток нейробиологов смоделировать деятельность нервной системы и мозга живых организмов. Если физические основы действия живых нервных клеток были достаточно ясны, то сам механизм обучения мозга и использования им полученных навыков долгое время оставался неизвестным. Первым шагом к созданию искусственной нейроподобной системы была модель Д. Хэбба, который в 1949 г. предложил закон обучения, который послужил стартовой точкой для алгоритмов обучения искусственных нейронных сетей. Дальнейшее развитие теории, периодически наталкиваясь на значительные трудности, привело к появлению в 1986 г. ряда практически применимых знаний и методов для решения ряда актуальных задач.

1. Нейро-нечёткие сети

Нейро-нечеткая сеть представляет собой многослойную нейронную сеть специальной структуры без обратных связей, в которой используются обычные (не нечеткие) сигналы, веса и функции активации, а выполнение операции суммирования основано на использовании фиксированной Т-нормы, Т-конормы или некоторой другой непрерывной операции. При этом значения входов, выходов и весов гибридной нейронной сети представляют собой вещественные числа из отрезка [0,1].

Назначение нейро-нечётких сетей - извлечение знаний. Они предназначены для реализации нечётких правил на базе нейронных сетей. Такой подход позволяет компенсировать один из главных недостатков нейронных сетей, который состоит в том, что ответ нейронных сетей является не «прозрачным». Сама нейронная сеть — это «черный ящик», т. е. объяснить ответ невозможно. Этот подход позволяет реализовать функцию, объяснения для нейронных сетей.

Существует ряд классических методов прогнозирования экономических показателей, базирующихся на аппарате математической статистики, среди которых выделяются методы анализа и моделирования временных рядов, методы многомерного регрессионного анализа. Особенностью указанных методов является необходимость четкой спецификации конструируемых моделей, кроме того, дополнительные трудности для использования данных методов создает не стационарность исследуемых экономических процессов.

Перспективным направлением в области решения задач прогнозирования является применение аппарата искусственных нейро-нечетких сетей.

Нечеткие нейронные сети или гибридные сети призваны объединить в себе достоинства нейронных сетей и систем нечеткого вывода. С одной стороны, они позволяют разрабатывать и представлять модели систем в форме правил нечетких продукций, которые обладают наглядностью и простотой содержательной интерпретации. С другой стороны для построения правил нечетких продукций используются методы нейронных сетей, что является более удобным и менее трудоемким процессом для системных аналитиков.

Основная идея, положенная в основу модели гибридных сетей, заключается в том, чтобы использовать существующую выборку данных для определения параметров функций принадлежности, которые лучше всего соответствуют некоторой системе нечеткого вывода. При этом для прохождения параметров функции принадлежности используются известные процедуры обучения нейронных сетей.

Основные виды моделей нечеткого вывода: Мамдани и TSK (Тагаки-Сугено-Канга) имеют модульную структуру, идеально подходящую для системного представления в виде равномерной многослойной структуры, напоминающей структуру классических нейронных сетей. В пакете Fuzzy Logic Toolbox системы MATLAB нейро-нечеткие сети реализованы в форме, так называемой адаптивной системы нейро-нечеткого вывода ANFIS (Adaptive Neuro-Fuzzy Inference System).

С одной стороны, гибридная сеть ANFIS представляет собой нейронную сеть с единственным выходом и несколькими входами, которые представляют собой нечеткие лингвистические переменные. При этом термы входных лингвистических переменных описываются стандартными для системы MATLAB функциями принадлежности, а термы выходной переменной представляются линейной или постоянной функцией принадлежности.

С другой стороны, гибридная сеть ANFIS представляет собой систему нечеткого вывода ITS типа Сугено нулевого или первого порядка, в которой каждое из правил нечетких продукций имеет постоянный вес, равный.

Редактор АNFIS позволяет создавать или загружать конкретную модель адаптивной системы нейро-нечеткого вывода, выполнять ее обучение, визуализировать ее структуру, изменять и настраивать ее параметры, а также использовать настроенную сеть для получения результатов нечеткого выхода.

При этом разработка и исследование гибридных сетей оказывается возможной:

- в интерактивном режиме с помощью специального графического редактора адаптивных сетей, получившего название редактора ANFIS;

- в режиме командной строки с помощью ввода имен соответствующих функций с необходимыми аргументами непосредственно в окно команд системы MATLAB.

2. Устройство нейро-нечётких сетей

Нервная система состоит из центральной нервной системы и перефирийной нервной системы. Центральная нервная система состоит из головного мозга и из спинного мозга. Центральная нервная система oбразуется из нервных клеток, называемых нейронами.

Нейрон состоит из составляющих:

— дендриты — предназначены для принятия импульсов.

— аксон — предназначены для передачи импульсов.

— синапсы — это специфические образования на дендритах и аксонах (места соединения с другими дендритами).

Искусственная нейронная сеть (ИНС) — это упрощенная модель биологического мозга, точнее нервной ткани. Естественная нервная клетка (нейрон) состоит из тела (сомы), содержащего ядро, и отростков-дендритов, по которым в нейрон поступают входные сигналы. Один из отростков, ветвящийся на конце, служит для передачи выходных сигналов данного нейрона другим нервным клеткам. Он называется аксоном. Соединение аксона с дендритом другого нейрона называется синапсом. Нейрон возбуждается и передает сигнал через аксон, если число пришедших по дендритам возбуждающих сигналов больше, чем число тормозящих.

Сеть искусственных нейронных сетей представляет собой совокупность простых вычислительных элементов - искусственных нейронов, каждый из которых обладает определенным количеством входов (дендритов) и единственным выходом (аксоном), разветвления которого подходят к синапсам, связывающим его с другими нейронами. На входы нейрона поступает информация извне или от других нейронов. Каждый нейрон характеризуется функцией преобразования входных сигналов в выходной (функция возбуждения нейрона). Нейроны в сети могут иметь одинаковые или разные функции возбуждения. Сигналы, поступающие на вход нейрона, неравнозначны в том смысле, что информация из одного источника может быть более важной, чем из другого. Приоритеты входов задаются с помощью вектора весовых коэффициентов, моделирующих синаптическую силу биологических нейронов.

Модель искусственного нейрона представляет собой дискретно-непрерывный преобразователь информации. Информация, поступающая на вход нейрона, суммируется с учетом весовых коэффициентов сигналов i=1,…, n, где n — размерность пространства входных сигналов. Потенциал нейрона определяется по формуле P=.

Взвешенная сумма поступивших сигналов (потенциал) преобразуется с помощью передаточной функции f(P)в выходной сигнал нейрона Y, который передается другим нейронам сети, т. е. Y=f(P).Вид передаточной (активационной) функции является важнейшей характеристикой нейрона. В общем случае эта функция может быть ступенчатой (пороговой), линейной или нелинейной. Пороговая функция пропускает информацию только в том случае, если алгебраическая сумма входных сигналов превышает некоторую постоянную величину P*, например:

Y=

Пороговая функция не обеспечивает достаточной гибкости искусственной нейронной сети при обучении. Если значение вычисленного потенциала не достигает заданного порога, то выходной сигнал не формируется и нейрон «не срабатывает». Это приводит к снижению интенсивности выходного сигнала нейрона и, как следствие, к формированию невысокого значения потенциала взвешенных входов в следующем слое нейронов.

Линейная функция Y=kP дифференцируема и легко вычисляется, что в ряде случаев позволяет уменьшить ошибки выходных сигналов в сети, так как передаточная функция сети также является линейной. Однако она не универсальна и не обеспечивает решения многих задач.

Определенным компромиссом между линейной и ступенчатой функциями является сигмоидальная функция переноса Y= которая удачно моделирует передаточную характеристику биологического нейрона. Коэффициент k определяет крутизну нелинейной функции: чем больше k,тем ближе сигмоидальная функция к пороговой; чем меньше k, тем она ближе к линейной. Подобно ступенчатой функции она позволяет выделять в пространстве признаков множества сложной формы, в том числе невыпуклые и несвязные. При этом сигмоидальная функция, в отличие от ступенчатой, не имеет разрывов. Она дифференцируема, как и линейная функция, и это качество можно использовать при поиске экстремума в пространстве параметров искусственной нейронной сети.

Тип функции переноса выбирается с учетом конкретной задачи, решаемой с применением нейронных сетей. Например, в задачах аппроксимации и классификации предпочтение отдают логистической (сигмоидальной) кривой. Нейронная сеть представляет собой совокупность искусственных нейронов, организованных слоями. При этом выходы нейронов одного слоя соединяются с входами нейронов другого. В зависимости от топологии соединений нейронов искусственные нейронные сети подразделяются на одноуровневые и многоуровневые, с обратными связями и без них. Связи между слоями могут иметь различную структуру. В однолинейных сетях каждый нейрон (узел) нижнего слоя связан с одним нейроном верхнего слоя. Если каждый нейрон нижнего слоя соединен с несколькими нейронами следующего слоя, то получается пирамидальная сеть. Воронкообразная схема соединений предполагает связь каждого узла верхнего слоя со всеми узлами нижнего уровня. Существуют также древовидные и рекуррентные сети, содержащие обратные связи с произвольной структурой межнейронных соединений. Чтобы построить искусственную нейронную сеть для решения конкретной задачи, нужно выбрать тип соединения нейронов, определить вид передаточных функций элементов и подобрать весовые коэффициенты межнейронных связей.

3. Принцип работы нейро-нечётких сетей

При построении модели искусственной нейронной сети прежде всего необходимо точно определить задачи, которые будут решаться с ее помощью. В настоящее время нейросетевые технологии успешно применяются для прогнозирования, распознования образов и обобщения.

Первым этапом построения нейросетевой модели является тщательный отбор входных данных, влияющих на ожидаемый результат. Из исходной информации необходимо исключить все сведения, не относящиеся к исследуемой проблеме. В то же время следует располагать достаточным количеством примеров для обучения искусственной нейронной сети. Существует эмпирическое правило, которое устанавливает рекомендуемое соотношение ч между количеством обучающих примеров, содержащих входные данные и правильные ответы, и число соединений в нейронной сети: ч

Для факторов, которые включаются в обучающую выборку, целесообразно предварительно оценить их значимость, проведя корреляционный и регрессионный анализ, и проанализировать диапазоны их возможных изменений.

На втором этапе осуществляется преобразование исходных данных с учетом характера и типа проблемы, отображаемой нейросетевой моделью, и выбираются способы представления информации. Эффективность нейросетевой модели повышается, если диапазоны изменения входных и выходных величин приведены к некоторому стандарту, например [0,1] или [-1,1].

Третий этап заключается в конструирование искусственной нейронной сети, т. е. в проектирование ее архитектуры (число слоев и число нейронов в каждом слое). Структура искусственной нейронной сети формируется до начала обучения, поэтому успешное решение этой проблемы во многом определяется опытом и искусством аналитика, проводящего исследования.

Четвертый этап связан с обучением сети, которое может проводиться на основе конструктивного или деструктивного подхода. В соответствии с первым подходом обучение искусственной нейронной сети начинается на сети небольшого размера, который постепенно увеличивается до достижения требуемой точности по результатам тестирования. Деструктивный подход базируется на принципе «прореживания дерева», в соответствии с которым из сети с заведомо избыточным объемом постепенно удаляют «лишние» нейроны и примыкающие к ним связи. Этот подход дает возможность исследовать влияние удаленных связей на точность сети. Процесс обучения нейронной сети представляет собой уточнение значений весовых коэффициентов для отдельных узлов на основе постепенного увеличения объема входной и выходной информации. Началу обучения должна предшествовать процедура выбора функции активации нейронов, учитывающая характер решаемой задачи. В частности, в трёхслойных перцептронах на нейронах скрытого слоя применяется в большинстве случаев логистическая функция, а тип передаточной функции нейронов выходного слоя определяется на основе анализа результатов вычислительных экспериментов на сети. Индикатором обучаемости искусственной нейронной сети может служить гистограмма значений межнейронных связей.

На пятомэтапе проводится тестирование полученной модели искусственной нейронной сети на независимой выборке примеров.

Важнейшим свойством нейронных сетей является их способность к обучению, что делает нейросетевые модели незаменимыми при решении задач, для которых алгоритмизация является невозможной проблематичной или слишком трудоемкой. Обучение нейронной сети заключается в изменении внутренних параметров модели таким образом, чтобы на выходе искусственной нейронной сети генерировался вектор значений, совпадающий с результатами примеров обучающей выборки. Изменение параметров нейросетевой модели может выполняться разными способами в соответствии с различными алгоритмами обучения. Парадигма обучения определяется доступностью необходимой информации. Выделяют три парадигмы:

— обучение с учителем (контролируемое);

— обучение без учителя (неконтролируемое);

— смешанное обучение.

При обучение с учителемвсе примеры обучающей выборки содержат правильные ответы (выходы), соответствующие правильным данным (входам). В процессе контролируемого обучения синаптические веса настраиваются так, чтобы сеть порождала ответы, наиболее близкие к правильным.

Обучение без учителя используется, когда не для всех примеров обучения выборки известны правильные ответы. В этом случае предпринимаются попытки определения внутренней структуры поступающих в сеть данных с целью распределить образцы по категориям.

При смешанном обучениичасть весов определяется посредством обучения с учителем, а другая часть получается с помощью алгоритмов самообучения.

Обучение по примерам характеризуется тремя основными свойствами: емкостью, сложностью образцов и вычислительной сложностью. Емкость соответствует количеству образцов, которые может запомнить сеть. Сложность образцов определяет способности нейронной сети к обучению. В частности, при обучении искусственной нейронной сети могут возникать состояния «перетренировки», в которых сеть хорошо функционирует на примерах обучающей выборки, но не справляется с новыми примерами, утрачивая способность обучаться.

Рассмотрим известные правила обучения искусственной нейронной сети.

Правило коррекции по ошибке. Процесс обучения искусственной нейронной сети состоит в коррекции исходных значений весовых коэффициентов межнейронных связей, которые обычно задаются случайным образом. При вводе входных данных запоминаемого примера (стимула) появляется реакция, которая передается от одного слоя нейронов к другому, достигая последнего слоя, где вычисляется результат. Разность между известным значением результата и реакцией сети соответствует величине ошибки, которая может использоваться для корректировки весов межнейронных связей. Корректировка заключается в небольшом (обычно менее 1%) увеличении синаптического веса тех связей, которые усиливают правильные реакции, и уменьшения тех, которые способствуют ошибочным. Это простейшее правило контролируемого обучения (дельта-правило) используется в однослойных сетях с одним уровнем настраиваемых связей между множеством входов и множеством выходов. При этом на каждом k - шаге для j-го нейрона вес i - й связи вычисляется по формуле

где известное (правильное) значение выхода j - нейрона; рассчитанное значение выхода j - нейрона; величина сигнала на i - м входе, з - коэффициент скорости обучения.

Оптимальные значения весов межнейронных соединений можно определить путем минимизации среднеквадратичной ошибки с использованием детерминированных или псевдослучайных алгоритмов поиска экстремума в пространстве весовых коэффициентов. При этом возникает традиционная проблема оптимизации, связанная с попаданием в локальный минимум.

Правило Хебба. Оно базируется на следующем нейрофизиологическом наблюдении: если нейроны по обе стороны синапса активизируются одновременно и регулярно, то сила их синаптической связи возрастает. При этом изменение веса каждой межнейронной связи зависит только от активности нейронов, образующих синапс. Это существенно упрощает реализацию алгоритмов обучения.

Обучение методом соревнования. В отличие от правила Хебба, где множество выходных нейронов возбуждается одновременно, в данном случае выходные нейроны соревнуются (конкурируют) между собой за активизацию. В процессе соревновательного обучения осуществляется модификация весов связей выигравшего нейрона и нейронов, расположенных в его окрестности (''победитель забирает все").

Метод обратного распространения ошибки. Он является обобщением процедуры обучения простого перцептрона с использованием дельта-правила на многослойные сети. В данном методе необходимо располагать обучающей выборкой, содержащей «правильные ответы», т. е. выборка должна включать множество пар образцов входных и выходных даны, между которыми нужно установить соответствие. Перед началом обучения межнейронным связям присваиваются небольшие случайные значения. Каждый шаг обучающей процедуры состоит из двух фаз. Во время первой фазы входные элементы сети устанавливаются в заданное состояние. Входные сигналы распространяются по сети, порождая некоторый выходной вектор. Для работы алгоритма требуется, чтобы характеристика вход-выход нейроподобных элементов была неубывающей и имела ограниченную производную. Обычно для этого используют сигмоидальные функции. Полученный выходной вектор сравнивается с требуемым (правильным). Если они совпадают, то весовые коэффициенты связей не изменяются. В противном случае вычисляется разница между фактическими и требуемыми выходными значениями, которая передается последовательно от выходного слоя к входному. На основе этой информации проводится модификация связей в соответствии с обобщенным дельта-правилом, которое имеет вид:, где изменение в силе связи для p - й обучающей пары пропорционально произведению сигнала ошибки j - го нейрона получающего входной сигнал по этой связи, и выходного сигнала i - го нейрона посылающего сигнал по этой связи. Определение сигнала ошибки является рекурсивным процессом, который начинается с выходных блоков. Для выходного блока сигнал ошибки

где и соответственно желаемое и действительное значения выходного сигнала j - го блока; производная от выходного сигнала j - го блока. Сигнал ошибки для скрытого блока определяется рекурсивно через сигнал ошибки блоков, с которым соединен его выход, и веса этих связей равны. Для сигмоидальной функции поэтому на интервале 01 производная имеет максимальное значение в точке =0,5, а в точках =0 и =1 обращает в ноль. Максимальные изменения весов соответствуют блокам (нейронам), которые еще не выбрали свое состояние. Кроме того, при конечных значениях весовых коэффициентов выходные сигналы блоков не могут достигать значений 0 или 1. Поэтому за 0 обычно принимают значения <0,1, а за 1 - значения >0,9.

Модификация весов производится после предъявления каждой пары вход-выход. Однако если коэффициент, определяющий скорость обучения, мал, то можно показать, что обобщенное дельта-правило достаточно хорошо аппроксимирует минимизацию общей ошибки функционирования сети D методом градиентного спуска в пространстве весов. Общая ошибка функционирования сети определяется по формуле

D=.

Обучение продолжается до тех пор, пока ошибка не уменьшиться до заданной величины. Эмпирические результаты свидетельствуют о том, что при малых значениях з система находит достаточно хороший минимум D. Однако из основных недостатков алгоритмов обратного распространения ошибки заключается в том, что во многих случаях для сходимости может потребоваться многократное (сотни раз) предъявление всей обучающей выборки. Повышения скорости обучения можно добиться, например, используя информацию о второй производной D или путем увеличения з.

Алгоритм обратного распространения ошибки используется также для обучения сетей с обратными связями. При этом используется эквивалентность многослойной сети с прямыми связями и синхронной сети с обратными связями на ограниченном интервале времени (слой соответствует такту времени).

4. Применение в экономике и бизнесе

нейросетевой интеллект искусственный бизнес

Нейронные сети могут быть реализованы программным или аппаратным способом.

Вариантами аппаратной реализации являются нейрокомпьютеры, нейроплаты и нейроБИС (большие интегральные схемы). Одна из самых простых и дешевых нейроБИС - модель MD 1220 фирмы Micro Devices, которая реализует сеть с 8 нейронами и 120 синапсами. Среди перспективных разработок, можно выделить модели фирмы Adaptive Solutions (США) и Hitachi (Япония). Разрабатываемая фирмой Adaptive Solutions нейроБИС является одной из самых быстродействующих: объявленная скорость обработки составляет 1,2 млрд. межнейронных соединений в секунду (мнс/с). Схемы, производимые фирмой Hitachi, позволяют реализовывать искусственные нейронные сети, содержащие до 576 нейронов.

Большинство современных нейрокомпьютеров представляют собой персональный компьютер или рабочую станцию, в состав которых входит дополнительная нейроплата. К их числу относятся, например, компьютеры серии FMR фирмы Fujitsu. Возможностей таких систем вполне хватает для решения большого числа прикладных задач методами нейроматематики, а также для разработки новых алгоритмов. Наибольший интерес представляют специализированные нейрокомпьютеры, в которых реализованы принципы архитектуры нейросетей. Типичными представителями таких систем являются компьютеры семейства Mark фирмы TRW (первая реализация перцептрона, разработанная Ф. Розенблатом, называлась Mark I). Модель Mark III фирмы TRW представляет собой рабочую станцию, содержащую до 15 процессоров семейства Motorola 68 000 с математическими сопроцессорами. Все процессоры объединении шиной VME. Архитектура системы, поддерживающая до 65 000 виртуальных процессорных элементов с более чес 1 млн. настраиваемых соединений, позволяет обрабатывать до 450 тыс. мнс/с.

Другим примером является нейрокомпьютер NETSIM, созданный фирмой Texas Instruments на базе разработок Кембриджского университета. Его топология представляет собой трехмерную решетку стандартных вычислительных узлов на базе процессоров 80 188. Компьютер NETSIM используется для моделирования сетей Хопфилда-Кохонена. Его производительность достигает 450 млн. мнс/с.

В тех случаях, когда разработка или внедрение аппаратных реализаций нейронных сетей обходятся слишком дорого, применяют более дешевые программные реализации. Одним из самых распространенных программных продуктов является семейство программ BrainMaker фирмы CSS (California Scientific Software). Первоначально разработанный фирмой Loral Space Systems по заказу NASA и Johnson Space Center пакет BrainMaker бал вскоре адаптирован для коммерческих приложений и сегодня используется несколькими тысячами финансовых и промышленных компаний, а также оборонными ведомствами США для решения задач прогнозирования, оптимизации и моделирования ситуаций.

Назначение пакета BrainMaker — решение задач, для которых пока не найдены формальные методы и алгоритмы, а входные данные неполны, зашумлены и противоречивы. К таким задачам относятся прогнозирование курсов валют и акций на биржах, моделирование кризисных ситуаций, распознавание образов и многие другие. BrainMaker решает поставленную задачу, используя математический аппарат теории нейронных сетей (более конкретно — сеть Хопфилда с обучением по методу обратного распространения ошибки). В оперативной памяти строится модель многослойной нейронной сети, которая обладает свойством обучаться на множестве примеров, оптимизируя свою внутреннюю структуру. При правильном выборе структуры сети после ее обучения на достаточно большом количестве примеров можно добиться высокой достоверности результатов (97% и выше). Существуют версии BrainMaker для MS DOS и MS Windows, а также для Apple Macintosh. Кроме базовой версии пакета в семейство BrainMaker входят следующие дополнения:

• BrainMaker Student — версия пакета для университетов. Она особенно популярна у небольших фирм, специализирующихся на создании приложений и для не очень сложных задач.

• Toolkit Option — набор из трех дополнительных программ, увеличивающих возможности BrainMaker, Binary, которая переводит обучающую информацию в двоичный формат для ускорения обучения; Hypersonic Training, где используется высокоскоростной алгоритм обучения; Plotting, которая отображает факты, статистику и другие данные в графическом виде.

• BrainMaker Professional — профессиональная версия пакета BrainMaker с расширенными функциональными возможностями. Включает в себя все опции Toolkit.

• Genetic Training Option (для пакета BrainMaker Pro) - программа автоматической оптимизации нейронной сети для решения заданного класса задач, использующая генетические алгоритмы для селекции наилучших решений.

• DatаMaker Editor — специализированный редактор для автоматизации подготовки данных при настройке и использовании нейронной сети.

• Training Financial Data — специализированные наборы данных для настройки нейронной сети на различные виды аналитических, коммерческих и финансовых операций, которые включают реальные значения макроэкономических показателей NYSE, NADDAW, ASE, OEX, DOW и др., индексы инфляции, статистические данные биржевых сводок по различным видам продукции, а также информацию по фьючерсным контрактам и многое другое.

• BrainMaker Accelerator — специализированная нейроплата акселератор на базе сигнальных процессоров TMS320C25 фирмы Texas Instruments. Вставленная в персональный компьютер, она в несколько раз ускоряет работу пакета BrainMaker.

• BrainMaker Accelerator Pro — профессиональная многопроцессорная нейронная плата. Она содержит пять сигнальных процессоров TMS320C30 и 32 Мбайт оперативной памяти.

В настоящее время на рынке программных средств имеется большое количество разнообразных пакетов для конструирования нейронных сетей и решения различных задач. Пакет BrainMaker можно назвать ветераном рынка. Кроме представителей этого семейства, к хорошо известным и распространенным программным средствам можно отнести NeuroShell (WardSystem's Group), Neuro Works (Neural Ware Inc.) и NeuroSolutions (NeuroDimension Inc.). Объектно-ориентированные программы среды семейства NeuroSolutions предназначены для моделирования искусственной нейронной сети произвольной структуры. Пользователю систем NeuroSolutions предоставлены возможности исследования и диалогового управления. Все данные в сети доступны для просмотра в процессе обучения посредством разнообразных инструментов визуализации. Проектирование искусственной нейронной сети в системе NeuroSolutions основано на модульном принципе, который позволяет моделировать стандартные и новые топологии. Важным преимуществом системы является наличие специальных инструментов, позволяющих моделировать динамические процессы в искусственной нейронной сети.

Применение нейросетевых технологий целесообразно при решении задач, имеющих следующие признаки:

• отсутствие алгоритмов решения задач при наличии достаточно большого числа параметров;

• наличие большого объема входной информации, характеризующей исследуемую проблему;

• зашумленность, частичная противоречивость, неполнота или избыточность исходных данных.

Нейросетевые технологии нашли широкое применение в таких направлениях, как распознавание печатного текста, контроль качества продукции на производстве, идентификация событий в ускорителях частиц, разведка нефти, борьба с наркотиками, медицинские и военные приложения, управление и оптимизация, финансовый анализ, прогнозирование и др.

В сфере экономике нейросетевые технологии могут использоваться для классификации и анализа временных рядов путем аппроксимации сложных нелинейных функций. Экспериментально установлено, что модели нейронных сетей обеспечивают большую точность при выявлении нелинейных закономерностей на фондовом рынке по сравнению с регрессионными моделями.

Нейросетевые технологии активно используются в маркетинге для моделирования поведения клиентов и распределения долей рынка. Нейросетевые технологии позволяют отыскивать в маркетинговых базах данных скрытые закономерности.

Моделирование поведения клиентов позволяет определить характеристики людей, которые будут нужным образом реагировать на рекламу и совершать покупки определенного товара или услуги.

Сегментирование и моделирование рынков на основе нейросетевых технологий дает возможность построения гибких классификационных систем, способных осуществлять сегментирование рынков с учетом многообразия факторов и особенностей каждого клиента.

Технологии искусственных нейронных сетей имеют хорошие перспективы при решении задач имитации и предсказания поведенческих характеристик менеджеров и задач прогнозирования рисков при выдаче кредитов. Не менее актуально применение искусственных нейронных сетей при выборе клиентов для ипотечного кредитования, предсказания банкротства клиентов банка, определения мошеннических сделок при использовании кредитных карточек, составления рейтингов клиентов при займах с фиксированными платежами и т. д.

Следует помнить о том, что применение нейросетевых технологий не всегда возможно и сопряжено с определенными проблемами и недостатками.

1. Необходимо как минимум 50, а лучше 100 наблюдений для создания приемлемой модели. Это достаточно большое число данных, и они не всегда доступны. Например, при производстве сезонного товара истории предыдущих сезонов недостаточно для прогноза на текущий сезон из-за изменения стиля продукта, политики продаж и т. д. Даже при прогнозировании спроса на достаточно стабильный продукт на основе информации о ежемесячных продажах трудно накопить исторические данные за период от 50 до 100 месяцев. Для сезонных товаров проблема еще более сложна, так как каждый сезон фактически представляет собой одно наблюдение. При дефиците информации модели искусственных нейронных сетей строят в условиях неполных данных, а затем проводят их последовательное уточнение.

2. Построение нейронных сетей требует значительных затрат труда и времени для получения удовлетворительной модели. Необходимо учитывать, что излишне высокая точность, полученная на обучающей выборке, может обернуться неустойчивостью результатов на тестовой выборке — в этом случае происходит «переобучение» сети. Чем лучше система адаптирована к конкретным условиям, тем меньше она способна к обобщению и экстраполяции и тем скорее может оказаться неработоспособной при изменении этих условий. Расширение объема обучающей выборке позволяет добиться большей устойчивости, но за счет увеличения времени обучения.

3. При обучении нейронных сетей могут возникать «ловушки», связанные с попаданием в локальные минимумы. Детерминированный алгоритм обучения не в силах обнаружить глобальный экстремум или покинуть локальный минимум. Одним из приемов, который позволяет обходить «ловушки», является расширение размерности пространства весов за счет увеличения числа нейронов скрытых слоев. Некоторые возможности для решения этой проблемы открывают стохастические методы обучения. При модификации весов сети только на основе информации о направлении вектора градиента целевой функции в пространстве весов можно достичь локального минимума, но невозможно выйти из него, поскольку в точке экстремума «движущая сила» (градиент) обращается в нуль и причина движения исчезает. Чтобы покинуть локальный экстремум и перейти к поиску глобального экстремума, нужно создать дополнительную силу, которая будет зависеть не от градиента целевой функции, а от каких-то других факторов. Один из простейших методов состоит в том, чтобы просто создать случайную силу и добавить ее к детерминистической.

4. Сигмоидальный характер передаточной функции нейрона является причиной того, что если в процессе обучения несколько весовых коэффициентов стало слишком большим, то нейрон попадает на горизонтальный участок функции в область насыщения. При этом изменения других весов, даже достаточно большие, практически не сказывается на величине выходного сигнала такого нейрона, а значит и на величине целевой функции.

5. Неудачный выбор диапазона входных переменных — достаточно элементарная, но часто совершаемая ошибка. Если — это двоичная переменная со значением 0 и 1, то примерно в половине случаев она будет иметь нулевое значение: = 0. Поскольку входит в выражение для модификации веса в виде сомножителя, то эффект будет тот же, что и при насыщении: модификация соответствующих весов будет блокирована. Правильный диапазон для входных переменных должен быть симметричным, например от +1 до -1.

6. Процесс решения задач нейронной сетью является «непрозрачным» для пользователя, что может вызывать с его стороны недоверие к прогнозирующим способностям сети.

7. Предсказывающая способность сети существенно снижается, если поступающие на вход факты (данные) имеют значительные отличия от примеров, на которых обучалась сеть. Этот недостаток ярко проявляется при решении задач экономического прогнозирования, в частности при определении тенденций котировок ценных бумаг и стоимости валют на фондовых и финансовых рынках.

8. Отсутствуют теоретически обоснованные правила конструирования и эффективного обучения нейронных сетей. Этот недостаток приводит, в частности, к потере нейронными сетями способности обобщать данные предметной области в состояниях переобучения (перетренировки).

1. Андрейчиков А. В., Андрейчикова О. Н. Интеллектуальные информационные систем: Учебник. — М.; Финансы и статистика, 2004. — 424 с.: ил.

2. Девятков В. В. Системы искусственного интеллекта: Учеб. Пособие для вузов. — М.: Изд-во МГТУ им. Н. Э. Баумана, 2001. — 352 с.: ил.

3. Бухарбаева Л. Я., Танюкевич М. В. Информационная поддержка финансового менеджмента на основе программного пакета нейросетевого программирования Brainmaker 3.11: Методические указания. / Уфимск. гос. авиац. техн. унив-т. — Уфа, 2001. — 46 с.

4. Черняховская Л. Р., Шкундина Р. А. Нейро-нечёткое моделирование: Методические указания. / Уфимск. гос. авиац. техн. унив-т. — Уфа, 2004. — 22 c.

5. Балдин К. В., Уткин В. Б. Информационные системы в экономике: Учебник. — М.; Финансы и статистика, 2009.

6. Романов В. П. Интеллектуальные информационные систем в экономике: Учебник. — М.; Финансы и статистика, 2007.

7. Соколов Е. Н., Вайтнявичус Г. Г. Нейроинтеллект: от нейрона к нейрокомпьютеру. — М.: Наука, 1989.

8. Осовский С. Нейронные сети для обработки информации: Учебник. — М.; Финансы и статистика, 2002.

9. Мкртчян C. О. Нейроны и нейронные сети (Введение в теорию формальных нейронов и нейронных сетей). — М.: Энергия, 1971.

10. Позин Н. В. Моделирование нейронных структур. — М.: Наука, 1970.