Введение. 
Искусственные нейронные сети в задачах прогнозирования

Нейронные сети — это адаптивные системы для обработки и анализа данных, которые представляют собой математическую структуру, имитирующую некоторые аспекты работы человеческого мозга и демонстрирующие такие его возможности, как способность к неформальному обучению, способность к обобщению и кластеризации неклассифицированной информации, способность самостоятельно строить прогнозы на основе уже предъявленных временных рядов.

Главным их отличием от других методов, например таких, как экспертные системы, является то, что нейросети в принципе не нуждаются в заранее известной модели, а строят ее сами только на основе предъявляемой информации. Именно поэтому нейронные сети и генетические алгоритмы вошли в практику всюду, где нужно решать задачи прогнозирования, классификации, управления — иными словами, в области человеческой деятельности, где есть плохо алгоритмизуемые задачи, для решения которых необходимы либо постоянная работа группы квалифицированных экспертов, либо адаптивные системы автоматизации, каковыми и являются нейронные сети.

Основные понятия

Становление нейронной доктрины

Искусственные нейронные сети (ИНС) используются при решении проблем, которые не могут быть точно сформулированы. Слово «нейронные», фигурирующее в названии раздела, применено потому, что многое в теорию ИНС пришло из нейробиологии, хотя в действительности при изучении дисциплины не рассматриваются сети реальных биологических нейронов. Моделирование функций мозга — совершенно другая научная сфера, но из этой области в теорию ИНС привнесены некоторые биологические аналогии.

В качестве определения нейронных сетей может быть принято [1]: ИНС — параллельно распределенная структура обработки информации, состоящая из отдельных элементов (нейронов), соединенных между собой связями.

На сегодняшний день традиционные методы организации вычислительного процесса в ЭВМ оказываются неэффективными при решении ряда задач, относящихся к классам, не формализуемых или случайных, которые требуют обработки больших массивов информации, проверки множества альтернативных гипотез, поиска их в базах данных. Применение ИНС позволяет привлечь в вычислительную технику методы обработки информации, характерные для высокоорганизованных биологических систем, в частности принцип параллелизма. В отличие от используемой в традиционных ЭВМ фон-Неймановской архитектуры в ИНС и компьютерах, построенных на их основе, роль программирования выполняет обучение, под которым понимается изменение состояния самих нейронов и связей между ними.

Мозг человека превосходит компьютер при решении многих задач. Удачный пример сопоставления — это обработка визуальной информации: годовалый ребенок лучше и быстрее распознает предметы, лица и т. п., чем это делает самая совершенная система искусственного интеллекта. Только в одной задаче компьютер превосходит возможности мозга: при выполнении арифметических операций.

В то же время мозг обладает рядом характерных свойств, которые могут быть использованы в искусственных системах:

• · мозг устойчив к повреждениям. Нервные клетки в мозге умирают каждый день без какого-либо ощутимого влияния на функционирование нервной системы;
• · он гибок. Мозг легко может настраиваться на новое окружение посредством «обучения» (не требует программирования на каком-либо стандартном языке);
• · мозг может иметь дело с информацией, являющейся вероятностной, нечеткой, искаженной помехами;
• · обладает высокой степенью параллелизма;
• · мозг мал, компактен и потребляет мало энергии.

Эти свойства мозга являются реальной мотивацией для изучения ИНС, которые служат альтернативой традиционной вычислительной парадигме, введенной фон Нейманом и используемой сегодня практически во всех компьютерах. нейронный сеть математический кредитный ИНС называют еще искусственными нейронными системами, параллельно распределенными системами, коннекционистскими моделями, нейрокомпьютерами. Такие системы — следствие попыток имитировать, по крайней мере, частично, структуру, функции мозга и нервной системы живых существ. Одна из привлекательных сторон ИНС заключена в их способности к адаптации к внешним условиям путем изменения связей или структуры. ИНС рассматриваются иногда, как значительно упрощенные модели человеческого мозга. Такой взгляд несколько преувеличен и вводит в заблуждение, так как мозг человека еще не полностью изучен и его поведение очень сложное.

Мозг содержит порядка 10 нейронов (нервных клеток) различных типов. Ветвящиеся сети нервных волокон, называемые дендритами, соединяются на теле клетки (соме), где расположено ее ядро. Из тела клетки выходит аксон, представляющий собой нервное волокно, который разветвляется на множество прядей. Аксон может быть как коротким (0,1 мм), так и длинным (свыше 1 м), распространяясь в другую часть тела человека. На концах своих ветвей аксон имеет передающие окончания синаптических соединений (синапсов), посредством которых сигнал передается в другие нейроны через дендриты, а в некоторых случаях — непосредственно в тело клетки. Существует огромное число синаптических связей от аксона к аксону, от аксона к телу клетки, от дендрита к дендриту.

В отличие от электрических цепей синаптические контакты не являются физическими или электрическими соединениями. Вместо этого есть узкое пространство, называемое синаптической щелью, отделяющее дендрит от передающего аксона. Особые химические вещества (нейротрансмиттеры), выбрасываемые аксоном в синаптическую щель, диффундируют к дендриту, а затем улавливаются рецепторами на дендрите и внедряются в тело клетки. Определено свыше 30 видов нейротрансмиттеров, некоторые из них являются возбуждающими и стремятся вызвать возбуждение (активацию) клетки и выработать выходной импульс, другие же — тормозящими и подавляющими такой импульс. Тело клетки суммирует сигналы, полученные от дендритов, и в случае превышения результирующего сигнала над пороговой величиной вырабатывает импульс, проходящий по аксону к другим нейронам. Каждый нейрон способен генерировать импульс, который возбуждает либо затормаживает сотни и тысячи других нейронов; последние, в свою очередь, через свои дендриты воздействуют на другие тысячи нейронов. Эта высокая степень связности обеспечивает мозгу вычислительную мощность.

Топология ИНС — это логическая структура, в которой множество узлов (ячеек, нейронов) соединены между собой с помощью синапсов. Такая топология в некоторой степени имитирует структуру биологических прототипов. При этом долговременная память сети представлена состояниями синаптических связей между нейронами, в то время как кратковременная память — состояниями самих нейронов. Оба вида запоминаемой информации определяют характер отклика сети на входные воздействия.

Дадим краткий исторический обзор становления нейронной доктрины.

Начало эпохи нейронных сетей. В 1943 г. В. Маккаллох и В. Питтс (W. McCulloch, W. Pitts) [2] предложили общую теорию информационных вычислений, основанную на бинарных решающих элементах, которые они назвали «нейронами», хотя эти элементы намного проще, чем их биологические прототипы. Каждый из этих элементов i = 1, …, n может принимать выходные значения только ni = 0; 1, при этом ni = 0 определяет состояние покоя, а ni = 1 — активное состояние элементарной ячейки. Положим, что изменения состояния сети имеют место в дискретные моменты времени t = 0, 1, 2, …. Новое состояние некоторого нейрона определяется воздействием всех других нейронов на него и выражается линейной комбинацией их выходных значений:

Здесь wij определяет синаптические веса между нейронами i и j, а hi (t) — общий постсинаптический потенциал на нейроне i, обусловленный действием всех других нейронов. Иначе говоря, модель нейрона Маккаллоха-Питтса вычисляет взвешенную сумму своих входов от других нейронов. Далее в модели принято, что нейрон становится активным, если эта сумма (вход нейрона) превышает некоторый порог qi, который может значительно различаться от одного нейрона к другому.

Вес wij, определяющий величину связи между нейронами i и j, может быть положительным или отрицательным, что соответствует возбуждающему или замедляющему синапсу. При нулевом значении веса связь между нейронами i и j отсутствует.

Маккаллох и Питтс показали, что сети, составленные из таких нейронов, могут выполнять вычисления подобно программируемым цифровым компьютерам. В определенном смысле сеть содержит «программный код», который управляет вычислительным процессом, т. е. матрицей весов wij. Сеть отличается от традиционного компьютера тем, что шаги программы выполняются не последовательно, а параллельно в пределах каждой элементарной ячейки.

Однако реальные нейроны имеют ряд специфических признаков, отличающих их от упрощенной модели Маккаллоха-Питтса, в частности:

• · реальные нейроны часто не являются такими пороговыми устройствами. Вместо этого нейроны откликаются на воздействие входного сигнала непрерывно (иногда это называют градуальным откликом). Но нелинейное соотношение между входом и выходом нейрона характерно и для биологического прототипа;
• · реальные нейроны вырабатывают последовательность импульсов, а не простую выходную величину. Представляя активацию нейрона единственным числом ni, игнорируется информация, содержащаяся в последовательности импульсов (фазовые соотношения). Однако большинство специалистов полагают, что фаза не играет значительной роли в реальных нейронных сетях;
• · не все нейроны имеют одно и то же время задержки (t ® t + 1). Также более правдоподобной является гипотеза об асинхронном изменении состояния нейронов;
• · в реальных нейронах количество нейротрансмиттерного вещества, поступающего в синаптическую щель, может меняться непредсказуемым образом. Отчасти это можно учесть, придавая динамике нейрона Маккаллоха-Питтса стохастичеcкий характер.

В целом, учитывая некоторые свойства реальных нейронов, в модель Маккаллоха-Питтса следует ввести вместо пороговой функции более общую нелинейную функцию f (x), которая называется функцией активации или передаточной функцией.

На первом этапе становления нейронной доктрины одним из основателей по праву считается канадский ученый-нейропсихолог Д. Хебб (D. Hebb). В 1949 г. вышла его книга «Организация поведения», где он изложил теорию нейронных ансамблей и сформулировал используемый в этой теории нейрофизиологический постулат, который считается первым законом обучения для ИНС. Смысл этого закона заключается в том, что связь между двумя нейронами возрастает, если оба этих нейрона одновременно являются активными.

Десятилетие с конца 50-х гг. до начала 70-х гг. прошлого столетия можно назвать первым золотым веком нейронных сетей. В этот период Ф. Розенблатт (F. Rosenblatt) с коллегами интенсивно изучал специальный тип ИНС, названный персептрон, так как они рассматривали его как упрощенную модель биологического механизма определения сенсорной информации [3]. В самой простейшей форме персептрон состоит из двух различных слоев нейронов, представляющих собой входной и выходной слои соответственно. Отметим, что даже простой персептрон с технической точки зрения является трехслойным устройством, так как слой сенсорных ячеек расположен перед первым слоем вычислительных нейронов, который здесь называется входным. Нейроны выходного слоя принимают синаптические сигналы от нейронов входного слоя, не наоборот, и нейроны в пределах одного слоя не соединяются между собой. Поток информации является строго направленным, а сами сети — прямонаправленными. Розенблатт разработал итеративный алгоритм для определения весов wij, с помощью которых конкретный входной образ трансформируется в требуемый выходной образ, и доказал сходимость этого алгоритма. Научные круги с энтузиазмом восприняли работы Ф. Розенблатта, так как полагали, что такие устройства могут послужить основой для создания искусственного интеллекта.

В этот же период (1960 г.) Б. Уидроу (B. Widrow) вместе со своим студентом М. Хоффом (M. Hoff) разработали обучающее правило, которое впоследствии получило название дельта-правила, тесно связанное с обучающим правилом персептрона. Сходство моделей, разработанных в нейрофизиологии Розенблаттом, с моделями в телефонии Уидроу-Хоффа (созданное ими устройство получило наименование Adaline — Adaptive Linear Neuron — адаптивный линейный нейрон) является свидетельством междисциплинарного характера нейронных сетей. Правило Уидроу-Хоффа, примененное для однослойных сетей, послужило предшественником правила обратного распространения для многослойных сетей.

Следующий, третий этап развития концепции ИНС начался в конце 1960;х гг. и получил название застойного периода. В 1969 г. М. Минский (M. Minsky) и С. Паперт (S. Papert) в своей книге, посвященной персептронам, доказали, что существует ряд простых задач, которые в принципе не могут быть решены с помощью простого персептрона [4]. Одна из таких задач — проблема «исключающего ИЛИ», которая не может быть представлена простым персептроном. Ф. Розенблатт разработал структуры многослойных персептронов, но отсутствие обучающего алгоритма, т. е. правила изменения весов, в то время не позволило ему показать возможности таких сетей. Научный авторитет авторов книги [4], в первую очередь М. Минского, в кругах специалистов был высок, и это послужило причиной того, что многие ученые, разочаровавшись в нейросетевой теории, переключились на другие области знаний. Почти на протяжении полутора десятилетий проблемами ИНС продолжали заниматься немногие ученые, убежденные в правоте и перспективности этого направления.

Среди таких ученых, прежде всего, следует выделить С. Гроссберга (S. Grossberg) из Бостонского университета, который в период 1967;1988 гг. опубликовал почти 150 работ в области ИНС, и Т. Кохонена (T. Kohonen) из Хельсинского университета технологии, основоположника самоорганизующихся сетей. Усилиями этих и других ученых в этот период застоя продолжалась разработка теоретических основ нейрокомпьютинга.

Следующий шаг в развитии теории нейронных сетей произошел в конце 1970;х гг. когда В. Литтл (W. Little) выявил сходство между нейронами Маккаллоха-Питтса и системами элементарных магнитных моментов, называемых спинами. В таких системах спин si в каждом узле решетки может иметь только два различных направления: вверх или вниз, обозначаемых соответственно как si = +1 и si = -1. Аналогия с нейронной сетью следует из идентификации каждого спина с нейроном и ассоциированием ориентации спина вверх si = +1 с активным состоянием нейрона ni = 1 и ориентации спина вниз si = -1 с состоянием покоя.

Эти идеи были развиты далее Д. Хопфилдом (D. Hopfield) [5], который изучил, как подобные сети или спиновые системы могут запоминать и восстанавливать информацию. Модели Литтла и Хопфилда различаются способом, согласно которому изменяется состояние системы. В модели Литтла все нейроны (спины) изменяются синхронно в соответствии с законом (1), в то время как в модели Хопфилда нейроны изменяются последовательно во времени (или в некотором фиксированном порядке, или случайным образом). Последовательное изменение имеет значительное преимущество при имитации сети на традиционном цифровом компьютере, а также для теоретического анализа свойств сети. Однако такой режим имеет существенный недостаток, заключающийся в том, что в реальных нейронных сетях одновременно участвует большое количество параллельных ячеек.

Аналогия со спиновыми системами становится особенно продуктивной благодаря прогрессу в понимании термодинамических свойств неупорядоченных систем спинов (спиновых стекол), достигнутому в последние годы. В целях применения этих результатов к нейронным сетям необходимо заменить детерминированный закон эволюции (2) стохастическим законом, когда величине ni (t + 1) присваиваются значения в соответствии с вероятностной функцией, зависящей от интенсивности входа hi. Эта функция содержит параметр Т, который играет роль температуры. Однако Т здесь не является моделью физической температуры биологической сети, но служит формальной концепцией для введения элементов случайности в сеть и применения методов статистической термодинамики.

Всплеск интереса к ИНС возродился в середине 1980;х гг., и последний этап развития ИНС получил название возрожденного энтузиазма. Этому развитию предшествовала разработка эффективного алгоритма для определения весов в многослойных сетях со скрытыми слоями. Данный метод, предложенный еще в 1974 г. П. Вербозом (P. Werbos) в своей докторской диссертации, но незамеченный в среде специалистов, в 1985 г. был изучен несколькими группами исследователей [6] и получил название метода обратного распространения ошибки (Back Propagation Error — BPE). Этот обучающий алгоритм основан на простом, но очень эффективном принципе: веса wij изменяются итеративно таким образом, что выходной сигнал отличается от требуемого выхода настолько мало, насколько это возможно. Такое решение достигается использованием градиентного метода, дающего требуемые изменения весов. Так как действие сети основано на нелинейном отображении между входом и выходом, то метод ВРЕ должен быть применен многократно до тех пор, пока не будет достигнута сходимость. Появление этого метода, позволяющего решать сложные задачи с помощью многослойных персептронов, оказало существенное влияние на пути дальнейшего развития теории ИНС.