Нейроинформатика и нейросистемы

ОГЛАВЛЕНИЕ Введение Глава 1 Нейрокомпьютеры

1.1 Нейрокомпьютеры, и их применение в современном обществе

1.2 Некоторые характеризующие нейрокомпьютеры свойства. Задачи, решаемые с помощью нейрокомпьютеров Глава 2. Искусственные нейронные сети

2.1 Математическая модель нейрона

2.2 Типы искусственных нейронов

2.2.1 Персептрон

2.2.2 Сигмоидальный нейрон

2.2.3 Инстар Гроссберга

2.2.4 Нейроны типа WTA

2.2.5 Нейрон Хебба

2.2.6 Радиальный нейрон

2.3 Классификация искусственных нейронных сетей

2.4 Достоинства и недостатки искусственных нейронных сетей Заключение Список используемой литературы Введение Актуальность исследования: Нейроиформатика — область научных исследований, лежащая на пересечении нейронаук и информатики. Уже многие из созданных приложений нейроинформатики способствуют упрощению современной жизни, и используются во многих сферах человеческой жизни, от производства и до криминалистики. Так же высоко оцениваются достижения последнего десятилетия в области теории нейронных сетей, моделирования мозга, приложений нейротехнологии, разработки нейрокомпьютеров, а также оценивались перспективы развития нейрокомпьютинга.

Объект исследования: Нейроинформатика.

Предмет исследования: Искусственные нейронные сети, математические модели нейронов как единица искусственной нейронной сети, нейрокомпьютеры.

Цель исследования: Выявить основные положения нейроинформатики как науки. Улучшить личные знания в данном разделе информатики.

Задачи исследования:

— Ознакомится с теоретическим курсом нейроинформатики.

— Выявить основные положения, проблемы науки.

— Установить достоинство и недостатки методов достижения основных целей нейроинформатики.

Глава 1. Нейрокомпьютеры

1.1 Нейрокомпьютеры, и их применение в современном обществе Нейронные сети, нейрокомпьютеры, ЭВМ, подобные мозгу. Все чаще информация о них мелькает на страницах печати. Это — не фантастика. Уже существуют работающие нейрокомпьютеры и складывается свой рынок этого нового класса перспективных средств вычислительной техники. Фирма Локхид предполагает использование нейрокомпьютеров для управления адаптивной фокусирующей системой управления мощным лазерным оружием при ведении «звездных войн». Ярким примером реализации нейрокомпьютеров в управлении роботами является разработка системы управления механической рукой для космического корабля «Шаттл». Во многих аэропортах США при досмотре багажа для выявления наркотиков, взрывчатых веществ, ядерных и других материалов используются все те же нейрокомпьютеры. 60% кредитных карточек в США проходят контроль с применением нейрокомпьютерной технологии. Нейроконтроллеры при решении задачи управления уровнем температуры жидкости в замкнутом объеме почти вдвое быстрее реагируют на изменение температуры по сравнению с традиционными PI (РID) регуляторами. Эффективность использования нейрокомпьютеров для обработки радио и гидролокационной информации, причем как на уровне первичной, так и на уровне вторичной обработки, уже не новость. Прогнозирование экономических и финансовых показателей, предсказание возможных осложнений у больных в послеоперационный период, диагностика автомобильных и авиационных двигателей, управление атомными электростанциями и даже стиральными машинами, обработка изображений, формируемых электронным сканирующим микроскопом или телекамерой в охранных системах наблюдения и многое. Многое другое — это все те области, где нейрокомпьютеры различного уровня реализации, от специализированных аппаратных средств, до простых нейросетевых пакетов программ для традиционных персональных компьютеров, с каждым годом находят все более широкое применение.

Огромный интерес к нейрокомпьютерам держится во всем мире без малого уже десять лет. Выкладываются миллиарды долларов, открываются десятки факультетов и кафедр, сотни лабораторий. Число фирм — разработчиков и производителей нейрокомпьютеров — стало уже более сотни.

Нейронные сети и нейрокомпьютеры в настоящее время быстро становятся одной из тех технологий, на которые делают свои ставки ведущие компании мира как на средство конкурентоспособности в XXI веке. Нейрокомпьютеры — это новый захватывающий мир, мир новых возможностей и профессий. США и Япония, Германия и Финляндия, Франция и ряд других стран развернули государственные проекты по исследованиям, разработкам и прикладному использованию нейрокомпьютеров как в гражданской, так и в военной сферах. Что же касается России, то здесь мы всегда были и остаемся ведущими в мире в области теории нейронных сетей. Не отстаем и в создании прикладных нейросетевых алгоритмов. С разработками же конкурентоспособной промышленной нейрокомпьютерной техники в текущих условиях тяжелейшего экономического состояния страны дела обстоят, честно сказать, не столь хорошо. Но тем не менее готовятся в ВУЗах страны, молодые специалисты, знакомые с нейрокомпьютерной тематикой. Продолжаются проводиться научно — исследовательские работы в Научном центре нейрокомпьютеров Минэкономики РФ (г. Москва) и ряде других организаций страны.

Конечно для многих людей нейронные сети и нейрокомпьютеры представляются чем-то экзотическим и интригующим. Но, прежде всего, пусть никого не вводит в заблуждение употребление слова «нейро». Искусственная нейронная сеть или, как еще говорят, модель нейронной сети похожа на мозг человека не более чем теннисный шарик на планету Марс.

С математической точки зрения нейронная сеть представляет собой многослойную сетевую структуру, состоящую из однотипных, параллельно работающих процессорных элементов — моделей нейронов. Однако структурно, функционально и алгоритмически модель нейронной сети при обработке информации и выполнении вычислительного процесса в некотором смысле действительно имитирует отдельные свойства естественных нейронных сетей. Ну, а для реализации искусственных нейронных сетей как раз и используют нейрокомпьютеры, т. е. вычислительные устройства, которые максимально ориентированы по своей структуре и функциям на эффективное моделирование нейронных сетей и реализацию нейронных алгоритмов решения различных прикладных задач. В целом научное направление, включающее в себя теорию нейронных сетей, разработку нейронных алгоритмов решения прикладных задач и непосредственно создание нейрокомпьютеров на различной элементной базе — цифровой, аналоговой, оптической и др., получило общее название «нейрокомпьютинг».

Каждая связь представляется как совсем простой элемент, служащий для передачи сигнала. Предельным выражением этой точки зрения может служить лозунг: «структура связей — все, свойства элементов — ничто».

Совокупность идей и научно-техническое направление, определяемое описанным представлением о мозге, называется коннекционизмом (по-английски connection — связь). Как все это соотносится с реальным мозгом? Так же, как карикатура или шарж со своим прототипом-человеком _ весьма условно. Это нормально: важно не буквальное соответствие живому прототипу, а продуктивность технической идеи.

С коннекционизмом тесно связан следующий блок идей:

1) однородность системы (элементы одинаковы и чрезвычайно просты, все определяется структурой связей);

2) надежные системы из ненадежных элементов и «аналоговый ренессанс» — использование простых аналоговых элементов;

3) «голографические» системы — при разрушении случайно выбранной части система сохраняет свои полезные свойства.

Предполагается, что система связей достаточно богата по своим возможностям и достаточно избыточна, чтобы скомпенсировать бедность выбора элементов, их ненадежность, возможные разрушения части связей.

Коннекционизм и связанные с ним идеи однородности, избыточности и голографичности еще ничего не говорят нам о том, как же такую систему научить решать реальные задачи. Хотелось бы, чтобы это обучение обходилось не слишком дорого.

На первый взгляд кажется, что коннекционистские системы не допускают прямого программирования, то есть формирования связей по явным правилам. Это, однако, не совсем так. Существует большой класс задач: нейронные системы ассоциативной памяти, статистической обработки, фильтрации и др., для которых связи формируются по явным формулам. Но еще больше (по объему существующих приложений) задач требует неявного процесса. По аналогии с обучением животных или человека этот процесс мы также называем обучением.

Обучение обычно строится так: существует задачник — набор примеров с заданными ответами. Эти примеры предъявляются системе. Нейроны получают по входным связям сигналы — «условия примера», преобразуют их, несколько раз обмениваются преобразованными сигналами и, наконец, выдают ответ — также набор сигналов. Отклонение от правильного ответа штрафуется. Обучение состоит в минимизации штрафа как (неявной) функции связей. Примерно четверть нашей книги состоит в описании техники такой оптимизации и возникающих при этом дополнительных задач.

Неявное обучение приводит к тому, что структура связей становится «непонятной» — не существует иного способа ее прочитать, кроме как запустить функционирование сети. Становится сложно ответить на вопрос: «Как нейронная сеть получает результат?» — то есть построить понятную человеку логическую конструкцию, воспроизводящую действия сети.

Это явление можно назвать «логической непрозрачностью» нейронных сетей, обученных по неявным правилам. В работе с логически непрозрачными нейронными сетями иногда оказываются полезными представления, разработанные в психологии и педагогике, и обращение с обучаемой сетью как с дрессируемой зверушкой или с обучаемым младенцем — это еще один источник идей. Возможно, со временем возникнет такая область деятельности — «нейропедагогика» — обучение искусственных нейронных сетей.

С другой стороны, при использовании нейронных сетей в экспертных системах на PC возникает потребность прочитать и логически проинтерпретировать навыки, выработанные сетью. Для этого существуют методы контрастирования — получения неявными методами логически прозрачных нейронных сетей. Однако за логическую прозрачность приходится платить снижением избыточности, так как при контрастировании удаляются все связи кроме самых важных, без которых задача не может быть решена.

Итак, очевидно наличие двух источников идеологии нейроинформатики. Это представления о строении мозга и о процессах обучения. Существуют группы исследователей и научные школы, для которых эти источники идей имеют символическое, а иногда даже мистическое или тотемическое значение.

В работе доказана теорема, утверждающая, что с помощью линейных комбинаций и суперпозиций линейных функций и одной произвольной нелинейной функции одного аргумента можно сколь угодно точно приблизить любую непрерывную функцию многих переменных.

Из этой теоремы следует, что Нейронные сети — универсальные аппроксимирующие устройства и могут с любой точностью имитировать любой непрерывный автомат.

Главный вопрос: что могут нейронные сети. Ответ получен: нейронные сети могут все. Остается открытым другой вопрос: как их этому научить?

Создание и использование нейрокомпьютеров является целесообразным по двум причинам. Во-первых, их архитектура ориентирована на параллельные вычисления и позволяет выполнять их без тех осложнений, с которыми связано выполнение этих вычислений на традиционных ЭВМ, ориентированных на последовательную обработку данных. Во-вторых, нейрокомпьютеры не работают по жесткому алгоритму, не перепрограммируются под разные задачи, а каждый раз обучаются решению новой проблемы. Конечно, необходимость обучения нельзя считать только достоинством. Отрицательными его сторонами являются как необходимость организации специальных наборов данных для обучения — обучающих выборок, так и затраты времени на их создание. Более того, использование нейрокомпьютеров для решения задач, требующих высокой точности, может оказаться нецелесообразным. Однако при решении задач, для которых не существует алгоритма или решение по алгоритму занимает слишком много времени, нейрокомпьютеры оказываются предпочтительнее традиционных. Здесь сразу возникает их значительное преимущество. Поэтому и возник с конца 80 — х годов этот нейрокомпьютерный бум, который не затихает по настоящее время.

1.2 Некоторые характеризующие нейрокомпьютеры свойства. Задачи, решаемые с помощью нейрокомпьютеров И все равно возникают вопросы. Так ли необходимы нейронные сети. Вот несколько вариантов прозаичных ответов на вопрос «зачем?» _ можно выбрать, что важнее:

А. Нейрокомпьютеры дают стандартный способ решения многих нестандартных задач. И неважно, что специализированная машина лучше решит один класс задач. Важнее, что один нейрокомпьютер решит и эту задачу, и другую, и третью — и не надо каждый раз проектировать специализированную ЭВМ — нейрокомпьютер сделает все сам и почти не хуже.

Б. Вместо программирования — обучение. Нейрокомпьютер учится — нужно только формировать учебные задачники. Труд программиста замещается новым трудом — учителя (может быть, надо сказать — тренера или дрессировщика). Лучше это или хуже? Ни то, ни другое. Программист предписывает машине все детали работы, учитель — создает «образовательную среду», к которой приспосабливается нейрокомпьютер. Появляются новые возможности для работы.

В. Нейрокомпьютеры особенно эффективны там, где нужно подобие человеческой интуиции — для распознавания образов (узнавания лиц, чтения рукописных текстов), перевода с одного естественного языка на другой и т. п. Именно для таких задач обычно трудно сочинить явный алгоритм.

Г. Гибкость структуры: можно различными способами комбинировать простые составляющие нейрокомпьютеров — нейроны и связи между ними. За счет этого на одной элементной базе и даже внутри «тела» одного нейрокомпьютера можно создавать совершенно различные машины. Появляется еще одна новая профессия — «нейроконструктор» (конструктор мозгов).

Д. Нейронные сети позволяют создать эффективное программное обеспечение для высокопараллельных компьютеров. Для высокопараллельных машин хорошо известна проблема: как их эффективно использовать — как добиться, чтобы все элементы одновременно и без лишнего дублирования вычисляли что-нибудь полезное? Создавая математическое обеспечения на базе нейронных сетей, можно для широкого класса задач решить эту проблему.

Наиболее эффективны нейрокомпьютерные технологии прежде всего на задачах, где необходимо обрабатывать неполную и нечеткую информацию. Например, распознавание летящей цели, медицинская диагностика, прогнозирование различных чрезвычайных ситуаций, прогнозирование в экономической и финансовой сферах, моделирование в научных экспериментах, управление технологическими процессами и т. д. Все это возможно для нейрокомпьютеров благодаря их способности к обучению, установлению ассоциативных связей, распознаванию образов, т. е. благодаря имитации работы биологических нейронных сетей.

С расширением сферы применения нейронных сетей возникают всё новые задачи, которые требуют применения нейронных сетей большой размерности и реального времени их моделирования. Для этих целей персональные ЭВМ слишком медленные, большинство супер ЭВМ и параллельных ЭВМ имеют большие габариты и высокую стоимость, а известные зарубежные нейрокомпьютеры во многих реализациях специализированы на узкий класс нейросетевых задач или отдельные классы задач и не позволяют эффективно решать прикладные задачи большой размерности при малом времени реакции. Таким образом, несмотря на большое количество известных в мире нейрокомпьютеров, постоянно возникают всё новые требования к созданию и использованию высокопроизводительных и универсальных вычислительных средств, структурно и функционально поддерживающих прикладные процессы нейрообработки информации в режиме супервычислений при высоких требованиях к быстродействию. Что касается России, то до отечественных разработок, начатых в конце 80-х годов в рамках государственных проектов, несмотря на наличие мощной вычислительной техники и фундаментальных работ в области теории нейронных сетей, промышленных нейрокомпьютеров в отечественной разработки не было. Именно в направлении исследований и создания методов, алгоритмов и средств построения высокопроизводительных параллельных цифровых нейрокомпьютеров общего и специального назначения конкретно на элементной базе широкого применения с ориентацией на промышленное изготовление работали и работают учёные и разработчики в г. Казани[2].

Глава 2. Искусственные нейронные сети

2.1 Математическая модель искусственного нейрона Искусственные нейронные сети представляют собой один из интереснейших с точки зрения информатики случаев систем, основанных на знаниях. Искусственные нейронные сети возникли из многочисленных попыток воспроизвести при помощи математики и компьютера абстрактную модель совместной работы клеток головного мозга.

Нейрон, основная строительная единица биологического нервного вещества, представляет собой клетку, в которой множество входных сигналов обрабатывается по определенному алгоритму, и затем, как результат этой обработки, формируется выходной сигнал (рис1)

Рис. 1 Биологический нейрон Абстрагируя принцип работы биологического нейрона, математики построили математическую модель, отражающую основные принципы работы этой клетки (рис 2)

В этой модели сигналы, поступающие на входы, умножаются на весовые коэффициенты, и на основе функции обработкивырабатывается выходной сигналXj. В простейшем случае входные сигналы, помноженные на весовые коэффициенты, суммируются, и, когда значение суммы становится больше определенного порога, генерируется выходной сигнал.

Рис. 2 Классическая модель искусственного нейрона В других случаях зависимость выходного сигнала от суммы входных может иметь более сложный характер, описываемый заданной математической функцией.

Физически один искусственный нейрон представляет собой простой микропроцессор с возможность программирования функции установки весовых коэффициентов и с небольшим объемом встроенной памяти. Для обработки знаний отдельный искусственный нейрон применен быть не может. Но когда множество искусственных нейронов соединяются между собой в искусственную нейронную сеть (подобно тому, как биологические нейроны соединены в мозгу человека), у них появляется возможность обрабатывать и накапливать знания. Знания в искусственной нейронной сети накапливаются в виде значений весовых коэффициентов.

Таким образом, можно сформулировать определение.

Искусственная нейронная сеть — это математическая модель вместе с ее аппаратной и программной реализацией, построенная по принципу действия биологической нейронной сети и предназначенная для установления взаимосвязанности данных[1].

Исходя из этого определения, необходимыми элементами искусственной нейронной сети являются:

§ Математическая модель;

§ Искусственные нейроны (реализованные аппаратно или программно);

§ Программно-топологическая реализация математической модели за счет задания соединений между нейронами и обрабатывающей (активационной) функции.

2.2 Типы искусственных нейронов Ниже приведены типы искусственных нейронов, приведенныев учебном курсе «Искусственные нейронные сети"[7].

• · Персептрон
• · Сигмоидальный нейрон
• · Инстар Гроссберга
• · Нейроны типа WTA
• · Нейрон Хебба
• · Радиальный нейрон
• 2.2.1 Персептрон
• Персептрон предложен в 1943 г. и называется также моделью МакКаллока-Пится. В этой модели искусственный нейрон считается бинарным элементом, его структурная схема представлена на рис. 3.
• Искусственный нейрон — Искусственный объект (обычно, программный), имитирующий поведение естественного нейрона. Типичный искусственный нейрон имеет несколько входов и один выход.
• Рис. 3. Структурная схема персептрона
• Выходной сигнал
• (Величина, характеризующая реакцию искусственного нейрона на вектор его входных сигналов) нейрона может принимать только два значения {0,1} по следующему правилу:
• Обучение персептрона требует учителя, т. е. множества пар векторов входных сигналов (Вектор величин, подаваемых одновременно на входы искусственного нейрона), и соответствующих им ожидаемым значениям выходного сигнала. Обучение (отыскание весовых коэффициентов) сводится к задаче минимизации целевой функции
• (1)
• К сожалению, для персептрона в силу разрывности функции при отыскании минимума применимы методы оптимизации только нулевого порядка.
• На практике для обучения персептрона чаще всего используется правило персептрона (Процедура обучения искусственной нейронной сети, построенной на базе персептронов), представляющее собой следующий простой алгоритм.
• 1. Выбираются (как правило, случайно) начальные значения весов (= 0, 1, 2, …, N) нейрона.
• 2. Для каждой обучающей пары выполняется ряд циклов (их номера обозначим через t) уточнения значений входных весов (синаптический вес: Величина, характеризующая степень влияния входного сигнала искусственного нейрона на его поведение (на величину его выходного сигнала)) по формуле:
• (2)
• Где
• Процесс обработки текущей обучающей пары завершается
• · либо на цикле, в котором все ,
• · либо после достижения предельного количества циклов.
• Следует отметить, что правило персептрона представляет собой частный случай предложенного много позже универсального правила обучения Видроу-Хоффа (Универсальное правило корректировки входных весов искусственной нейронной сети в режиме обучения «онлайн»)
• (3)
• Функционирование обученного персептрона в режиме классификации легко проиллюстрировать графически на примере двухвходового нейрона с поляризацией, структурная схема которого дана на рис. 4.
• Для такого нейрона Это выражение определяет плоскость в трехмерном пространстве, эта плоскость пересекается с плоскостью по линии, определяемой уравнением как это показано на рис. 5.
• Рис. 4 Структурная схема двухвходового персептрона
• Эта линия разбивает пространство входных сигналов на две области: в одной из них (заштрихованной) значения, и, следовательно, функция активации (Функция, вычисляющая значение выходного сигнала искусственного нейрона, используя в качестве аргумента взвешенную сумму входных сигналов искусственного нейрона) принимает значение 1; в другой —, и .
• Рис. 5 Разделение пространства входных данных двухвходовым персептроном
• Таким образом, наглядно видно, что персептрон является простейшим линейным классификатором. С его помощью можно обеспечить, например, классификацию, реализующую логические функции «И» и «ИЛИ» над входами и, как это показано на рис. 6.
• Рис. 6 Реализация логических функций Ии ИЛИ двухвходовым персептроном
• нейрокомпьютер сеть искусственный
• Однако реализовать логическую функцию «исключающее ИЛИ» двухвходовым персептроном уже невозможно (см. рис. 7).
• Рис. 7 Разделение пространства входных данных для реализации функции «исключающее ИЛИ»
• 2.2.2 Сигмоидальный нейрон
• Сигмоидальный нейрон устраняет основной недостаток персептрона — разрывность функции активации. Структурная схема нейрона данного типа представлена на рис. 8.
• Рис. 8 Структурная схема сигмоидального нейрона
• В качестве функции активации выступает сигмоидальная функция (т.е. функция, график которой похож на букву «S»). На практике используются как униполярные, так и биполярные функции активации.
• Униполярная функция, как правило, представляется формулой
• , (4)
• тогда как биполярная функция задается в виде
• Графики униполярных и биполярных сигмоидальных функций представлены на рис. 9 и рис. 10 соответственно.
• Рис. 9 График униполярной сигмоидальной функции
• Рис. 10 График биполярной сигмоидальной функции
• Коэффициент b определяет «крутизну» функций и выбирается разработчиком сети (на практике b для упрощения назначают обычно равным 1).
• Производная униполярной функции активации имеет вид
• а производная биполярной функции —
• Графики производных имеют колоколобразный вид и представлены на рис. 11 и рис. 12.
• Рис. 11 График производной униполярной сигмоидальной функции
• Рис. 12 График производной биполярной сигмоидальной функции
• Для обучения сигмоидального нейрона используется стратегия «с учителем» (Способ обучения искусственной нейронной сети путем предъявления ей серии эталонных обучающих выборок и векторов ожидаемых значений выходных сигналов), однако, в отличие от персептрона, для поиска минимума целевойфункции (1), здесь используются методы поисковой оптимизации первого порядка, в которых целенаправленное изменение весовых коэффициентов осуществляется в направлении отрицательного градиента .
• j-ая компонента вектора градиента имеет вид
• (5)
• Обозначив, имеем
• Также возможно обучение сигмоидального нейрона и дискретным способом — сериями циклов уточнения входных весов (синаптический вес) для каждой эталонной пары (см. правило персептрона). При этом коррекция весов после каждого цикла выполняется по следующей формуле:
• ,
• где ??— коэффициент обучения, значение которого выбирается из диапазона (0, 1).
• Необходимо напомнить, что все методы поисковой оптимизации первого порядка — это методы локального поиска, не гарантирующие достижения глобального экстремума. В качестве попытки преодолеть этот недостаток было предложено обучение с моментом, в котором коррекция весов выполняется следующим образом:
• (6)
• Последнее слагаемое в формуле называется моментом и характеризует фактическое изменение веса в предыдущем цикле (выбирается в диапазоне (0, 1)). Существует надежда, что при приближении к точке локального минимума (где градиентная составляющая стремится к нулю) составляющая момента выведет поиск из области локального минимума в более перспективную область.
• 2.2.3 Инстар Гроссберга
• Структурная схема инстара Гроссберга (Искусственный нейрон, способный к обучению распознавания кластера родственных входных сигналов) представлена на рис. 13.
• Рис. 13 Структурная схема инстара Гроссберга
• Особенностями инстара, отличающими его от нейронов других типов, являются следующие:
• 1. функция активации часто линейна, т. е.
• 2. входной вектор X нормализован так, что его эвклидова норма равна 1;
• 3. обучение инстара возможно как с учителем, так и без него.
• Нормализация элементов вектора X производится по следующей формуле:
• (7)
• Обучение инстара с учителем производится дискретно по правилу Гроссберга
• (8)
• где ??— коэффициент обучения, значение которого выбирается в диапазоне (0, 1). В качестве начальных обычно выбираются нулевые значения весовых коэффициентов. Необходимо обратить внимание, что на изменение значений весовых коэффициентов оказывают влияние только положительные примеры эталонных пар, для которых
• На процесс обучения инстара решающее влияние оказывает величина коэффициента обучения ??. При ??=1 веса принимают значения соответствующих входов текущей эталонной пары за один цикл обучения (при этом происходит абсолютное «забывание» предыдущих значений .При в результате обучения коэффициенты принимают некоторые «усредненные» значения обучающих векторов, k = 1, 2, …, p.
• Обучающий вектор, обучающая выборка: Вектор входных сигналов искусственного нейрона и, возможно, ожидаемое значение выходного сигнала искусственного нейрона, используемый в процессе обучения искусственного нейрона.
• Предположим, что i-ыйинстар был обучен на единственной положительной эталонной паре. При этом вектор входных весов инстара. В режиме классификации на вход инстара подается вектор, тогда на выходе вырабатывается сигнал
• .
• Поскольку входные векторы и нормализованы (т.е.), то выходной сигнал инстара равен просто косинусу угла между векторами и .
• Функционирование инстара наглядно иллюстрируется графически. В режиме обучения при предъявлении, например, трех положительных примеров, содержащих двухкомпонентные векторы, и, подбирается вектор входных весов W, представляющий собой «усреднение» этих входных векторов, как это показано на рис. 14.
• В режиме классификации при подаче на вход инстара очередного вектора определяется степень его близости к «типичному» вектору W в виде косинуса угла между этими векторами, как это показано на рис. 15.
• Рис. 14 Результат обучения инстара Гроссберга
• Рис. 15 Классификация входного вектора обученным инстаром Гроссберга
• Обучение инстара Гроссберга без учителя предполагает случайный выбор начальных значений входных весов и их нормализацию, подобную нормализации вектора входных сигналов X. Дальнейшее уточнение весов реализуется следующей формулой:
• (9)
• 2.2.4 Нейроны типа WTA
• Нейроны типа WTA (WinnerTakesAll — победитель получает все) всегда используются группами, в которых конкурируют между собой. Структурная схема группы (слоя) нейронов типа WTA представлена на рис. 16.
• (Нейроны типа WTA: Группа (слой) искусственных нейронов, способная к обучению распознавания группы кластеров входных сигналов)
• Рис. 16. Структурная схема слоя нейронов типа WTA
• Каждый конкурирующий нейрон в группе получает одни и те же входныесигналы. Каждый нейрон рассчитывает выходной сигнал своего сумматора обычным образом. По результатам сравнения всех, выбирается нейрон-победитель, обладающий наибольшим значением. Выходной сигнал нейрона-победителя получает значение 1, выходные сигналы всех остальных нейронов — 0.
• Для обучения нейронов типа WTA не требуется учитель, оно практически полностью аналогично обучению инстара Гроссберга. Начальные значения весовых коэффициентов всех нейронов выбираются случайным образом с последующей нормализацией относительно 1.
• При предъявлении каждого обучающего вектора определяется нейрон-победитель, что дает ему право уточнить свои весовые коэффициенты по упрощенному (в силу бинарности) правилу Гроссберга
• (10)
• Все проигравшие нейроны оставляют свои весовые коэффициенты неизменными.
• Понятно (см. инстар Гроссберга), что в каждом цикле обучения побеждает тот нейрон, чей текущий вектор входных весов наиболее близок входному вектору. При этом вектор корректируется в сторону вектора. Поэтому в ходе обучения каждая группа близких друг другу входных векторов (кластер) обслуживается отдельным нейроном.
• Результат обучения слоя нейронов типа WTA на последовательности девяти двухкомпонентных входных векторов иллюстрирует рис. 17. Здесь были выделены три кластера входных векторов, и. За их распознавание отвечают три нейрона с векторами входных весов соответственно.
• Рис. 17. Результат обучения слоя нейронов типа WTA
• Серьезная проблема в использовании нейронов типа WTA — возможность возникновения «мертвых» нейронов, т. е. нейронов, ни разу не победивших в конкурентной борьбе в ходе обучения и поэтому оставшихся в начальном состоянии. Для исключения «ложных» срабатываний в режиме классификации мертвые нейроны после окончания обучения должны быть удалены.
• Для уменьшения количества мертвых нейронов (и, следовательно, повышения точности распознавания) используется модифицированное обучение, основанное на учете числа побед нейронов и шрафовании наиболее «зарвавшихся» среди них. Дисквалификация может быть реализована либо назначением порога числа побед, после которого слишком активный нейрон «засыпает» на заданное число циклов обучения, либо искусственным уменьшением величины пропорционально числу побед.
• 2.2.5 Нейрон Хебба
• Д. Хебб (канадский физиолог и нейропсихолог), исследуя поведение природных нервных клеток, зафиксировал (1949 г.) усиление связи двух взаимодействующих клеток при их одновременном возбуждении. Это позволило ему предложить правило уточнения входных весов нейрона в следующем виде:
• (11)
• где — коэффициент обучения, значение которого выбирается из интервала (0, 1). Правило Хебба (Искусственный нейрон, использующий для своего обучения непосредственную корреляцию входных и выходного сигналов) применимо для нейронов с различными функциями активации. Обучение нейрона может производиться как с учителем, так и без него. В первом случае в правиле Хебба вместо фактического значения выходного сигнала используется ожидаемая реакция.
• Особенностью правила Хебба является возможность достижения весом произвольно большого значения за счет многократного суммирования приращения в циклах обучения. Одним из способов стабилизации процесса обучения по Хеббу служит уменьшение уточняемого веса на величину, пропорциональную коэффициенту забывания. При этом правило Хебба принимает вид
• (12)
• Значение коэффициента забывания выбирается из интервала (0,1), рекомендуется соблюдать условие .
• К сожалению, при обучении по правилу Хебба нейрона с линейной функцией активации стабилизация не достигается даже при использовании забывания. В 1991 г. Е. Ойя предложил модификацию правила Хебба, имеющую следующий вид:
• (13)
• 2.2.6 Радиальный нейрон
• Радиальные нейроны существенно отличаются от нейронов других типов. Они используются только группами, составляя первый слой в многослойных радиальных нейронных сетях. Структурная схема такого нейрона дана на рис. 18.
• Рис. 18. Структурная схема радиального нейрона
• (Радиальный нейрон: Искусственный нейрон, в качестве функции, активации которого выступает радиальная функция (обычно, функция Гаусса))(Радиальная искусственная нейронная сеть: Двухслойная искусственная нейронная сеть, первый слой которой составляют радиальные нейроны, а второй — линейные).
• Здесь — радиальная функция с центром в точке с координатами. Такие функции разнообразны, но на практике чаще всего используется функция Гаусса, имеющая следующий вид:
• , (14)
• где — эвклидова норма расстояния между входным вектором X и центром нейрона, — параметр, определяющий «ширину» функции. На рис. 19 даны графики этой функции в скалярном варианте для различных значений .
• Рис. 19. График одномерной радиальной функции
• На рис. 20 дан график для двух входных сигналов.
• Рис. 20. График двумерной радиальной функции
• Принципиальное отличие радиального нейрона от сигмоидального нейрона и персептрона в том, что они разбивают многомерное пространство входных сигналов гиперплоскостью, а радиальный — гиперсферой.
• Обучение радиального нейрона заключается в подборе параметров радиальной функции и. Подробно алгоритм обучения сетей на основе радиальных нейронов приведен в модуле Радиальныенейронныесети. В качестве примера приведем выражение, часто используемое для корректировки положения центра нейрона после предъявления k-ого обучающего вектора
• (15)
• где — коэффициент обучения. Причем такому уточнению подвергается только центр, ближайший к входному вектору (подобный подход используется и при обучении нейронов типа WTA).
• 2.3 Классификация искусственных нейронных сетей
• Искусственная нейронная сеть в общем случае характеризуется следующими параметрами:

o Адаптивная обучаемость. В контексте искусственной нейронной сети обучаемость означает, что сеть может усваивать различные варианты поведения в зависимости от того. Какие данные поступают на ее вход. Вместо того чтобы диктовать сети, как она должна реагировать на каждую порцию данных (как это было бы в случае обычного программирования), сеть сама находит сходства и различия в поступающих данных. По мере поступления новых данных обучение продолжается, и поведение сети изменяется.

o Самоорганизация. По мере того как данные поступают на вход сети, сеть имеет возможность изменять весовые коэффициенты тех или иных соединений. Тем самым, по мере поступления новых данных, практически изменяется структура сети. Эффективность самоорганизации сети зависит от начальной структуры соединений и выбранного в качестве математической модели алгоритма обучения (тренинга)

o Устойчивость к ошибкам. Искусственная нейронная сеть умеет выделять из потока данных важные свойства и усиливать их, при этом слабо реагируя на случайные, искаженные или совершенно новые данные (свойства). Таким образом, данные, не несущие в себе повторяющихся закономерностей (другими словами, помехи), просто отбрасываются нейронной сетью. Обеспечивая тем самым устойчивость к ошибкам.

o Работа в режиме реального времени и параллельная обработка информации. Эти преимущества нейронных сетей проявляются только в промышленном исполнении (когда каждый нейрон действительно представляет собой отдельный процессор) и не могут быть получены при программной эмуляции нейронов.

Объединенные (путем передачи сигналов с выходов одних искусственных нейронов на входы других) между собой нейроны образуют искусственную нейронную сеть (ИНС).

Существует много вариантов построения ИНС. Для их классификации используются следующие основные критерии:

1. тип нейронов, составляющих сеть;

2. количество слоев нейронов в сети;

3. направление передачи сигналов в сети;

4. вид обучающих выборок ;

5. назначение сети.

Сеть, состоящая целиком из нейронов одного типа, называется однородной, если же в ней комбинируются слои нейронов разного типа, то она — гибридная.

Сеть, все нейроны которой расположены в одной «плоскости» (т.е. отсутствует хотя бы одна непосредственная связь выхода одного нейрона со входом другого), называется однослойной, иначе она — многослойная.

Сеть называется однонаправленной, если в ней отсутствуют обратные связи (т.е. нет передачи сигнала с последующих слоев на предыдущие). Сеть с обратными связями называется рекуррентной.

Если для обучения сети используется стратегия с учителем и, то сеть называется гетероассоциативной. Если же, то сеть — автоассоциативна. 3]

Основными признаками для классификации искусственных нейронных сетей являются архитектура и связанный с ней алгоритм обучения. По этим признакам искусственные нейронные сети можно классифицировать так, как это показано на рис 21.

Рис. 21. Классификация нейронных сетей[1]

В этой классификации можно отметить несколько моментов.

o Обучение с учителем — класс искусственных нейронных сетей, для которого заранее известен диапазон выходных данных. В случае, когда после преобразования входных данных и получения выходных данных последние не укладываются в заранее заданные диапазон значений, нейронная сеть получает сигналы обратной связи и корректирует свою структуру с целью уменьшения ошибки.

Пример. При распознавании изображений оператор (человек или электронное устройство) сообщает нейронной сети, правильно или нет, она распознала изображение.

o Обучение без учителя — класс искусственных нейронных сетей, для которого диапазон выходных значений не задан и обучение сети проводится только на основании закономерностей, обнаруженных во входных сигналах.

o Многослойный перцептрон — искусственная нейронная сеть, состоящая из

· входного слоя нейронов, на которые поступают входные сигналы;

· выходного слоя нейронов, передающего выходные сигналы на интерфейс пользователя;

· скрытых слоев нейронов, расположенных между входным и выходным слоями;

· механизма (или алгоритма) обратного распространения, обеспечивающего при наступлении ошибки (несовпадении выходного сигнала с шаблоном) последовательную корректировку всех весовых коэффициентов связей, начиная с ближнего к выходному скрытого слоя и заканчивая входным слоем, с целью устранения этой ошибки.

o Сеть с радиально-базисной функцией — искусственная нейронная сеть, имеющая, кроме входного и выходного, один скрытый слой и использующая в качестве активационной функции нейронов скрытого слоя радиально-базисную функцию (РБФ), которая в общем виде выглядит так:

(16)

o Байесовская сеть — искусственная нейронная сеть, использующая в качестве математической модели сеть Байеса, связывающую между собой множество переменных (весовых коэффициентов) и их вероятностных зависимостей (активационных функций).

o Самоорганизующиеся карты Кохонена — искусственные нейронные сети, осуществляющие последовательное (по мере обучения) группирование сходных данных в плоской системе координат таким образом, что к завершению обучения узлы, содержащие сходные данные, располагаются геометрически в непосредственной близости друг от друга. Данный подход позволяет эффективно выделить главные данные. подавив случайные шумы и ошибки.

o Сети на основе адаптивной теории резонанса (ART-сети) были созданы специально для решения задач классификации. В них заложено сразу два дихотомически противоположных принципа: во-первых, сеть должна самомодифицироваться в ответ на каждый входной сигнал; во-вторых сеть должна сохранять знания, а значит, быть стабильной. Решение заключается в нахождении точки равновесия между требованиями пластичности и стабильности сети.

2.4 Достоинства и недостатки нейронных сетей К достоинствам искусственных нейронных сетей можно отнести:

§ Возможность решения задач, которые не решаются никакими другими методами;

§ Самообучение;

§ Получение результатов в режиме реального времени;

§ «креативность»;

§ Создание новых знаний внутри сети в процессе переработки входных данных.

Недостатки искусственных нейронных сетей:

§ Сравнительная дороговизна аппаратной реализации;

§ Трудность тиражирования накопленных знаний;

§ Для больших сетей невозможность заранее даже приблизительно оценить время обучения сети.

Искусственные нейронные сети хорошо подходят для решения задач:

§ С большими массивами входных данных;

§ С неизвестным алгоритмом. Но большим количеством конкретных примеров решения;

§ С большим количеством шумов;

§ С недостаточностью или, Наоборот, избыточностью данных.

Искусственные нейронные сети могут эффективно решать задачи распознавания изображений, классификации, оптимизации или прогнозирования. Более конкретно такими задачами являются:

§ Распознавание лиц, голосов, отпечатков пальцев;

§ Обнаружение отклонений в ЭКГ;

§ Обработка звуковых сигналов (разделение, идентификация, локализация, устранение шума, интерпретация);

§ Обработка радарных сигналов (распознавание целей, идентификация и локализация источников);

§ Проверка достоверности подписей;

§ Прогнозирование изменений экономических показателей и т. п.

§ Построение функции по конечному набору значений;

§ Построение отношений на множестве объектов;

§ Распределенный поиск информации и ассоциативная память;

§ Сжатие информации, фильтрация, оптимизация;

§ Идентификация динамических систем и управление ими;

§ Нейросетевая реализация классических задач и алгоритмов вычислительной математики: решение систем линейных уравнений, решение задач математической физики сеточными методами и др.

Заключение

В данной работе были рассмотрены основные положения и вопросы современного состояния и перспектив развития нейроинформатики как науки. В связи с тем, что по сей день не установлено конкретное определение нейроинформатики, назначение данной науки можно выявить:

А) выделив объект и предмет её изучения;

Б) определив круг специфических задач, непосредственно разрешением которых занимается данная научная область;

В) установив основные способы и методы, которые применимы вк решению этих задач.

Предметом изучения нейроинформатики являются нейронные сети _ это сети, состоящие из связанных между собой простых элементов _ формальных нейронов. Значительное большинство работ по нейроинформатике посвящено переносу различных алгоритмов решения задач на такие сети.

Ядром используемых представлений является идея о том, что нейроны можно моделировать довольно простыми автоматами, а вся сложность мозга, гибкость его функционирования и другие важнейшие качества определяются связями между нейронами.

В работе рассмотрена модель нейрона и основные типы искусственных нейронов.

Таким образом, поставленные задачи решены в ходе работы и цель достигнута.

Список используемой литературы

1. Макарова, Н.В., Волков, В. Б. Информатика: Учебник для вузов. — СПб.: Питер, 2011. — 576c.

2. Кирсанов, Э. Ю: Нейрокомпьютеры и их применение. Издательство «Радиотехника», 2004 г. — 224 с.

3. Бобков, С. П. Моделирование систем: учеб. пособие / С. П. Бобков, Д. О. Бытев; Иван. гос. хим.-технол. ун-т. — Иваново, 2008. — 156 с.

4. Осовский, С. Нейронные сети для обработки информации / пер. с польскогоИ.Д.Рудинского. — М.: Финансы и статистика, 2002. — 344 с.

5. Горбань, А. Н. Возможности нейронных сетей / Нейроинформатика Новосибирск: Наука, Сибирская издательская фирма РАН, 1998. — 74 с.

6. Миркес, Е. М. Учебное пособие по курсу Нейроинформатика. Красноярск — 2002. — 347 с.

7. Учебный курс [Электронный ресурс]: «Искусственные нейронные сети» / Разработчик курса: к.т.н. доц. В. Г. Федорук; МГТУ им. Н. Э. Баумана, каф. САПР. — 2012. Режим доступа: http://bigor.bmstu.ru/?cnt/?doc=NN/base.cou

8. Горбань А. Н., Обобщенная аппроксимационная теорема и вычислительные возможности нейронных сетей // Сибирский журнал вычислительной математики / РАН. Сиб. Отд. — Новосибирск, 1998. — т. 1, № 1, — с. 11−24.