Сравнительный анализ алгоритмов обучения искусственной нейронной сети

Методы обучения искусственных нейронных сетей (ИНС) разделяют на четыре категории: нулевого порядка, первого порядка, второго порядка и нелокальные модификации одноточечных методов. Поскольку целевая функция в задачах обучения многоэкстремальная, для нахождения глобального экстремума используют генетические алгоритмы, методы облака, рестартов, поколений, модифицированный метод многогранника. Более подробно с ними можно ознакомиться в [1 — 4].

В основе многих алгоритмов обучения ИНС типа многослойный персептрон лежит итерационный процесс корректировки весовых коэффициентов, для которого необходимо выбрать направление движения и шаг [1]:

.

где вектор — направление движения; - размер шага; - порядковый номер текущей итерации. Благодаря известному методу обратного распространения ошибки можно произвести декомпозицию сложной задачи обучения.

В статье проводится сравнение алгоритмов обучения ИНС таких, как генетический [5], адаптивный [6] и гибридный [7]. Использованы данные для задачи классификации «Ирисы Фишера» [8], в качестве экспериментальной среды выбрана веб-версия нейроэмулятора NeuroNADS [9, 10]. Построены комитеты размером 10 полносвязных двухслойных нейронных сетей с применением каждого алгоритма. Количество нейронов в скрытом слое — 9 (согласно теореме Колмогорова-Арнольда-Хехт-Нильсена). Критерий остановки обучения ИНС — среднеквадратическая ошибка со значением 0,01, размер шага — 0,1. Примеры из обучающей выборки подавались случайно. В качестве функции активации нейронов использовались простые сигмоиды.

В последнее время часто решают задачи поиска глобального экстремума с помощью генетических алгоритмов. Обучение ИНС с помощью генетического алгоритма происходит в два этапа. На первом — формируются новые хромосомы, на втором — отбираются наилучшие хромосомы в популяцию. В качестве хромосомы выступают веса нейронов ИНС.

.

где — хромосома; - индекс представителя популяции; - вес нейрона.

Новые хромосомы образуются в результате скрещивания и различных видов мутаций, которые можно проводить в произвольном порядке в пределах одной эпохи. Хромосома, соответствующая заданному критерию качества (в случае с ИНС — это ошибка обучения), будет отобрана в качестве наилучшей. нейронный сеть гибридный адаптивный Результаты применения генетического алгоритма представлены на рис. 1.

Рис. 1. — График зависимости ошибки обучения от количества эпох для генетического алгоритма (1-лучший, 2-худший результаты)

Генетический алгоритм справился с поставленной задачей, но интенсивность изменения ошибки обучения резко снижалась после 15 эпох. Среднее время обучения ИНС составило 109 эпох.

В методе сопряженных градиентов, который относится к методам обучения первого порядка, формулу поиска минимума на основе предыдущих направлений можно обобщить [5]:

.

где вектор — направление движения; - направление антиградиента на текущей итерации; -коэффициент, определяющий весго градиента; - количество запоминаемых градиентов. При получим простой градиентный спуск, а при, суммируя все предыдущие направления — методы сопряженных градиентов. Настройка параметра и последовательностей, из формул (1) и (2), соответственно, позволит использовать более гибкое решение — адаптивный алгоритм обучения ИНС [5].

На рис. 2 представлены графики зависимости ошибки обучения от количества эпох для адаптивного алгоритма.

Рис. 2. — График зависимости ошибки обучения от количества эпох для адаптивного алгоритма (1-лучший, 2-худший результаты)

Среднее время обучения ИНС с применением адаптивного алгоритма составило 22 эпохи, что в 5 раз меньше, чем среднее время обучения генетическим алгоритмом. Сходимость алгоритма к локальному минимуму наступала за 5−7 эпох.

Последний метод, который мы будем использовать для обучения ИНС, основан на последовательном применении адаптивного и генетического алгоритмов [6]. Отметим, что при переходе к генетическому алгоритму добавляется к популяции хромосома — ИНС, обученная адаптивным алгоритмом. В качестве критерия перехода используется значение ошибки обучения равное 0,015. На рис. 3 изображены графики зависимости ошибки обучения от количества эпох для гибридного метода.

Рис. 3. — График зависимости ошибки обучения от количества эпох для гибридного метода (1-лучший, 2-худший результаты)

По результатам сравнения адаптивный алгоритм сходится быстрее, чем генетический и гибридный (таблица № 1). Окончательный выбор алгоритма будет зависеть от конкретный задачи, потому что в задаче со сложной целевой многоэкстремальной функцией, в которой с помощью гибридного алгоритма можно быстрее вычислить решение в окрестности глобального минимума, адаптивный алгоритм может показать результаты хуже [7].

Отметим, что данные результаты не могут в полной мере определять точность классификации и точность метода, поскольку не проводилась оценка количества распознанных экземпляров ириса и не исследовалась обобщающая способность построенных ИНС.

Таблица № 1. Время обучения ИНС (эпохи).

• 1. Хайкин С. Нейронные сети: полный курс, 2-е изд.; - пер. с англ/ С. Хайкин. — М.: Издательский дом «Вильямс», 2006. — 1104 с.
• 2. Тархов Д. А. Нейронные сети. Модели и алгоритмы. Кн.18: справочное издание. (Серия «Нейрокомпьютеры и их применение»). — М.: Радиотехника, 2005. — 256 с.
• 3. Бодянский Е. В., Руденко О. Г. Искусственные нейронные сети: архитектуры, обучение, применения. — Харьков: ТЕЛЕТЕХ, 2004. — 369 с.
• 4. Осовский С. Нейронные сети для обработки информации / Пер. с польского И. Д. Рудинского. — М.: Финансы и статистика, 2002. — 344 с.
• 5. Рутковская Д., Пилиньский М., Рутковский Л. Нейронные сети, генетические алгоритмы и нечеткие системы; пер. с польск. И. Д. Рудинского. — М.: Горячая линияТелеком, 2006. — 452 c.