Схемы обучения нейронных сетей

Обучение НС можно рассматривать как непрерывный или как дискретный процесс. В соответствии этим алгоритмы обучения могут быть описаны либо дифференциальными уравнениями, либо конечно-разностными.

В начале обучения веса и пороговые значения нейронов инициализируются случайными величинами. Поэтому ошибка в начале обучения очень велика, и есть смысл вводить большие коррекции параметров. Ближе к концу обучения ошибка значительно снижается, и коррекции должны быть малыми. Чтобы менять длину шагов по параметрам, используют:

метод расписания обучения (learning schedule);

стохастические алгоритмы.

Алгоритмы с расписанием обучения сходятся быстрее, т.к. в начале используются большие коррекции, и дают более точные результаты за счет точной настройки параметров в конце обучения. Здесь преодолеваются локальные минимумы на начальном этапе обучения. Коррекции настолько велики, что параметры «проскакивают» оптимальное значение и сеть попадает в область притяжения другого минимума, а не задерживается в первом найденном минимуме.

Технологии обучения Если использовать небольшой набор обучающих данных, то при обучении сеть будет слишком близко следовать обучающим данным (переобучаться) и воспринимать не столько структуру данных, сколько содержащиеся в ней помехи. Способность сети не только учиться на обучающем множестве, но и показывать хорошие результаты на новых данных (хорошо предсказывать) называется обобщением.

Стандартный способ обучения НС заключается в том, что сеть обучается на одном из множеств базы данных, а на другом проверяется результат, т. е. проверочное множество для обучения не используется. Первое из этих множеств называют обучающим, второе — тестовым. Качество обобщения данных можно определить, наблюдая за величиной ошибки, вычисленной на тестовом множестве данных.

Если после нескольких итераций обучающего алгоритма ошибка обучения падает почти до нуля, в то время как ошибка обобщения сначала убывает, а потом снова начинает расти, то это признак переобучения, и при росте ошибки обобщения обучение следует прекратить. В данном случае тестовое множество используется при обучении НС для определения момента «ранней остановки», поэтому по окончании обучения следует проверить работу сети еще на одном — третьем множестве (подтверждающем).

Если тестовое множество используется на каждой итерации при обучении НС для определения «ранней остановки», то такой процесс называется обучением с перекрестной проверкой. Переключение между типами множеств (обучающим, тестовым, подтверждающим) во время процедуры обучения может осуществляться вероятностным способом. Такой подход позволяет остановить обучение, когда частота появления ошибок обобщения начнет расти.

Несмотря на все усилия по обучения НС, она все же может не обучаться. Причины этого могут быть в следующем:

• 1) противоречивость ОВ;
• 2) нерепрезентативность ОВ;
• 3) неравномерность ОВ, т. е.

Схема обучения нейронной сети без учителя Рассмотрим полный алгоритм обучения без учителя, не останавливаясь на конкретных формулах.

• 1. На стадии инициализации всем весовым коэффициентам присваиваются небольшие случайные значения.
• 2. На входы сети подается очередной входной образ из обучающей выборки, и сигналы возбуждения распространяются по всем нейронам всех слоев, изменяясь согласно законам функционирования сети.
• 3. Фиксируются сигналы, выданные теми нейронами, которые считаются выходными.
• 4. На основании полученных выходных значений нейронов по соответствующим формулам производится изменение весовых коэффициентов:

всех нейронов либо группы нейронов, либо единственного нейрона.

5. Осуществляется переход к следующему примеру обучающей выборки, и операции 2−5 повторяются пока выходные значения сети не установятся в стабильном состоянии с заданной точностью.

Схема обучения нейронной сети с учителем Рассмотрим общую схему обучения нейронной сети в режиме по одиночным примерам, не останавливаясь на конкретных математических алгоритмах.

• 1. На стадии инициализации всем весовым коэффициентам присваиваются небольшие случайные значения.
• 2. Из обучающей выборки берется текущий пример (изначально, первый) и его входные параметры (вектор входных сигналов) подаются на входы обучаемой НС. Обычно каждый входной параметр примера подается на один соответствующий входной синапс.
• 3. Сигналы возбуждения распространяются по всем нейронам всех слоев, изменяясь согласно законам функционирования сети. При этом вектор входных сигналов распространяется по связям между нейронами (прямое функционирование).
• 4. Фиксируются сигналы, выданные теми нейронами, которые считаются выходными.
• 5. Вычисляется оценка (ошибка), характеризующая различие между выданным сетью ответом и требуемым ответом, имеющимся в примере (целевым вектором). Оценка вычисляется с помощью соответствующей функции оценки. Чем меньше оценка, тем лучше распознан пример.
• 6. Если ошибка примера равна нулю, ничего не предпринимается. В противном случае на основании ошибки вычисляются поправочные коэффициенты для каждого синаптического веса матрицы связей, после чего производится подстройка синаптических весов (обратное функционирование).
• 7. Осуществляется переход к следующему примеру обучающей выборки, и операции 2−7 повторяются.
• 8. Расчет средней ошибки по всем обучающим примерам.
• 9. Проверка условия окончания обучения.

В каждом цикле обучения каждый пример имеет свою оценку. Кроме того, вычисляется суммарная оценка множества всех примеров обучающей выборки. Если после выполнения нескольких циклов она равна нулю, обучение считается законченным, в противном случае циклы повторяются.