Модификации алгоритма обратного распространения и RPROP-алгоритма

Стандартный алгоритм обратного распространения, рассмотренный в предыдущем разделе, имеет несколько серьезных недостатков. Для правильного нахождения минимума поверхности ошибки коэффициент скорости обучения должен быть достаточно малым [0.05; 0.5], потому что больший коэффициент приведет к колебаниям вокруг минимума, препядствуя нахождению желаемого минимума. Вследствие этого сходимость может быть очень медленной. В зависимости от формы поверхности ошибок, сеть может оказаться в локальном минимуме или «застрять» на больших плоских участках.

Существует несколько модификаций для улучшения сходимости. Однако, ни одна из них не идеальна.

Добавление момента Стандартное обратное распространение часто сходится очень медленно, продвигаясь по большим плоским участкам поверхности ошибок. Для ускорения сходимости, к изменению веса добавляется взвешенный момент:

w_ji(n+1) = w_ji(n)+Dw_ji(n)+aDw_ji(n-1).

где—a—лежит в диапазоне [0; 1] (обычно a=0.9).

Эффект этой модификации заключается в ускорении прохождения обширных плоских участков поверхности ошибки.

" Разложение" веса Иногда некоторые веса становятся слишком большими и уже в одиночку определяют поведение сети. Данная модификация позволяет в некоторой степени избежать этого:

w_ji(n+1) = w_ji(n)+Dw_ji(n)-gDw_ji(n-1).

где g—лежит в диапазоне [0; 1].

Вследствие этого среднее значение веса уменьшается.

Отложенное обучение Стандартный алгоритм обратного распространения является типичным алгоритмом обучения «на лету». Это значит, что модификация весов происходит непосредственно после предъявления каждого образца. В случае отложенного обучения веса обновляются только после предьявления сети всей обучающей выборки. То есть все образцы обрабатываются сетью, ошибки вычисляются, производится обратное распространение, но изменения весов не производятся, они накапливаются и модификация делается после прохождения всей обучающей выборки:

w_ji(n+1) = w_ji(n)+SD?_pji(n).

где p — номер образца.

Хотя этот метод не всегда обеспечивает быструю сходимость, у него есть еще одно приемущество: нет необходимости предьявлять образцы в случайном порядке, как в случае обучения «на лету» .

RPROP-алгоритм.

RPROP означает «resillent propagation» (упругое распространение) и был разработан Riedmiller и Braun (1993). В противоположность другим алгоритмам, основанным на методе градиентного спуска, RPROP не использует значение градианта, а лишь его знак. Изменение начинается с некоторой небольшой случайной величины, и затем увеличивается в 1.2 раза в случае совпадения направлений (знаков) текущего градиента с предыдущим, или уменьшается в 2 раза в случае противоположных направлений (знаков). Это изменение затем добавляется к весу, если градиент отрицателен (подход в положительном направлении к минимуму), или вычитается из веса, в случае положительного градиента (подход в отрицательном направлении к минимуму). Этот алгоритм обычно позволяет достичь более быстрой сходимости по сравнению с другими алгортмами. Однако, в некоторых особых случаях, он может сойтись к неправиильному локальному минимуму, из которого оказывается неспособен выйти и, следовательно, не может найти правильного решения. В таких случаях лучше использовать стандартное обратное распространение (с добавлением момента).