Итеративный алгоритм кластеризации

Рассмотрим пример итеративных алгоритмов кластеризации. Вначале выбирается K различных опорных векторов u_i, i = 1, 2, …, K. Затем векторы X_i обучающей последовательности последовательно предъявляются сети. После каждого такого предъявления опорные векторы u_i модернизируются в направлении X_i:

Инициализация Выбери K опорных векторов u_i

i:=1.

Правило итерации.

REPEAT.

:=1.

i.

SELECT X_j T.

|| u_i — X_j || || u_k — X_j || для i=1, 2, …, K, 1 k i K.

u_i (t+1): = u_i (t) + (|| u_i — X_j ||).

i: = i + 1.

UNTIL 1 j K: u_j (t+1) = u_j (t).

Коэффициент коррекции уменьшается с увеличением номера итерации.

Алгоритм сходится тогда, когда прототипы u_i становятся сталильными. При применении алгоритмов кластеризации следует в формуле (4) учесть числа m_i векторов в тех или иных кластерах. Модифицированные выходы рассчитываются при этом следующим образом:

K.

m_i h_i c_ij

i=1.

y_j = (31).

K.

m_i c_ij

i=1.

Выбор параметра

Параметр определяет расстояние вокруг опорной точки u_i. Путем комбинации опорных точек и параметров _i необходимо по возможности «покрыть» все пространство образов. Наряду с выбором достаточного числа опорных точек, которые должны быть по возможности равномерно распределены по пространству образов, подходящий выбор значений параметров _i служат заполнению возможных пустот.

В практических приложениях обычно применяется метод k ближайших соседей (k-nearest-neighbor-Methode) для определения k ближайших соседей вокруг точки u_i. После этого определяется средний вектор u_i`. Расстояние между u<sub>i</sub> и u<sub>i</sub>` служит затем мерой для выбора значения _i. Для многих приложений рабочим правилом является выбор = 1 (default-установка).

Другой подход к определению оптимального множества центральных векторов для RBF-сетей может быть основан на использовании самоорганизующихся карт. Для этого в большинстве случаев образы обучающей последовательности предварительно нормируются по длине равной 1. После этого выбираются случайно K из N образов обучающей последовательности в качестве начальных (стартовых) значений центральных векторов и определяется скалярное произведение i, W_j> между вектором X_i обучающей последовательности и каждым из K центральных векторов W_j, j = 1, 2, …, K. Это скалярное произведение является мерой подобия (сходства) обоих векторов, отнормированных по длине, равной 1. При этом тот центральный вектор W_j, расстояние от которого до текущего вектора обучающей последовательности минмальное (или: для которого указанное скалярное произведение максимально), объявляется «победителем». Он сдвигается затем на небольшую величину в направлении текущего вектора обучающей последовательности:

W_j (t+1) = W_j (t) + (X_i — W_j (t)) (32).

Эта процедура многократно повторяется по всем образам обучающей последовательности. нейронный сеть персептрон кохонен Дополнительное преимущество применения самоорганизующихся карт (self-organizing maps) состоит в том, что в них учитывается и близость между нейронами скрытого слоя. В силу этого модифицируется не только нейрон-" победитель", но и нейроны в окрестности вокруг него (однако в существенно меньшей степени).