Алгоритм Кохонена

 

Алгоритм Кохонена, является одним из вариантов алгоритма WTM и наиболее старым алгоритмом обучения нейронных сетей самоорганизации на основе конкуренции.

В классическом алгоритме Кохонена нейронная сеть инициализируется путём предписывания нейроном определённой позиции в пространстве, при этом они связываются с соседями на постоянной основе.

Функция соседства задаётся в виде:

( 9)

 

В формуле 9 играет роль уровня соседства, в процессе обучения оно уменьшается до 0, такое соседство называется прямоугольным. В качестве меры расстояния d(j,i) может быть евклидово расстояние, вычисляемое по формуле 3. Здесь каждый нейрон, который находится в окрестности нейрона победителя, адаптируется в равной степени.

Прямоугольная область является не выпуклой, когда алгоритм СОК использует не выпуклую функцию соседства, это приводит к возникновению метосстабильных состояний, эти состояния представляют собой топологические дефекты в конфигурации карты признаков, поэтому другой тип соседства, который применяется в картах Кохонена - это соседство Гауссова типа. В этом случае функция соседства имеет вид:

(10)

Где (сигма) определяет уровень соседства, то есть уровень, до которого нейроны из топологической окрестности нейрона победителя участвуют в процессе обучения.

Параметр (сигма) - называется эффективной шириной топологической окрестности.

В отличии от прямоугольно соседства уровень адаптации при соседстве Гауссова типа зависит от значения функции Гаусса. Функция Гаусса является выпуклой, для случая одномерной решетки:

 

В случае одномерной решётки расстояние между нейронами d(j,i) является целым числом расстояния |j-i|, для двух мерной решётки

; (11)

где - определяет позицию возбуждаемого нейрона j. - победившего нейрона i. Оба этих измерения проводятся в дискретном выходном пространстве. Выпуклая функция, такая как функция Гаусса, приводит к более быстрому топологическому упорядочиванию, чем не выпуклая, так как она не содержит метастабильных состояний, поэтому Гауссово соседство, даёт лучшие результаты обучения.

 

Одним из уникальных свойств алгоритма СОК яв-ся уменьшение со временем размера топологической окрестности за счёт постепенного убывания величины (сигма) в формуле (10). Популярный вариант зависимости от дискретного времени k, это экспоненциальное убывание, которое описывается формулой

(12)

Где k=1,2,3,4,…

– начальное значение величины в алгоритме СОК

(Тау) -некоторая временная константа

 

 

Тогда функция соседства

(13)

Следовательно, при увеличении количества итерраци k, функция соседства убывает вместе с экспоненциальным убыванием эффективной ширины топологической окрестности .