Сеть Кохонена

Сети с самоорганизацией на основе конкуренции

Сравнение радиально-базисной сети и многослойного персептрона

Сети RBF и MLP являются примерами нелинейных многослойных сетей прямого распространения. И те и другие являются универсальными аппроксиматорами, однако эти два типа сетей отличаются по некоторым важным аспектам.

1. Сети RBF (в своей основной форме) имеют один скрытый слой, в то время как многослойный персептрон может иметь большее число скрытых слоев.

2. Обычно скрытые и выходные нейроны сети MLP используют одну и ту же модель нейрона. Нейроны скрытого слоя сети RBF могут отличаться друг от друга и от нейронов выходного слоя.

3. Скрытый слой сети RBF является нелинейным, а выходной – линейным. В то же время скрытые и выходной слой сети MLP являются нелинейными. Если сеть MLP используется для решения задач нелинейной регрессии, в качестве выходных нейронов выбираются линейные нейроны.

4. Аргумент функции активации каждого скрытого нейрона сети RBF представляет собой эвклидову меру между входным вектором и центром радиальной функции. Аргументом функции активации каждого скрытого нейрона сети MLP является скалярное произведение входного вектора и вектора синаптических весов данного нейрона.

5. Сеть MLP обеспечивает глобальную аппроксимацию нелинейного отображения. Сеть RBF создает локальную аппроксимацию нелинейного отображения.


Основу самоорганизации нейронных сетей составляет подмеченная закономерность, что глобальное упорядочение сети становится возможным в результате самоорганизующих операций, независимо друг от друга проводящихся в различных локальных сегментах сети. В соответствии с поданными сигналами осуществляется активация нейронов, в результате чего активным оказывается один нейрон в сети (или в группе). Выходной нейрон, который выиграл соревнование, называется нейроном-победителем.

Нейроны в ходе конкурентного процесса, вследствие изменения значений синаптических весов, избирательно настраиваются на различные входные векторы или классы входных векторов. В процессе обучения наблюдается тенденция к росту значений весов, из-за которой создается своеобразная положительная обратная связь: более мощные возбуждающие импульсы – более высокие значения весов – большая активность нейронов.

При этом происходит естественное расслоение нейронов на различные группы, отдельные нейроны или их группы сотрудничают между собой и активизируются в ответ на возбуждение, создаваемое конкретными обучающими векторами, подавляя своей активностью другие нейроны. Можно говорить как о сотрудничестве между нейронами внутри группы, так и о конкуренции между нейронами внутри группы и между различными группами.

Среди механизмов самоорганизации можно выделить два основных класса: самоорганизация, основанная на ассоциативном правиле Хебба, и механизм конкуренции нейронов на базе обобщенного правила Кохонена. В дальнейшем будем рассматривать механизм конкуренции нейронов.

Нейроны помещаются в узлах решетки, обычно одно- или двумерной. Сети более высокой размерности также возможны, но используются достаточно редко. Как правило, это однослойные сети прямого распространения, в которых нейрон соединен со всеми компонентами -мерного входного вектора х так, как это схематично изображено для на рис. 5.1 [3].

 

 
 

 

 


Рис. 5.1 Структура самоорганизующейся сети Кохонена.

Формирование самоорганизующихся сетей начинается с инициализации синаптических весов сети. Обычно синаптическим весам присваиваются малые значения, которые формируются генератором случайных чисел. При такой инициализации сеть изначально не имеет какого-либо порядка признаков входных векторов. После инициализации сети реализуются три основных процесса [5]:

1. Конкуренция. Для каждого входного вектора нейроны сети вычисляют относительные значения дискриминантной функции.

2. Кооперация. Победивший нейрон определяет топологическую окрестность группы нейронов, обеспечивая базис для кооперации между ними.

3. Синаптическая адаптация. Корректировка синаптических весов возбужденных нейронов позволяет увеличить их собственные значения дискриминантных функций по отношению к входным векторам. Корректировка производится таким образом, чтобы выходной сигнал нейрона-победителя усиливался при последующем применении аналогичных входных векторов.

Веса синаптических связей нейронов образуют вектор . После нормализации входных векторов при активации сети вектором в конкурентной борьбе побеждает тот нейрон, веса которого в наименьшей степени отличаются от соответствующих компонентов этого вектора. Для -го нейрона-победителя выполняется соотношение

(5.1)

где обозначает расстояние между векторами и , а - количество нейронов. Вокруг нейрона-победителя образуется топологическая окрестность с определенной энергетикой, уменьшающейся с течением времени. Нейрон-победитель и все нейроны, лежащие в пределах его окрестности, подвергаются адаптации, в ходе которой их векторы весов изменяются в направлении вектора по правилу Кохонена:

(5.2)

для , где - коэффициент обучения -го нейрона на окрестности в t -й момент времени. Значение уменьшается с увеличением расстояния между -м нейроном и победителем. Веса нейронов, находящихся вне окрестности , не изменяются. Размер окрестности и коэффициенты обучения нейронов являются функциями, значения которых уменьшаются с течением времени. В [10] доказано, что адаптация по формуле (5.2) эквивалентна градиентному методу обучения, основанному на минимизации целевой функции

, (5.3)

а представляет собой функцию определения окрестности, изменяющуюся в процессе обучения.

После предъявления двух различных векторов и активизируются два нейрона сети, веса которых наиболее близки к координатам соответствующих векторов. Эти веса, обозначенные и , могут отображаться в пространстве как две точки. Сближение векторов и вызывает соответствующее изменение в расположении векторов и В пределе равенство выполняетсятогда и только тогда, когда и совпадают или практически неотличимы друг от друга. Сеть, в которой эти условия выполняются, называется топографической картой или картой Кохонена.