Обучение без учителя. Правило Хебба

Ассоциативная память представляет собой распределенную па­мять, которая обучается на основе ассоциаций, подобно мозгу живых существ. Существуют два типа ассоциативной памяти: автоассоциативная и гетероассоциативная. При решении задачи автоассоциативной памяти в нейронной сети запоминаютсяпередаваемые ей образы (векторы). Затем в эту сеть последовательно подаются неполные описания или зашумленные пред­ставления хранимых в памяти исходных образов, и ставится задача распознаванияконкретного образа. Гетероассоциативная память отличается от автоассоциативной тем, что набору входных образов ставится в соответствие другой набор выходных сигналов.

Пусть х_к – ключевой образ (вектор), применяемый для решения за­дачи ассоциативной памяти, а у_k — запомненный образ (вектор). Отношение ассоциации образов, реализуемое такой сетью, можно описать следую­щим образом: y_k ↔ х_к где q — количество хранимых в сети образов. Ключевой образ X* выступает в роли стимула, который не только определяет местоположение запомненного образа у_k, но и содержит ключ для его извлечения.

В автоассоциативной памяти y_k = х_к. Это значит, что пространства входных и вы­ходных данных сети должны иметь одинаковую размерность. В гетероассоциативной памяти у_к ≠ x_к. Это значит, что размерность пространства выходных векторов может отличаться от размерности пространства входных, но может и совпадать с ней.

Для настройки нейронных сетей, предназначенных для решения задач автоассоциативной памяти, используется обучение без учителя, а в сетях гетероассоциативной памяти – обучение с учителем.

Одним из первых подходов, используемых при обучении ИНС без учителя, является правило Д. Хебба, которое в нейрофизиологическом аспекте формулируется так:

Если аксон клетки А находится на достаточно близком расстоянии от клетки В и постоянно или периодически участвует в ее возбуждении, то наблюдается процесс метаболических изменений в одном или обоих нейронах, выражающийся в том, что эффективность нейрона А как одного из возбудителей нейрона В возрастает.

Применительно к искусственным нейронным сетям:

1. Если два нейрона по обе стороны синапса активизируются синхронно (т.е. одновре­менно), то синаптический вес этого соединения возрастает.

2. Если два нейрона по обе стороны синапса активизируются асинхронно, то такой синапс ослабляется или вообще отключается.

Простейшая форма обучения Хебба имеет следующий вид:

(6.1)

где y_j – выход элемента из предыдущего, одновременно – вход для нейрона i;

w_ji – вес входа нейрона i, по которому принимается сигнал от нейрона j.

Существенный недостаток данной реализации: возможно нарастание силы связи, которое приводит к нестабильной работе сети. Более совершенные реализации:

– ковариационное обучение: используются отклонения сигналов от средних значений на небольшом промежутке времени;

– дифференциальное обучение: используются отклонения значений сигналов от значений на предыдущей итерации;

– обучение с забыванием, γ – параметр скорости забывания, не более 0,1.