Сеть Хопфилда

 

Рассмотрим отдельный нейрон с обратной связью. На первом этапе работы на вход нейрона подаются входные значения и вычисляется выход нейрона. Затем получившееся выходное значение подается на вход нейрона наряду с прочими значениями и вычисляется новое выходное значение. Этот процесс повторяется до тех пор, пока выходное значение нейрона будет мало изменяться от итерации к итерации.

Если вернуться к нейронным сетям, то можно ввести следующую классификацию. Рекуррентные нейронные сети, для которых возможно получить стабилизирующиеся к определенному значению выходы, называются устойчивыми, а если выходы сети не стабильны, то неустойчивыми. В общем случае, большая часть рекуррентных нейронных сетей являются неустойчивыми. Неустойчивые сети мало пригодны для практического применения.

В 1982 г. Д. Хопфилд предложил архитектуру устойчивой рекуррентной ИНС, показанную на рисунке 6.2. Сеть Хопфилда обладает следующими характеристиками:

o Сеть является биполярной, то есть оперирует только величинами, принимающими значения {–1, 1} или {0, 1}.

o В сети имеется один слой настраиваемых нейронов. Причём, матрица весов симметрична.

o Каждый нейрон связывается со всеми другими элементами, но не связывается с самим собой, поэтому на главной диагонали матрицы весов нулевые элементы.

Рисунок 6.2 – Сеть Хопфилда.

 

Первоначально все запоминаемые образы x_j, j = 1,...,M, кодируются биполярными векторами длины N. Эти векторы называют ячейками фундаментальной памяти. Затем веса сети Хопфилда настраиваются непосредственно из входных данных на основе правила Хебба:

, (6.2)

где – i-й и j-й компоненты k-го запоминаемого образца.

На этом фаза запоминания образов сетью Хопфилда заканчивается.

Матрица W обладает следующими свойствами:

– симметрична относительно главной диагонали: w_ij = w_ji;

– элементы главной диагонали равны нулю: w_ii = 0;

В начале фазы извлечения устанавливают начальные состояния нейронов в соответствии с входным вектором – зондом. Зонд может представлять частично искаженный образ из памяти сети. Затем сеть работает до момента, когда стабилизируется в одном из запомненных состояний – аттракторов. Значения выходов при этом и есть восстановленная ассоциация. Следует заметить, что если входной вектор искажен сильно, то результат может быть неверным.

На фазе извлечения происходят следующие действия. Элемент для обновления выбирается случайным об­разом. Выбранный элемент получает взвешенные сигналы всехостальных элементов и изменяет свое состояние по следующему правилу:

(6.3)

где n – номер итерации.

Выбирается другой элемент, и процесс повторяется. Сеть достигает предела, когда ни один из ее эле­ментов, будучи выбранным дляобновления, не меняет своего состояния. Элементы обновляются в случайном порядке, но в среднем каж­дый элемент должен обновляться в одной и той же мере. Напри­мер, в случае сети из 10 элементов после 100 обновлений каждый элемент должен обновиться приблизительно 10 раз.

Особый интерес представляет емкость сети. Теоретически можно запоминать 2N образов, но реально получается много меньше. Экспериментально было получено, а затем теоретически показано, что в среднем для слабо коррелирующих образов сеть из N нейронов в состоянии запомнить ≈ 0,15N образов.

 

 

Тема 7. Сети, являющиеся развитием модели Хопфилда