Ассоциативная память. Сеть Хопфилда.
Кратко остановимся на одной из реализаций рекуррентных нейросетевых моделей – сетях Хопфилда, в которых предпринята попытка реализовать свойства ассоциативной памяти человеческого мозга. Принято говорить, что у человека возникла ассоциация, если при получении некоторой неполной информации он может подробно описать объект, к которому по его мнению относится эта информация. Задачи, решаемые ассоциативной памятью могут быть сформулированы следующим образом:
1.Соотнести входную информацию со знакомыми объектами, и дополнить ее до точного описания объекта.
2.Отфильтровать из входной информации недостоверную, а на основании оставшейся решить первую задачу.
Очевидно, что под точным описанием объекта следует понимать всю информацию, которая доступна ассоциативной памяти. Вторая задача решается не поэтапно, а одновременно происходит соотнесение полученной информации с известными образцами и отсев недостоверной информации.
Сформулируем задачу математически:
Пусть задан набор из M эталонов - N-мерных векторов ={y1i, y2i … yNi }. Требуется построить сеть, которая при предъявлении на вход произвольного образа - вектора ={x1, x2, … xN}- давала бы на выходе "наиболее похожий" эталон.
Всюду далее образы и, в том числе, эталоны N-мерные векторы с координатами ±1. Эталон, "наиболее похожий" на ближайший к вектор . Легко заметить, что это требование эквивалентно требованию максимальности скалярного произведения векторов и . Решение этой задачи может быть получено с помощью рекуррентной нейронной сети (Horfield, 1982), архитектура которой приведена на рисунке 5.
Рис. 5.Однослойная нейронная сеть с обратными связями. Пунктирные линии – нулевые веса.
В работе показано, что сеть с обратными связями является устойчивой, если ее матрица весов связей между слоями искусственных нейронов Wij симметрична и имеет нули на главной диагонали. Таким образом, открывается возможность построения устойчивых нейросетевых моделей с обратными связями.
Сеть работает следующим образом:
1. На вход сети подается образ , а на выходе снимается образ .
2. Если ¹, то полагаем =и возвращаемся к шагу 1.
3. Полученный вектор является ответом.
Такие сети могут быть использованы в задачах распознавания образов, задачах хранения и поиска информации. Емкость сети Хопфилда оценивается как 0.14´n, где n – количество искусственных нейронов в сети.