Самоорганизующиеся карты Кохонена.

Генетические алгоритмы.

Ассоциативная память.Сеть Хопфилда.

Обучение без учителя. Самоорганизующиеся карты Кохонена.

Основные понятия теории нейросетевого моделирования.

Лекция № 9.

Одной из достаточно интересных нейросетевых моделей являются самоорганизующиеся карты Кохонена (Kohonen, 1982; Haykin, 1994; Patterson, 1996; Fausett, 1994). Сеть Кохонена обучается “без учителя”, воспринимая саму структуру входных данных. Она может быть использована в задачах распознавания образов, разведочном анализе данных. Сеть Кохонена может распознавать кластеры в данных, а также устанавливать близость классов и, таким образом, улучшить понимание структуры данных. Другая возможность применения – обнаружение новых явлений. Сеть Кохонена распознает кластеры в обучающих данных и относит все данные к тем или иным кластерам. Если после этого сеть встретится с набором данных, непохожим ни на один из известных образцов, то она не сможет классифицировать такой набор и, тем самым, выявит его новизну.

Сеть состоит из входного и выходного слоя. Выходной слой составлен из радиальных (RBF) элементов (выходной слой называют слоем топологической карты), количество которых равно количеству кластеров, которые будет распознавать сеть. Элементы топологической карты располагаются в некотором (как правило, двумерном) пространстве. В большинстве случаев каждый выходной элемент соединен также со своими соседями. Эти внутрислойные связи играют важную роль в процессе обучения, так как корректировка весов происходит только в окрестности того элемента, который наилучшим образом откликается на очередной вход.

При обучении «без учителя» обучающие данные содержат только значения входных пере­менных. В задачу нейронной сети входит выделение в многомерном пространстве признаков кластеров наблюдений "близких" (в смысле некоторого расстояния D) между собой и "удаленных" от других кластеров. В качестве расстояния между признаками может быть выбрано расстояние в евклидовом пространстве.

где D – расстояние до центра j–го кластера (нейрона) до m-го наблюдения, xmi – i–ая компонента входного вектора признаков m-го наблюдения, -i–ая компонента вектора положения j-го нейрона. Обучение нейронной сети сводится к настройке положений нейронов - и определению нейрона ближайшего к заданному наблюдению (производится классификация наблюдений).

Каждый вектор нормализуется в вектор с единичной длиной в пространстве весов. Все входные вектора обучающего множества также нормализуются и сеть обучается согласно алгоритму:

1. Вектор ={x1, x2, … xN} подается на вход сети.

2. Определяются расстояния Dj между и каждого нейрона.

3. Нейрон j, который имеет вектор, самый близкий к , объявляется победителем.

4. Группа весовых векторов настраивается в соответствии с формулой:

5. Далее шаги 1 - 4 повторяются.

В процессе обучения значения Dj и a постепенно уменьшаются. Группа соседних нейронов перемещается ближе к точке входного вектора. Предполагается, что входные векторы группируются в классы, в соответствии с их положением в векторном пространстве. Определенный класс ассоциируется с определенным нейроном, перемещая его положение в направлении центра кластера и способствуя его возбуждению при появлении на входе любого вектора данного класса.

После обучения может быть осуществлена классификация нового примера посредством подачи на вход сети его входного вектора.

Одним из достоинств такого представления является возможность представления входных данных в N – мерном пространстве входов в двумерную карту, возможность визуализации данных.