Сети самоорганизации

Задача кластеризации

 

В модуле 1 данного лекционного курса рассмотривалось обучениес учителем, когда нейронная сеть обучается классифицировать образцы в соответствии с инструкциями: целевой выходной образен дает информацию сети о том, к какому классу следует научиться относить входной образец. При обучении без учителя таких инструкций нет, и сети проводит кластеризацию образцов (т.е. разделение их на группы) самостоятельно. Разделение образцов на кластеры должно удовлетворять следующим двум требованиям:

• Образцы внутри одного кластера должны быть в некотором смысле подобны.

• Кластеры, подобные в некотором смысле, должны размещаться близко один от другого.

Мерой близости (или подобия) двух точек p и q является квадрат евклидова расстояния между ними, вычисляемый по формуле:

. (8.1)

Если для кластера j рассмотреть центроид p_j, то для данных на рисунке 8.1 решение о том, к какому кластеру отнести образец x, определится значением:

 

(8.2)

Центроид кластера – вектор, полученный усреднением входящих в кластер векторов.

Алгоритм кластеризации представляет собой статистическую процедуру выделения групп из имеющегося набора данных. Существует немало алгоритмов кластеризации самого разного уровня сложности. Один из самых простых подходов заключается в том, чтобы предположить существование определенного числа кластеров и произвольным образом выбрать координаты для каждого из прототипов – типичных представителей кластера. Затем каждый вектор из набора данных связывается с ближайшим к нему прототипом, и новыми прототипами становятся центроиды всех векторов, связанных с исходным прототипом.

Иногда бывает удобно представлять кластер несколькими прототипами, чтобы получить более детальную характеристику данных. Чтобы распознать кластеры, являющиеся частями большего кластера, необходимо знать положение всех прототипов друг относительно друга. Одной из проблем применения алгоритмов кластеризации является выбор оптимального числа кластеров. Если число кластеров выбрать слишком малым, могут быть упущены некоторые важные характеристики данных, а если кластеров окажется слишком много, то мы не получим никакой эффективной итоговой информации о данных (может даже случиться, что каждый образец создаст свой кластер). Можно сформулировать некоторые основные свойства идеального алгоритма кластеризации;

• автоматическое определение числа прототипов кластеров;

• сравнение прототипов;

• представление характерных признаков прототипа.

На практике первым из указанных свойств не обладает ни один из известных алгоритмов кластеризации. Нейронная сеть с обучением без управления, выполняющая кластеризацию, представляет собой самоорганизующуюся карту признаков, которую в начале 80-х годов предложил Т. Кохонен.

 

 

В картах самоорганизации нейроны помешаются в узлах решетки, обычно одно- или двухмерной. Карты более высокой размерности также возможны, но используются достаточно редко. Нейроны в ходе конкурентного процесса избирательно настраиваются на различные входные образы (возбудители) или классы входных образов. Положения таким образом настроенных нейронов (т.е. нейронов-победителей) упорядочиваются по отношению друг к другу так, что на решетке создается значимая система координат. Пространственное положение выходных нейронов в топографической карте соответствует конкретной области признаков данных, выделенных из входного пространства.

Разработка карт самоорганизации в качестве нейронных моделей обусловлена следующим отличительным свойством человеческого мозга: он организован таким образом, что отдельные сенсорные входы представляются топологически упорядоченными вычислительными картами в определенных его областях. В частности, такие сенсорные входы, как нервные окончания тактильной системы, зрения, и слуха, отображаются на различные контуры церебральной коры мозга. Таким образом, вычислительное отображение является кирпичиком в инфраструктуре обработки информации нервной системой. Карта вычислений, в свою очередь, образована массивом нейронов, представляющих собой несколько по-разному настроенные процессоры или фильтры, параллельно принимающие информацию от различных сенсоров.

На рисунке 8.1 показаны структурные схемы двух моделей. В обоих случаях выходные нейроны организованы в виде двумерной решетки. Такой тип топологии гарантирует, что каждый нейрон имеет множество соседей. Эти модели отличаются друг от друга способом задания входных образов.

Модель Уилшоу-ван дер Мальсбурга была предложена в работе, посвященной биологическим основам, которые объясняли отображение сетчатки глаза на зрительную область коры головного мозга. В частности, существуют две связанные друг с другом двумерные решетки нейронов, где одна проецируется на другую. Первая решётка представлена предсинаптическими (входными), а вторая – постсинаптически-ми (выходными) нейронами. Постсинаптическая решетка использует возбуждающий механизм близкого радиуса действия, равно как и тормозящий механизм дальнего действия. Эти два механизма по своей природе являются локальными и исключительно важными для самоорганизации. Решетки соединяются изменяемыми синапсами Хеббовского типа. Постсинаптические нейроны не относятся к типу "победитель забирает все" – вместо этого используется порог, гарантирующий, что в любой момент времени будут активны только несколько постсинаптических нейронов. Более того, чтобы избежать неограниченного наращивания синаптических весов, которое может привести к неустойчивости системы, общий вес, ассоциированный с каждым постсинаптическим нейроном, ограничивается некоторым значением. Таким образом, рост одного синаптического веса нейрона приводит к автоматическому уменьшению остальных. Основная идея модели Уилшоу-ван дер Мальсбурга состоит в том, что для представления информации соседние предсинаптические нейроны должны связываться с соседними постсинаптическими. Таким образом, самоорганизация приводит к топологически упорядоченному отображению. Следует заметить, что модель Уилшоу-ван дер Мальсбурга пригодна только для представления отображений, в которых размерности входного и выходного сигналов равны.

Рисунок 8.1 – Модели ИНС самоорганизации.

 

Вторая модель была предложена Т. Кохоненом. Она не концентрируется на нейробиологических деталях. Эта модель извлекает существенные признаки вычислительных карт мозга и при этом остается вычислительно трактуемой. Модель Кохонена по сравнению с моделью Уилшоу-ван дер Мальсбурга является более общей в том смысле, что размерности входных и выходных сигналов различаться.