Нейрон типа WTA

В соответствии с принципами функционирования биологических нейронов созданы различные математические модели, которыми в большей или меньшей степени реализуются свойства природной нервной клетки. Обобщенная схема, составляющая основу большинства таких моделей, восходит к представленной на рисунке 2.5 модели МакКаллока-Питса, содержащий сумматор взвешенных входных сигналов и нелинейный блок выработки выходного сигнала нейрона, функционально зависящего от выходного сигнала сумматора. Однако, существуют и другие модели нейронов существенно отличающиеся от модели МакКаллока–Питса.

Рассмотрим более подробно нейроны типа WTA (winner takes all – победитель получает все) [4]. Эти нейроны имеют входной модуль в виде стандартного сумматора, рассчитывающего сумму входных сигналов с соответствующими весами . Выходной сигнал i-го сумматора определяется согласно формуле:

(2.22)

Группа конкурирующих между собой нейронов получает одни и те же входные сигналы . Выходные сигналы нейронов сравниваются между собой, и по результатам сравнения победителем признается нейрон, значение выходного сигнала у которого оказалось наибольшим. Нейрон-победитель вырабатывает на своем выходе состояние 1, а остальные нейроны переходят в состояние 0. Для обучения нейронов типа WTA не требуется учитель. На начальном этапе случайным образом выбираются весовые коэффициенты каждого нейрона, нормализуемые относительно 1. После подачи первого входного вектора x определяется победитель этапа. Победивший нейрон переходит в состояние 1, что позволяет провести уточнение весов его входных линий по следующему правилу:

(2.23)

Проигравшие нейроны не изменяют свои весовые коэффициенты.

Схема соединения нейронов типа WTA изображена на рис.2.8.

На функционирование нейронов типа WTA оказывает существенное влияние нормализация входных векторов и весовых коэффициентов. Выходной сигнал i-го нейрона может быть описан векторным отношением:

(2.24)

Поскольку , значение выходного сигнала определяется углом между векторами x и w. Поэтому победителем оказывается нейрон, вектор весов которого оказывается наиболее близким текущему обучаемому вектору.

 

 

Рис. 2.8 Схема соединения нейронов типа WTA

В результате победы нейрона уточняются его весовые коэффициенты, значения которых приближаются к значениям вектора x. Проигравшие нейроны не изменяют свои веса. Следствием такой конкуренции становится самоорганизация процесса обучения.