Временная неустойчивость

Если сеть учится распознавать буквы, то нет смысла учить Б, если при этом забывается А. Процесс обучения должен быть таким, чтобы сеть обучалась на всем обучающем множестве без пропусков того, что уже выучено. Необходимые изменения весов должны вычисляться на всем множестве, а это требует дополнительной памяти; после ряда таких обучающих циклов веса сойдутся к минимальной ошибке. Этот метод может оказаться бесполезным, если сеть находится в постоянно меняющейся внешней среде, так что второй раз один и тот же вектор может уже не повториться. В этом случае процесс обучения может никогда не сойтись.

 

Сеть встречного распространения

В сети встречного распространения объединены два широко известных алгоритма:

• самоорганизующаяся проекция Кохонена;
• звезда Гроссберга.

Объединение нейросетевых парадигм может привести к созданию нейронных сетей, более близких по архитектуре к человеческому мозгу, чем однородные структуры.

На рисунке 17 показана упрощенная структура сети встречного распространения.

Рис. 17. Упрощенная структура сети встречного распространения.

 

Нейроны слоя 0, показанные кружками, служат лишь точками разветвления и не выполняют вычислений. Каждый нейрон слоя 0 соединен с нейронами слоя 1, называемого слоем Кохонена, отдельным весом w_mn . Эти веса в целом рассматриваются как матрица весов W. Аналогично, каждый нейрон в слое Кохонена (слое 1) соединен с каждым нейроном в слое Гроссберга (слой 2) весом vnp. Эти веса образуют матрицу весов V.

Как и многие другие сети, встречное распространение функционирует в двух режимах: в режиме функционирования, при котором принимается входной вектор Х и выдается выходной вектор Y, и в режиме обучения, при котором подается входной вектор и веса корректируются, чтобы дать требуемый выходной вектор.

 

Лекция 6. Сеть встречного распространения. Алгоритмы обучения и функционирования слоя Кохонена и слоя Гроссберга. Полная структура сети встречного применения, достоинства, недостатки, области применения.