Рекуррентные нейронные сети

 

Рекуррентными называются нейронные сети имеющие одну или несколько обратных связей между различными слоями нейронов.

Общая черта таких сетей – передача сигналов с выходного либо скрытого слоя, во входной слой.

Обратные связи могут быть 2 типов:

1) Локальные – то есть на уровне одного нейрона сети.

2) Глобальные – то есть охватывающие всю нейронную сеть.

При этом глобальная связь оказывает на сеть очень большое влияние. По этому будем рассматривать рекуррентные сети использующие глобальную обратную связь.

Применение обратной связи может привести к неустойчивости системы.

Область значений, в которой нейронные сети рассматриваются как нелинейные динамические системы и основной упор делается на проблему устойчивости, называется нейродинамикой

Изучение нейродинамики началось в 1938.

Устойчивость нелинейных динамических систем, это достаточно сложный вопрос. Задача устойчивости обычно понимается в терминах критерия устойчивости типа «ограниченный вход – ограниченный выход».

Согласно данному критерию под устойчивость понимается то, что выход системы не должен неограниченно возрастать в результате подачи ограниченного входного сигнала, либо нежелательных сбоев.

Если речь идёт об устойчивости в контексте нелинейных динамических систем, то подразумевается устойчивость по Ляпунову.

Прямой метод Ляпунова широко используется для анализа устойчивости линейных и не линейных систем, которые зависят и не зависят от времени.

Его можно применять при анализе устойчивости нейронных сетей.

С точки зрения нейродинамики, построение моделей рекуррентных нейронных сетей, можно осуществлять 2 путями:

- путём детерминированной нейродинамики. Здесь модель нейронной сети имеет детерминированное поведение. В математических терминах эта модель описывается системой не линейных дифференциальных уравнение, которые определяют эволюцию системы, как функцию времени.

- путём статистической нейродинамики. Здесь модель нейронной сети подвержена влиянию помех. Математическая модель описывается стохастическими (случайными) нелинейными дифференциальными уравнениями, и решение выражается в вероятностных терминах. Комбинация нелинейности и стохастичности приводит к усложнению объекта исследования.

 

Поэтому будем изучать рекуррентные или динамические нейронные сети.

Они построены из динамических нейронов поведение которых описывается дифференциальными или разностными уравнениями, как правило, первого порядка.

Главной особенность выделяющей эти сети среди других сетей, являются динамические зависимости на каждом этапе функционирования нейронной сети.

Изменение состояния одного нейрона из-за обратной связи «одни ко многим» отражается на функционировании всей сети. В нейронной сети возникает некоторые переходный процесс, он завершается формированием нового устойчивого состояния отличающегося в общем случае от предыдущего.

Модели рекуррентных нейронных сетей, можно использовать в различных приложениях:

1) Ассоциативная память

2) Идентификация систем

3) Нелинейная обработка сигналов

4) Задача управления