Модель нейрона с линейной функцией активации
Методология нейросетевого программирования
Рассмотренные ранее подходы ориентируются на описание шагов алгоритма в программе. В соответствии с рассматриваемой методологией описание шагов алгоритма невозможно.
Прототип исполняемого кода формируется на основе понятий «искусственная нейронная сеть» (ИНС) и «тренировка». ИНС выступает своего рода «заготовкой», которая постепенно (в результате тренировки на знаниях, полученных от экспертов) превращается в адекватную модель с требуемым поведением. В последствии такая модель компилируется в эквивалентный исполняемый код или реализуется аппаратно.
Для изначального формирования ИНС применяют два основных вида нейронов:
1. Нейроны с линейными функциями активации.
2. Нейроны с радиальными функциями активации.
Модель нейрона базируется на использовании функций вида
f(X) = x1w1 + x2w2 + … + xRwR + b,
которые определяют гиперплоскости, разделяющие на части гиперпространство аргументов x1, x2, …, xR.
В двумерном случае (при R = 2) нейрон можно описать как взвешенный сумматор на два входа.
В данном случае прямая x1w1 + x2w2 + b разделит плоскость на две полуплоскости y0 и y1.
Принадлежность некоторой точки T конкретному полупространству определяется знаком взвешенной суммы на выходе сумматора – n, который с помощью функции активации трансформируется в значение на выходе сети а (в приведенном случае – 1 или 0).
Известно несколько вариантов применяемых функций активации. Наиболее популярны пороговая, линейная и сигмоидальная.
Искусственные нейронные сети с применением таких нейронов обычно проектируются многослойными и могут разделять пространство аргументов одним из следующих способов.
