Математическое описание процесса обучения с учителем.
Нейронная сеть в процессе функционирования формирует выходной сигнал в соответствии c входным сигналом . При этом реализуется функция .
В случае когда архитектура нейронной сети задана видом функции определяется значение синоптических коэффициентов и смещения сети. Допусти, что решением некоторой задачи является функция, заданная парами входных и выходных данных
Обучения нейронных сетей состоит в нахождении (синтезе) функции близкой к в смысле некоторой функции ошибки Е.
Функция Еназывается не вязкой или целевой функцией или функцией стоимости. Если выбраны множество обучающих примеров-пар , ..K=1, Nи способов вычисления функции ошибки Е, то обучение нейронной сети это задача многомерной оптимизации.
График невязки Ерассматриваемой как функции синоптических весов представляет собой поверхность многомерном пространстве весов. Это поверхность из-за нелинейности функции активации будет иметь плоские участки, локальные минимумы, седловые точки, овраги. Процедура активизации состоит в отыскании глобального минимума, достижение его называется сходимостью процесса обучения.
Поиск глобального минимума осуществляется с помощью алгоритма обучения – итерационного процесса, который исследует поверхность функции ошибки Еи стремится найти на ней точку глобального минимума.