Алгоритм Quickprop

Алгоритм QuickProp содержит элементы, предотвращающие зацикливание в точке неглубокого локального минимума, возникающего в результате работы нейрона на фазе насыщения сигмоидальной кривой, где из-за близости к нулю производной функции активации процесс обучения практически прекращается.

Вес w_ij на k-ом шаге алгоритма изменяется согласно правилу:

(3.52)

Первое слагаемое (3.52) соответствует оригинальному алгоритму наискорейшего спуска, последнее – фактору момента, а средний член предназначен для минимизации абсолютных значений весов. Коэффициент , обычно имеющий малую величину (порядка 10^-4), приводит к уменьшению весов вплоть до разрыва соответствующих взвешенных связей. Константа - это коэффициент обучения, который в данном алгоритме может иметь ненулевое значение (как правило, 0,01<<0,6) на старте процесса обучения, когда или когда , либо нулевое значение – в противном случае.

Важную роль в алгоритме QuickProp играет фактор момента, который приспосабливается к текущим результатам процесса обучения. Этот коэффициент подбирается индивидуально для каждого веса по правилу:

причем:

Константа - это максимальное значение коэффициента момента, которое принимается равным 1,75.

Также известна упрощенная версия алгоритма QuickProp, в которой значения весов изменяются в соответствии с правилом:

где .

В нем уменьшено количество управляющих параметров и упрощена формула уточнения значений весов.