Обучение Коши

В методе Коши при вычислении величины шага распределение Больцмана заменяется на распределение Коши. Распределение Коши имеет, как показано на рис. 22, более длинные «хвосты», увеличивая тем самым вероятность больших шагов. действительности распределение Коши имеет бесконечную (неопределенную) дисперсию. С помощью такого простого изменения максимальная скорость уменьшения температуры становится обратно пропорциональной линейной величине, а не логарифму, как для алгоритма обучения Больцмана. Это резко уменьшает время обучения. Эта связь может быть выражена следующим образом:

T(t) = To/(1 + t).

Распределение Коши имеет вид

P(x) = T(t)/[T(t)²+х²],

где Р(х) есть вероятность шага величины х.

Рис. 22. Распределение Коши и распределение Больцмана.

В уравнении Р(х) может быть проинтегрирована стандартными методами. Решая относительно х, получаем

Xc = r{T(t) tg[P(x)]},

где р - коэффициент скорости обучения; х - изменение веса.

Теперь применение метода Монте Карло становится очень простым. Для нахождения х в этом случае выбирается случайное число из равномерного распределения на открытом интервале (-p/2, p/2) (необходимо ограничить функцию тангенса). Оно подставляется в формулу в качестве Р(х), и с помощью текущей температуры вычисляется величина шага.