Лекция №5

 

Обучение с учителем

 

При обучении нейронных сетей с учителем важную роль играет выбор меры ошибки, которая соответствует сути задачи.

Удачный выбор меры погрешности упрощает задачу обучения нейронной сети, так как обычно приводит к более гладкой поверхности невязки. Часта, в качестве меры погрешности берётся средняя квадратичная ошибка. Она определяется как сумма квадратов разности между желаемой величиной выхода “dk” и реально полученными на нейронной сети значениями “yk” для каждого примера K.

Где N- количество примеров в обучаемом множестве.

 

В качестве меры погрешности также широко используется расстояние Кульбака –Лейблера, которое связанно с критерием максимального правдоподобия.

Обучение без учителя

Альтернативная парадигма обучения без учителя, своим название говорит об отсутвии вмешательства внешнего учителя или корректора, который контролирует процесс обучения. Блочная диаграмма обучения без учителя имеет вид:

 

Обучение без учителя является более правдоподобной моделью обучения в биологической системе.

Искусственные нейронные сети, обучающиеся без учителя, служат средством для классификации, кластеризации, организации и визуального представления данных.

Процесс обучения без учителя, как и в случае обучения с учителем заключается в корректировки синоптических весов. Некоторые преобразования предусматривают изменения структуры нейронной сети, то есть количество нейронов и их связей. Такие преобразования называются более широким термином – самоорганизации.

Подстройка синоптических весов может проводиться только на основании информации доступной в нейроне, то есть его состояние уже имеющихся весовых коэффициентов.

Существует лишь независимые от задачи мера качества представления, которому должна научиться нейронная сеть. При этом свободные параметры сети оптимизируются по отношению к этой мере.