Нелинейная регрессия. Метод Гаусса-Ньютона

Пусть нелинейная регрессия задана уравнением

Yi = fi(и) + еi,

Имея на t-м шаге приближение иt , следующее приближение иt+1

получаем с помощью регрессии Y – f ( иt) по F( иt), где F(.) — матрица производных f по и.

Fij =?fi / ?иi

По сути дела мы здесь линеаризируруем функцию f в окрестности точки

иt. Пусть ?иt — оценки ОМНК из этой вспомогательной регрессии:

?иt = (F(иt)T F(иt ))-1 F(иt)T(Y – f (иt)).

Тогда следующее приближение метода Гаусса-Ньютона будет:

                                       иt+1= иt +?иt

Повторяем эти итерации пока метод не сойдется.

Последняя из регрессий Гаусса-Ньютона даст состоятельную оценку

матрицы ковариаций оценок   (у^2 (FT F)-1 ), при условии, что верны обыч-

ные предположения: что еi независимо нормально распределены с нулевым мат. ожиданием и одинаковой дисперсией. Ясно, что можно, используя t- и F-статистики из этой вспомогательной регрессии, проверять различные гипотезы по принципу теста Вальда. Таким образом, регрессия Гаусса-Ньютона является искусственной.

Метод Левенберга-Маркара - это улучшение классического метода Гаусса-Ньютона для решения задач нелинейной регрессии наименьших квадратов.  Этот метод рекомендуется для задач нелинейной регрессии наименьших квадратов, где он является более эффективным, чем большинство общих алгоритмов оптимизации (таких как Квази-Ньютоновский алгоритм или Симплекс метод; )

Рассмотрим нелинейную подгонку модели y = f(q,x) с имеющимися данными Xi и Yi, i = 1,...,m, где Xi имеет размерность k и q имеет размерность n.