И нахождения параметров уравнения регрессии.

Классический метод наименьших квадратов (МНК)

 

0 n

На первом этапе проведения регрессионного анализа была выбрана функция f(x), отражающая зависимость результативного признака y от факторного признака x. Необходимо оценить неизn вестные параметры модели. В качестве методов оценки неизвестn ных параметров уравнения регрессии b , ј, b могут выступать:

1) сумма квадратов отклонений наблюдаемых значений реn зультативного признака y от теоретических значений y, расn считанных на основании регрессионной функции, f(x):

 

n

 

b

F = (yi− f (xi, ))2

 

i=

n

 

или F = (yi−yi)2.

 

i=

 

Этот метод оценивания неизвестных параметров уравнения регрессии называется методом наименьших квадратов (МНК). Термин МНК был впервые использован в работе А.М.Лежанйдра в 1805 г. Можно выделить следующие достоинства метода:

а) расчеты сводятся к механической процедуре нахождеn ния коэффициентов;

б) доступность полученных математических выводов. Основным недостатком МНК является чувствительность оцеn нок к резким выбросам, которые встречаются в исходных данn ных.

2) сумма модулей отклонений наблюдаемых значений резульn тативного признака y от теоретических значений y(рассчиn танных на основании регрессионной функции ) f(x):

 

n

 

b

F = yi− f (xi, )

 

i=1

n

 

или F = yi−yi.

 

i=1

 

Основным достоинством метода является нечувствительность оценок к резким выбросам (в отличие от МНК). Среди недоГ статков можно выделить следующие:

а) сложности в ходе вычислительной процедуры;

 

б) зачастую большим отклонениям в исходных данных следует придавать больший вес для уравновешивания их в общей сумме наблюдений;

 

å

 

0 n

в) неодинаковым значениям оцениваемых параметров b, ј, b могут соответствовать одинаковые суммы модулей отклоn нений;

 

å å

n n

 

b

F = g(yi− f (xi, )) или F = g(yi−yi), i=1 i=1

 

где g — мера или вес, с которой отклонение (yi— f(xi,b)) входит в функционал F. Примером меры g является функn

 

ция Хубера, которая при малых значениях переменной x является квадратичной, а при больших значениях x — лиn

нейной:

ï

ìx2,x<c

 

í

ï

î

g(x)= 2cx−c2, x ³c −2cx−c2, x£−c ,

 

где c — ограничения функции.

 

0 n

Третий метод оценки неизвестных параметров уравнения реn грессии b, ј, b — объединие достоинства предыдущих двух меn тодов. Оценки неизвестных параметров, найденные с его помоn щью, являются менее чувствительными к случайным выбросам в исходных данных, чем оценки, полученные МНК. Этот метод применяют, когда выборка сильно «засорена».

0 n

Для нахождения оптимальных значений неизвестных паn раметров b, ј, b необходимо минимизировать функционал F по данным параметрам:

 

å

n

 

b

1) F = (yi− f (xi, ))2®min —процессминимизации

 

=

0 n

i1 функционала F состоит в отыскании таких параметров b, ј, b, при которых сумма квадратов отклонений наблюдаемых значений результативноn го признака yот теоретических значений y была бы минимальной;

 

å

n

b

i i

2) F = y − f (x , ) ®min —процессминимизацииi=1 функционала F состоит

0 n

в отыскании таких параметров b, ј, b, при которых сумма

 

модулей отклонений наблюдаемых значений результативного признака yот теоретических значений yбыла бы минимальной;

 

n

 

b

3) F = g (yi− f (xi, ))®min

 

i=1

 

— процесс минимизации функционала F состоит

 

 

 

 

0 n

в отыскании таких параметров b, ј, b, при которых сумма отклонений наблюдаемых значений результативного признаn ка y от теоретических значений yс учетом заданных весов g была бы минимальной.

Наиболее распространенным методом оценивания параметn ров уравнения регрессии является метод наименьших квадратов.