Альтернативный метод нахождения параметров

Классический метод наименьших квадратов для модели парной регрессии

 

Рассмотрим применение метода наименьших квадратов для нахождения неизвестных параметров уравнения регрессии на примере модели линейной парной регрессии.

Пусть подобрана эмпирическая линия, по виду которой можно судить о том, что связь между независимой переменной и зависиn мой переменной линейна и описывается равенством:

 

b
b
yi= 0+ 1xi. (1)

 

 

 
 
 
Необходимо найти такие значения параметров b иb,котоnрые бы доставляли минимум функции (1), т. е. минимизировали бы сумму квадратов отклонений наблюдаемых значений резульn тативного признака y от теоретических значений y(значений, рассчитанных на основании уравнения регрессии):

 

å å
 
n n

 

b
b
 
1 1
F = (yi−yi)2= (yi− 0− 1xi)®min. (2) i= i=

 

0 1
При минимизации функции (1) неизвестными являются значеn ния коэффициентов регрессии b и b. Значения зависимой и неn зависимой переменных известны из наблюдений.

Для того чтобы найти минимум функции двух переменных, нужно вычислить частные производные этой функции по каждоn му из оцениваемых параметров и приравнять их к нулю. В резульГ тате получаем стационарную систему уравнений для функции (2):

 

n
 
b
ï
y
b
ï
=
í
ìF=−2å(i−b−1)=0,0 i 1

 

ï
F
å
 
n

 

b
ï
b
î¶1=−2 i=(yi− b − 1)´xi=0.

 

 


 

 

Если разделить обе части каждого уравнения системы на (–2), раскрыть скобки и привести подобные члены, то получим систему:

å å å
 
b
b
ï
ì n n n

ï
1 1 1
í
1 xi+ 0 xi= xi´yi, i= i= i=

 

n n
 
b
b
ï
î
ï1åxi+0´n=åyi.i 1 i 1

 

b
b
0 1
Это система нормальных уравнений относительно коэффиn циентов b и b для зависимости yi= 0+ 1xi.

0 1
Решением системы нормальных уравнений являются оценки неизвестных параметров уравнения регрессии b и b:

 

å å å
n n n

 

i
 
æ ö
2 2
G x
( )
x −x
n n
b =ni=1xi´yi−i=1xi´i=1y= xy−xy=Cov(x,y),

ç ÷
−
è ø
nåxi çåxi÷ 2 2i=1 i=1

 

 
b
b
0=y− 1´x,

 

где y— среднее значение зависимого признака;

 

x— среднее значение независимого признака;

 

 

xy— cреднее арифметическое значение произведения заn

 

висимого и независимого признаков;

 

G2(x)— дисперсия независимого признака;

 

Cov(x,y) — ковариация между зависимым и независимым признаками.

Рассмотрим применение МНК на конкретном примере. Имеются данные о цене на нефть x (долларов за баррель) и инn

b
b
дексе акций нефтяной компании y (в процентных пунктах). Треn буется найти эмпирическую формулу, отражающую связь между ценой на нефть и индексом акций нефтяной компании исходя из предположения, что связь между указанными переменными лиn нейнаиописываетсяфункциейвида yi= 0+ 1xi. Зависимойпеременной (y) в данной регрессионной модели будет являться индекс акций нефтяной компании, а независимой (x) — цена на нефть.

 


 

 

0 1
Для нахождения коэффициентов b и b построим вспомогаn тельную таблицу 1.

00 11
Таблица 1 Таблица для нахождения коэффициентов bb и bb

 

    № Наблюдения       Цена на нефть — x, ден. Ед.     Индекс нефтяной компании — процентные пункты     xi´ yi     xi2  
      17,28         9279,36     298,5984  
      17,05         9104,70     290,7025  
      18,30         10 065,00     334,8900  
    18,80         10 434,00     353,4400  
    19,20         10 752,00     368,6400  
    18,50         10 212,00     342,2500  
  Cумма по столбцу     110,13         59 847,06     1988,52  

 

ì
 
b
b
+
ï
í
 
b
b
ï
Запишем систему нормальных уравнений исходя из данных табn лицы: 1988,52 1 110,13 0=59 847,06,

î
110,13 1+6 0=3288.

 

 
 
Решением данной системы нормальных уравнений будут слеn дующие числа: b =15,317; b=266,86.

 
Таким образом, уравнение регрессии, описывающее зависиn мость между ценой на нефть и индексом акций нефтяной компаn нии, можно записать как: y=15,317x+266,86.

На основании полученного уравнения регрессии можно сдеn лать вывод о том, что с изменением цены на нефть на 1 денежную единицу за баррель индекс акций нефтяной компании изменяетn ся примерно на 15,317 процентных пункта.

 


=
S S
r
.