Теорема Гаусса — Маркова

Состоятельность и несмещенность МНКГоценок.

Случайной ошибки регрессии.

 

В большинстве случаев генеральная дисперсия случайной ошибки — величина неизвестная, поэтому возникает необходиn мость в расчете ее несмещенной выборочной оценки.

Несмещенной оценкой дисперсии случайной ошибки линейn ного уравнения парной регрессии является величина:

 

n

i

åe2

 

e

e

=

n

G2( )=S2( )= i−2, (1)

 

где n — объем выборки;

 

ei— остатки регрессионной модели:

 

b

b

i i i i

e =y −y =y − 0− 1xi.

 

Оценка дисперсии, вычисляемая по формуле (1), также назыn вается исправленной дисперсией.

В случае множественной линейной регрессии оценка дисперn сии случайной ошибки вычисляется по формуле:

 

n

e

e

=

i

å iS2()=n−k−1,

 

e

где k — число оцениваемых параметров модели регрессии. Оценкой матрицы ковариаций случайных ошибок ov()буn

дет являться оценочная матрица ковариаций:

 

e

e

C( )=S2( )´In, (2)

 

где In — единичная матрица.

Оценка дисперсии случайной ошибки уравнения регрессии подчиняется c (хиnквадрат) закону распределения с (n — k — 1)

 

e

e

степенями свободы, где k — число оцениваемых параметров. Докажем несмещенность оценки дисперсии, т. е. необходимо

доказать, что E(S2( ))=G2( ).

 

 

 

e e

n

Примем без доказательства следующее выражения: E(S2( ))= n−1´G2( ),

 

 

n

e

e

S2( )=n−1´S2( ),

e

где G2(e) — генеральная дисперсия случайной ошибки; S2(e) — выборочная дисперсия случайной ошибки;

æ ö

2()— выборочная оценка дисперсии случайной ошибки. Тогда:

 

n n

e

e

e

ç ÷

(

è ø

−

e

e

−

E S2( ))=E n−1´S2( ) = n−1E(S2( ))= =nn1´nn1´G2( )=G2( ),

что и требовалось доказать.

)

Такимобразом,S2(e являетсянесмещеннойоценкойдля

G2(e).

Теоретически можно предположить, что оценка любого параn метра регрессии, полученная методом наименьших квадратов, состоит из двух компонент:

1) константы, т. е. истинного значения параметра;

2) случайной ошибки Cov(x,e), вызывающей вариацию параn метра регрессии.

На практике такое разложение невозможно в связи с неизn вестностью истинных значений параметров уравнения регрессии и значений случайной ошибки, но в теории оно может оказаться полезным при изучении статистических свойств МНКnоценок: состоятельности, несмещенности и эффективности.

.

Докажем,чтозначениеМНКnоценкиb зависитотвеличины

случайной ошибки e

МНКnоценка параметра регрессии b рассчитывается по формуле:

 

b

=

.

Cov(x,y)1 G2(x)

 

Ковариация между зависимой переменной y и независимой переменной x может быть представлена как:

 

b

b

e

b

b

x

Cov(x,y)=Cov(x,( 0+ 1x+ ))=Cov(x, 0)+Cov(x, 1)+Cov(x, ). e

 

Дальнейшие преобразования полученного выражения провоn дятся исходя из свойств ковариации:

1) ковариация между переменной x и какойnлибо константой Aравнанулю: Cov(x,A)=0, где A=const;

 

 

e

b

+ .

b

= =

 

2) ковариация переменной x с самой собой равна дисперсии этойпеременной: Cov(x,x)=G2(x).

 

Следовательно, на основании свойств ковариации можно заn писать, что:

 

b

b

Cov(x, 0)=0, так как 0=const;

 

b

b

b

Cov(x, 1x )= 1´Cov(x, x )= 1´G 2(x).

 

Таким образом, ковариация между зависимой и независимой переменными Cov(x, y) может быть представлена в виде выражеГ ния:

 

e

Cov(x,y)= bG2(x)+Cov(x, ).

 

b

e

В результате несложных преобразований МНКnоценка параn метра уравнения регрессии 1принимает вид:

bG2(x)+Cov(x, ) Cov(x, ) 1 G2(x) 1 G2(x)

 

(3)

 

 

Из формулы (3) следует, что МНКnоценка b действительно моn жет быть представлена как сумма константы b и случайной ошибки Cov(x, e), которая и вызывает вариацию данного параметn

ра регрессии.

Аналогичнодоказывается,чтоиоценкапараметрарегрессииb ,

 

)

полученная методом наименьших квадратов, и несмещенная оценка дисперсии случайной ошибки 2(e могут быть предстаn влены как сумма постоянной составляющей (константы) и слуn чайной компоненты, которая зависит от ошибки уравнения реn грессии e.