Статистические свойства МНК-оценок.

Оценка дисперсии ошибок s2 . Распределение S2

Введем некоторые обозначения:

– вектор прогнозных значений

; (52)

– вектор остатков регрессии

(53)

Непосредственно из определения нетрудно проверить, что матрицы M, N – идемпотентны, т.е. симметричны, и являются проекторами:

 

N2 = N, N` = N; (54)

M2 = M, M` = M. (55)

 

В соответствии с геометрической интерпретацией регрессии из (52) и (53) вытекает, что матрица N является матрицей оператора ортогонального проектирования на подпространсто p, порожденное векторами Xi , а M - матрицей оператора ортогонального проектирования на p - ортогональное дополнение к подпространству p в Rn. Поэтому

NX = X, MX` = 0. (56)

Вычислим математическое ожидание и матрицу ковариаций вектора остатков:

E(e)=E(MY)=ME(Y)=MXb=[I–X(X`X)-1X`]Xb=Xb-Xb=0; (57)

 

V(e) = V(MY) = MV(Y)M` = Ms2IM` = sM. (58)

Сумма квадратов остатков является естественным кандидатом на оценку дисперсии ошибок s2 (конечно, с некоторым поправочным коэффициентом, зависящим от числа степеней свободы):

E(e`e) = tr (V(e)) = s2 tr(M) = s2 tr(In – N) = (n-k)s2. (59)

Для вычисления уравнения (59) мы использовали формулы (57) и (58) и соотношение

tr(N) = tr(X(X`X)-1X`) = tr(X`X(X`X)-1) = tr(Ik) = k. (60)

При выводе последнего равенства применено свойство следа матрицы

tr( AB) = tr(BA).

Из формулы (59) следует, что

(61)

т.е.

. (62)

Ранг идемпотентной матрицы равен её следу rank(M) = rank(1-N) = tr(1-N) = n-k.

Тогда распределение

 

(63)

 

24. Независимость оценок и S2

В предположении нормальной линейной множественной регрессионной модели удается доказать независимость оценок и S2.

В самом деле, из выражения (46) получаем

. (64)

Из уравнений (64) и (62) видно, что случайные векторы и e имеют совместное многомерное нормальное распределение. Поэтому для того, чтобы доказать их независимость, достаточно показать их некоррелированность:

AM=(X`X)-1 X`(I – X(X`X)-1X`)=(X`X)-1X` - (X`X)-1X`(X`X)-1X`=0,

поэтому (так как Ee = 0)

,

что и требовалось доказать.

Так как S2 является функцией от e (см. формулу (61)), то оценки также независимы.