Статистические свойства МНК-оценок.
Оценка дисперсии ошибок s2 . Распределение S2
Введем некоторые обозначения:
– вектор прогнозных значений
; (52)
– вектор остатков регрессии
(53)
Непосредственно из определения нетрудно проверить, что матрицы M, N – идемпотентны, т.е. симметричны, и являются проекторами:
N2 = N, N` = N; (54)
M2 = M, M` = M. (55)
В соответствии с геометрической интерпретацией регрессии из (52) и (53) вытекает, что матрица N является матрицей оператора ортогонального проектирования на подпространсто p, порожденное векторами Xi , а M - матрицей оператора ортогонального проектирования на p - ортогональное дополнение к подпространству p в Rn. Поэтому
NX = X, MX` = 0. (56)
Вычислим математическое ожидание и матрицу ковариаций вектора остатков:
E(e)=E(MY)=ME(Y)=MXb=[I–X(X`X)-1X`]Xb=Xb-Xb=0; (57)
V(e) = V(MY) = MV(Y)M` = Ms2IM` = sM. (58)
Сумма квадратов остатков является естественным кандидатом на оценку дисперсии ошибок s2 (конечно, с некоторым поправочным коэффициентом, зависящим от числа степеней свободы):
E(e`e) = tr (V(e)) = s2 tr(M) = s2 tr(In – N) = (n-k)s2. (59)
Для вычисления уравнения (59) мы использовали формулы (57) и (58) и соотношение
tr(N) = tr(X(X`X)-1X`) = tr(X`X(X`X)-1) = tr(Ik) = k. (60)
При выводе последнего равенства применено свойство следа матрицы
tr( AB) = tr(BA).
Из формулы (59) следует, что
(61)
т.е.
. (62)
Ранг идемпотентной матрицы равен её следу rank(M) = rank(1-N) = tr(1-N) = n-k.
Тогда распределение
(63)
24. Независимость оценок и S2
В предположении нормальной линейной множественной регрессионной модели удается доказать независимость оценок и S2.
В самом деле, из выражения (46) получаем
. (64)
Из уравнений (64) и (62) видно, что случайные векторы и e имеют совместное многомерное нормальное распределение. Поэтому для того, чтобы доказать их независимость, достаточно показать их некоррелированность:
AM=(X`X)-1 X`(I – X(X`X)-1X`)=(X`X)-1X` - (X`X)-1X`(X`X)-1X`=0,
поэтому (так как Ee = 0)
,
что и требовалось доказать.
Так как S2 является функцией от e (см. формулу (61)), то оценки также независимы.