Теорема Гаусса-Маркова

Применение метода наименьших квадратов (МНК) к оценке параметров линейной модели не всегда позволяет получить состоятельные оценки (Напоминаю: состоятельные оценки - обладающие свойством несмещённости при больших объёмах выборки).

Для получения состоятельных оценок необходимо, чтобы они удовлетворяли ряду условий, эти условия сформулированы в теореме Гаусса-Маркова.

 

Теорема Гаусса-Марковаформулирует условия, при которых МНК позволяет получить наилучшие оценки параметров линейной модели множественной регрессии.

К.Ф Гаусс (1777-1855) – разработка МНК

А.А. Марков (1856-1922) – сформулировал условия, при которых МНК позволяет получить состоятельные оценки.

 

Сформулируем постановку задачи:

Имеем:

1) спецификацию модели в виде линейного уравнения множественной регрессии

(« уравнение звёздочка» *)

2) выборку из n наблюдений

Значения переменных в каждом наблюдении связаны между собой по правилу (*)

Следовательно,

 

(5.17)

Система уравнений (5.17) называется системой уравнений наблюдений или схемой Гаусса-Маркова.

В компактной (матричной) записи эта система имеет вид

В матрице Х в первом столбце единицы появляются только в тех случаях, когда спецификация содержит свободный параметр .

Если этот параметр отсутствует, то и в матрице Х этот столбец отсутствует.

 

Перейдём к задаче.

Необходимо

1. найти значение состоятельных оценок параметров моделей

2. оценку ошибки случайного возмущения

3. оценку наилучшего прогноза с помощью модели (5.17)

4. оценку ошибки прогноза эндогенных переменных

Предпосылки теоремы Гаусса-Маркова следующие:

 

1) математическое ожидание случайных возмущений во всех наблюдениях равно нулю

 

(5.20)

 

2) дисперсия случайных возмущений во всех наблюдениях одинакова и равна const . И свойство однородности случайных возмущений

 

(5.21)

 

3) ковариация между парами случайных возмущений в наблюдениях равна нулю

 

(5.22)

→ отсутствие автоковариации случайных возмущений

Неравенство нулю (≠0) есть автоковариация

 

4) ковариация между вектором-регрессором и вектором случайных возмущений равна нулю → регрессоры и случайные возмущения НЕ зависят друг от друга

 

.

 

(далее непонятная неведомая фигня)

Если матрица X неколлинеарна, т.е нет ни одного столбца, который можно было бы приставить в виде линейной комбинации других столбцов, то

1) наилучшая оценка вектора параметров линейной модели множественной регрессии вычисляется по правилу

 

= (5.24) - она (оценка) соответствует МНК

 

2) значение несмещённых оценок параметров

Ковариационная матрица параметров модели вычисляется

 

(5.25)

 

3) дисперсия случайного возмущения равна:

 

(5.26)

 

4) наилучший прогноз по модели (5.17) в точке

 

+…+ (5.27)

 

5) оценка ошибки прогноза эндогенной переменной равна

 

 

 

Билет №31