Устранение нарушения предпосылок МНК для оценки парной регрессии

Выполнение 5-го условия МНК (нормальность остатков)

Выполнение 4-го условия МНК (отсутствие автокорреляции остатков)

Выполнение третьей предпосылки МНК (гомоскедастичность остатков)

Выполнение первой предпосылки МНК (случайный характер остатков)

Общие положения МНК

Остатки или так называемую случайную компоненту определяют как = - . Оценки параметров регрессии получили из уравнения:

Согласно, чтобы можно было применять МНК, необходимо, чтобы полученные оценки были «хорошими».

Такого рода задача равносильна следующей, исследование остатков предполагает наличие следующих 5-ти предпосылок МНК.

1. Случайный характер остатков

2. Нулевая средняя величина остатков , не зависящая от :

3. Гомоскедастичность остатков, то есть дисперсия каждого отклонения одинаковы для всех значений (нет роста дисперсии ) : Д ( ) = const=

4. Отсутствие автокорреляции остатков . Значение остатков распределены независимо друг от друга, то есть cov ( ; ) = 0, .

5. Остатки подчиняются нормальному распределению.

Чтобы проверить случайный характер E_i, строится график зависимости остатков E_i от расчетных значений зависимой переменной

 

 

E_i

 

 

Если на графике нет направленности в расположении т-к E_i , то остатки E_i– случайные величины и отсюда следует, что первая предпосылка МНК выполняется.

1.3.3.Выполнение второй предпосылки МНК (M( ε_i)=0)

Математическое ожидание случайного отклонения равно нулю: для всех наблюдений.

2ая предпосылка МНК М (Е_i) = 0 означает, что

 

 

Данное условие означает, что случайное отклонение в среднем не оказывает влияния на зависимую переменную. В каждом конкретном наблюдении может быть либо положительным, либо отрицательным, но он не должен иметь систематического смещения. Если она равна 0, то 2ая предпосылка МНК выполняется.

3 предпосылка МНК – проверка гомоскедастичности остатков (независимости дисперсии остатков от х_i)

При проверке гомоскедастичности используют критерии Гольфельда-Квандта, Спирмена и др.

 

Критерий Спирмена для проверки гомоскедастичности

 

Тест ранговой корреляции Спирмена использует наиболее общие предположения о зависимости дисперсий ошибок регрессии от значений регрессоров.

Тест Голдфелда—Квандта применяется в том случае, если ошибки регрессии можно считать нормально распределенными случайными величинами.

Тест ранговой корреляции Спирмена и тест Голдфелда—Квандта позволяют обнаружить лишь само наличие гетероскедастичности, но они не дают возможности проследить количественный характер зависимости дисперсий ошибок регрессии от значений регрессоров и, следовательно, не представляют каких-либо способов устранения гетероскедастичности.

 

 

 

 

Определение. Нарушение независимости между ошибками для разных наблюдений называется автокорреляцией остатков. Т е Ɛ_i и Ɛ_j зависит друг от друга.

Нарушение этого условия делает модель неприемлемой для прогноза и аналитических целях. Невозможно использование таких моделей вызвано тем, что при наличии автокорреляции остатков, стандартизованные ошибки модели (как и в случае гетероскедостичности) будут неоценённые и отсюда следует, что проверка значимости коэффициентов регрессии будет ненадежность (т.е нарушение эффективности оценок).

Например, допустим, что остаток Ɛ_i находится под тест х²_табл<x²_расч, то автокорреляция в остатках есть, причем автокорреляционный процесс 4-го порядка.

Эта предпосылка говорит о том, что если случайная компонента распределена нормально, то и коэффициенты регрессии будут также распределены. Эта предпосылка в полной мере относится к предпосылкам метода максимального правдоподобия (ММП), и поэтому при проверке условий выполнения МНК, данное требование часто опускают.

Данное требование основано на центральной предельной теореме вероятности:

Если случайная величина является общим результатом взаимодействия большого числа случайных величин, то она приближённо имеет нормальное распределение. Случайная компонента Ɛ_i в неявном виде определяется несколькими факторами, следовательно, можно предполагать нормальность остатков.

Ɛ_i ~ N (0; ²)

Тесты на проверку нормальности – тест Пирсона, Колмогорова-Смирнова, Бера-Жарка.

- Автокорреляция остатков.

Одна из причин присутствия автокорреляции в остатках – неправильный выбор вида зависимости между переменными, т.е. необходимо изменить зависимость.

Еще один способ устранения автокорреляции остатков – введение лаговых переменных.

- Гетероскедастичность остатков

Существует несколько подходов к решению данного нарушения:

1. Преобразование исходных данных

2. Применение другого метода оценивания

3. Включение изменяющейся дисперсии в модели (актуально для временных рядов)

- Метод максимального правдоподобия

Применяется для оценки коэффициентов регрессии. Одна из важных предпосылок ММП – известность знака распределения зависимой переменной.