Принцип максимального правдоподобия. Построение регрессионных моделей при гетероскедастичности ошибок
Для нахождения коэффициентов парной и множественной регрессии мы использовали метод наименьших квадратов (МНК). Этот метод приводит к хорошим результатам, если остатки ei удовлетворяют условиям Гаусса–Маркова:
- величины ei являются случайными величинами, распределенными по нормальному закону;
- Eei = 0;
- Dei=s2 — дисперсия каждого отклонения ei одинакова для всех значений переменной. Это свойство называют гомоскедастичностью или равноточностью;
- cov(ei, ej)=0 (i ¹ j), так что (при нормальном распределении ei) остатки являются независимыми случайными величинами.
Если Dei=si2 и si различны, то говорят о гетероскедастичности регрессионной модели. В этом случае МНК надо скорректировать. Удобнее всего провести такую коррекцию, используя принцип максимального правдоподобия. Поясним сначала суть этого принципа на простом примере.
Пусть эмпирические данные наблюдений {x1, x2, …, xn} характеризуют случайную величину xÎN(m, s2), для которой математическое ожидание m=Ex и дисперсия s2=Dx неизвестны и их требуется оценить. Выпишем плотность нормального распределения
Согласно принципу максимального правдоподобия предполагаем, что функция правдоподобия L=p(x1)p(x2)…p(xn) принимает наибольшее значение при истинных значениях параметров m и s2. Удобнее иметь дело с логарифмом этой функции
В нашем примере
поэтому
Выпишем необходимые условия экстремума функции ln L (,а значит и L):
Решение этой системы уравнений после простых преобразований приводит к оценкам
Заметим, что
Рассматриваемый пример показывает, что принцип максимального правдоподобия не обязательно приводит к несмещенной оценке искомых параметров.
Воспользуемся принципом максимального правдоподобия для анализа гетероскедастичности. В этом случае модель парной линейной регрессии имеет вид yi=a+bxi+ei, где Eei=0, Dei=si2, так что eiÎN(0, si2). Соответствующие плотности вероятностей
Логарифмическая функция правдоподобия
Теперь ясно, как корректируется МНК в случае гетероскедастичности ошибки ei:
В случае гомоскедастичности дисперсии si равны и мы получаем классическую формулировку МНК.
Часто вводится веса наблюдений Wi=lsi-2, при этом число l выбирается так, чтобы веса были целыми числами. МНК сводится к минимизации взвешенных сумм квадратов:
