Принцип максимального правдоподобия. Построение регрессионных моделей при гетероскедастичности ошибок

Для нахождения коэффициентов парной и множественной регрессии мы использовали метод наименьших квадратов (МНК). Этот метод приводит к хорошим результатам, если остатки ei удовлетворяют условиям Гаусса–Маркова:

- величины ei являются случайными величинами, распределенными по нормальному закону;

- Eei = 0;

- Dei=s2 — дисперсия каждого отклонения ei одинакова для всех значений переменной. Это свойство называют гомоскедастичностью или равноточностью;

- cov(ei, ej)=0 (i ¹ j), так что (при нормальном распределении ei) остатки являются независимыми случайными величинами.

Если Dei=si2 и si различны, то говорят о гетероскедастичности регрессионной модели. В этом случае МНК надо скорректировать. Удобнее всего провести такую коррекцию, используя принцип максимального правдоподобия. Поясним сначала суть этого принципа на простом примере.

Пусть эмпирические данные наблюдений {x1, x2, …, xn} характеризуют случайную величину xÎN(m, s2), для которой математическое ожидание m=Ex и дисперсия s2=Dx неизвестны и их требуется оценить. Выпишем плотность нормального распределения

Согласно принципу максимального правдоподобия предполагаем, что функция правдоподобия L=p(x1)p(x2)…p(xn) принимает наибольшее значение при истинных значениях параметров m и s2. Удобнее иметь дело с логарифмом этой функции

В нашем примере

поэтому

Выпишем необходимые условия экстремума функции ln L (,а значит и L):

Решение этой системы уравнений после простых преобразований приводит к оценкам

Заметим, что

Рассматриваемый пример показывает, что принцип максимального правдоподобия не обязательно приводит к несмещенной оценке искомых параметров.

Воспользуемся принципом максимального правдоподобия для анализа гетероскедастичности. В этом случае модель парной линейной регрессии имеет вид yi=a+bxi+ei, где Eei=0, Dei=si2, так что eiÎN(0, si2). Соответствующие плотности вероятностей

Логарифмическая функция правдоподобия

Теперь ясно, как корректируется МНК в случае гетероскедастичности ошибки ei:

В случае гомоскедастичности дисперсии si равны и мы получаем классическую формулировку МНК.

Часто вводится веса наблюдений Wi=lsi-2, при этом число l выбирается так, чтобы веса были целыми числами. МНК сводится к минимизации взвешенных сумм квадратов: