Метод максимального правдоподобия

 

Метод максимального правдоподобия позволяет работать при несоблюдении требований теоремы Гаусcа-Маркова, а именно: при наличии гетероскедастичности и несоответствии остатков закону нормального распределения. Метод основан на максимизации совместной вероятности появления реальных значений переменной (в данном случае – остатков) при подборе параметров их функции распределения.

Предварительно приведем пример. Требуется оценить математическое ожидание переменной Х по выборке из двух чисел: X1=4иX2=6. Можно в качестве оценки использовать среднее значение: μ =Е(Х) = Хср. =(4 + 6) / 2 . Если знать, что закон распределения переменной Х – нормальный с известным стандартным отклонением σ, то можно подобрать Е(Х), максимизирующую функцию

L(X1, X2, μ ) =р(X1, X2, μ)) = р(X1, μ ) * р(X2, μ ) =

Exp(-(X1- μ )2 /(2 σ2)) * Exp(-(X2- μ )2 /(2 σ2))

σ √2π σ√2π

которая называется функцией правдоподобия.

Ее логарифм

l(X1, X2, μ)= ln(L(X1, X2, μ)) = Σ (-(Xi- μ) 2 /2 σ 2 ) – ln(σ) –ln(√2π))

т.е. от произведения мы переходим к сумме. При σ=1, отброшенных константах и различных μ:

μ =4 : l(4,6,4) = - (4-4) 2 - (6-4)2 = - 4

μ=5: l(4,6,5) = - (4-5) 2 - (6-5)2 = - 2

μ=6 : l(4,6,6) = - (4-6) 2 - (6-6)2 = - 4

т.е. максимум функции правдоподобия достигается при μ=5.

При построении эконометрической модели вместо μ происходит оценка аппроксимирующих значений зависимой переменной Y. В случае парной регрессии Ŷ =a+bX, и происходит подбор коэффициентов a и b, обеспечивающих максимизацию функции правдоподобия для совокупностей значений (векторов) Y и Ŷ при заданной функции распределения плотности вероятности их разностей (остатков).

Далее представлено построение парной регрессии двумя методами: МНК и Методом максимального правдоподобия (МНП). Распределение остатков предполагается нормальным с оценкой стандартного отклонения s. Технология МНП аналогична МНК с использованием Поиска решения: задаются произвольные начальные значения a, b, но, кроме того, s, по a, b строится функция Ŷ =a+b X, вычисляются остатки Yi - Ŷi , но затем вычисляются не квадраты остатков, а функции ост2/2s2 + ln s и их сумма, равная -ln(L) . Поиск решения ищет ее минимум, изменяя ячейки a , b и, может быть, s. Квадраты остатков МНП приведены для сравнения: видно, что их сумма меньше, чем для МНК, что говорит о высоком качестве подгонки модели.

Таблица 6.1.

    МНК Метод максимального правдоподобия
  a 6,80     a 6,45    
  b 2,09     b 2,14    
          s 3,53  
X Y Ŷ остатки ост2 Ŷ остатки ост2/2s2 + ln s ост2
8,90 3,10 9,63 8,59 3,41 1,73 11,60
10,99 -2,99 8,95 10,73 -2,73 1,56 7,47
13,09 1,91 3,66 12,87 2,13 1,44 4,53
15,18 2,82 7,95 15,01 2,99 1,62 8,93
17,28 -3,28 10,73 17,15 -3,15 1,66 9,93
19,37 2,63 6,92 19,29 2,71 1,56 7,34
21,46 -3,46 12,00 21,43 -3,43 1,73 11,77
23,56 -6,56 43,01 23,57 -6,57 2,99 43,16
25,65 2,35 5,51 25,71 2,29 1,47 5,25
27,75 -2,75 7,55 27,85 -2,85 1,59 8,11
29,84 5,16 26,61 29,99 5,01 2,27 25,12
31,94 1,06 1,13 32,13 0,87 1,29 0,76
      Σ Σ   Σ Σ Σ
      0,00 143,6   0,00 17,62 124,90

 

Для демонстрации возможностей МНП были проведены расчеты в предположении, что распределение остатков имеет форму равностороннего треугольника с основанием 2s. Отрицательные вероятности заменяются на небольшую положительную величину (здесь 0,1) при помощи функции ЕСЛИ. При работе Поиска решения изменялись a и b, s не изменялась. Полученная сумма квадратов остатков в этом случае аналогична результату МНК. Начальные значения a и bв данном случае требуется задавать достаточно близко к истинным значениям, иначе Поиск решения Рис 6.5.

выдает неверные решения.

Таблица 6.2.

  a 6,66    
  b 2,10   Распределение возмущений - треугольник
  s 8,00        
X Y Ŷ остатки ост2 1-ABS(ост)/s ЕСЛИ( L >0; L ; 0,1)
8,76 3,24 10,48 0,60 0,60    
10,86 -2,86 8,19 0,64 0,64    
12,96 2,04 4,15 0,75 0,75    
15,06 2,94 8,64 0,63 0,63    
17,16 -3,16 9,99 0,60 0,60    
19,26 2,74 7,50 0,66 0,66    
21,36 -3,36 11,29 0,58 0,58    
23,46 -6,46 41,73 0,19 0,19    
25,56 2,44 5,95 0,69 0,69    
27,66 -2,66 7,07 0,67 0,67    
29,76 5,24 27,47 0,34 0,34    
31,86 1,14 1,30 0,86 0,86    
      Σ Σ L L    
      1,27 143,78 0,00 0,00    

 

 

Контрольные вопросы

1. Что такое фиктивные переменные и тест Чоу

2. Фиктивные переменные: определение, назначение, типы

3. Тест Чоу на наличие структурных изменений в регрессионной модели

4. Что такое и где применяется Тобит-анализ

5. Логит, пробит и модели двоичного выбора

6. Что такое и где применяется Метод максимального правдоподобия