Теорема Пуассона

Метод моментов

В математической статистике — это один из первых общих методов нахождений оценок неизвестных параметров по результатам наблюдений. Карл Пирсон использовал его при решении задачи аппроксимации эмпирических распределений с помощью системы распределений Пирсона в 1894 году.

Так как в силу теоремы Гливенко эмпирическая функция распределения близка в равномерной метрике к , то естественно предполагать, что выборочные моменты, вычисленные по эмпирической функции распределения, будут близки к соответствующим теоретическим.

Именно на этом и основан метод моментов. И так, пусть выборка объема из параметрического семейства распределений , где . Выберем некоторую борелевскую функцию , такую чтобы существовал момент

и к тому же, что бы существовала функция , обратная к функции в области . В качестве оценки метода моментов для истинного значения неизвестного параметра возьмем решение уравнения

,

то есть в качестве оценки мы выбираем такое число, чтобы теоретический момент совпадал с выборочным при данной реализации выборки.

Чаще всего в качестве функции выбирают , то есть начальные теоретические моменты приравниваются к соответствующим выборочным. Понятно, что, если параметр одномерный, то достаточно одного уравнения. Если же параметр –мерный, то необходимо решить систему уравнений.

Пример. Дана выборка из распределения с плотностью , , . Найти методом моментов оценку для параметра .

Решение. Вычислим математическое ожидание . Оценку найдем как решение уравнения . Таким образом, оценка метода моментов в данном случае имеет вид .

Замечание. В том случае, если корень уравнения , в то время как . Тогда оценку необходимо откорректировать. Для этого в качестве оценки метода моментов берут ближайшую к точку из или его замыкания.

Пример. Дана выборка из нормального распределения с параметрами с неотрицательным средним . В этом случае оценка метода моментов для неизвестного среднего имеет вид . На практике может случиться так, что , поэтому в таком случае в качестве оценки метода моментов разумнее выбрать 0. Следовательно, скорректированная оценка метода моментов имеет вид .

Замечание. Оценки метода моментов определяются неоднозначно. Вообще говоря, выбирая различные функции , получим разные оценки для неизвестного параметра .

Теорема.

Пусть — оценка метода моментов неизвестного параметра, причем функция непрерывна. Тогда сильно состоятельна.

Доказательство. Согласно теореме Колмогорова (усиленный закон больших чисел для одинаково распределенных случайных величин)

.

Поскольку функция непрерывна, то и

.

Метод максимального правдоподобия

Согласно методу максимального правдоподобия в качестве оценок выбираются те значения параметров, при которых данные результаты наблюдения «наиболее вероятны».

Определение

Функцию назовем обобщенной плотностью.

Функция, фигурирующая в последнем определении, является плотностью относительно меры Лебега для абсолютно непрерывного распределения и плотностью относительно считающей меры для дискретного распределения.

Определение

Пустьвыборка из распределения с плотностью , тогда случайная функция называется функцией правдоподобия.

Определение

Оценкой максимального правдоподобия неизвестного параметра называется то значение , при котором функция правдоподобия достигает своего максимума, то есть решение уравнения правдоподобия .

Замечание Решая уравнение правдоподобия ,необходимо отбросить все корни, которые имеют вид , то есть не зависят от выборки .

Так как положительная функция достигает своего максимума в той же точке, что и ее логарифм, то на практике для анализа часто используют натуральный логарифм функции правдоподобия.

Определение

Случайную функцию называют логарифмической функцией правдоподобия.

Пример Дана выборка из показательного распределения с плотностью , , . Методом максимального правдоподобия найти оценку параметра .

Решение. Функция правдоподобия в данном случае имеет вид: , если все и в противном случае.

Соответственно ее логарифм

.

Решим уравнение правдоподобия

,

или после дифференцирования

.

Решением последнего уравнения является:

.

Так как и , то точка является точкой максимума функции правдоподобия и, следовательно, является оценкой максимального правдоподобия.

Пример. Дана выборка из распределения Пуассона . Методом максимального правдоподобия найти оценку параметра .

Решение. В данном случае функция правдоподобия имеет вид:

,

логарифмируя ее, получим

.

Решением уравнения правдоподобия является:

Следовательно, оценка максимального правдоподобия имеет вид

Неравенство Крамера–Рао

Пусть — выборка из распределения, принадлежащего параметрическому семейству , здесь .

Определение. Множество , такое, что при всех выполняется равенство , назовем носителем семейства распределений .

Замечание. Носитель распределения в этом смысле определяется не единственным образом, но все носители отличаются на множество нулевой вероятности.

Определение.Семейство распределений назовем регулярным, если существует носитель семейства распределений такой, что при каждом функция непрерывно дифференцируема по во всех точках .

Замечание . Вместо непрерывной дифференцируемости можно требовать того же от .

Пусть — выборка из распределения, принадлежащего параметрическому семейству , где .

Определение. Величина если она существует, называется информацией Фишера в одном наблюдении.

Справедливо следующее утверждение.

Теорема 24.1. (Неравенство Крамера–Рао). Пусть семейство распределений удовлетворяет условию регулярности (см. определение24.2) и информация Фишера существует, положительна и непрерывна по во всех . Тогда для любой несмещенной оценки , дисперсия которой ограничена на любом компакте в области , справедливо неравенство .

Докажем предварительно утверждение.