Предпосылки метода наименьших квадратов

Для оценки параметров уравнения множественной регрессии применяют метод наименьших квадратов (МНК). При этом делаются определенные предположения относительно случайно составляющей ε_i.

Случайно составляющая ε представляет собой не наблюдаемую величину. После того как произведена оценка параметров модели, рассчитанная разность фактических и теоретических значений результата признана, можно определить величину случайной ошибки.

При изменении специализации модели, добавлении в нее новых переменных или новых наблюдений выборочные оценки могут измениться, поэтому в задачи регрессивного анализа входит не только построение самой модели, но и исследование случайных отклонений ε_i, т.е. остаточных величин.

При статистической оценке параметров регрессии, показателей корреляции основывается на непроверяемых предпосылках распределения случайного числа ε_i Они носят лишь предварительный характер.

После построения уравнения регрессии производится проверка наличия у оценок ε_i тех свойств, которые предполагались. Это связано с тем, что оценки параметров регрессии должны отвечать определенным критериям. Они должны быть не смещенными, состоятельными и эффективными. Эти свойства оценок, полученные по МНК имеют чрезвычайно важное значение при использовании корреляционно-регрессионной модели. Коэффициенты регрессии, найденные исходя из системы нормальных уравнений, представляют собой выборочные оценки характеристики силы связи. Их несмещенность является желательным свойством, т.к. именно в этом случае они могут иметь практическую значимость. Несмещенность оценки означает, что математическое ожидание остатков равно 0. Следовательно, при большем числе выборочных оцениваний остатки не будут накапливаться, и найденный параметр b_j можно рассматривать как среднее значение из возможно большего количества несмещенных оценок. Если оценки имеют свойство несмещенности, то их можно сравнивать по разным исследованиям.

Оценки считают эффективными, если они характеризуются наименьшей дисперсией. В практических исследованиях это означает возможность перехода от точечного оценивания к интервальному. Степень реалистичности доверительных оценок параметров обеспечивается, если эти оценки будут также и самостоятельными.

Состоятельность оценок характеризуется увеличением их точности с увеличением объема их выборки. Наибольший практический интерес представляют те результаты регрессии, для которых отдельный интервал доверительного значения параметра b_j имеет предел значений вероятности, равный единице. .

Указанный критерий оценок обязательно учитывается при различных способах оценивания.

МНК строит оценки регрессии на основе суммы минимизации квадратов остатков.

Поэтому очень важно учитывать поведение остаточной величины регрессии (т.е. ε).

Метод наименьших квадратов (МНК) является одним из наиболее разработанных и распространенных вследствие своей относительной простоты и эффективности методов оценки параметров линейных эконометрических моделей. Он не предъявляет жестких требований к закону распределения ошибок моделей. Вследствие этого оценки коэффициентов моделей, полученные на основе МНК, не зависят от фактического (или предполагаемого) закона распределения. Хотя обычно закон распределения ошибки, если его знание необходимо для проверки качества модели, свойств ее параметров и т.п., предполагается нормальным. При этом в “классическом” варианте МНК, как это будет показано далее, в отношении свойств ошибки модели e_t выдвигаются следующие предположения (рис. 4.1).