Предпосылки метода наименьших квадратов при нахождении параметров уравнения множественной регрессии.

При этом делаются определенные предположения относительно случайно составляющей ε₁.

Случайно составляющая ε представляет собой не наблюдаемую величину. После того как произведена оценка параметров модели, рассчитанная разность фактических и теоретических значений результата признана (), можно определить величину случайной ошибки.

При изменении специализации модели, добавлении в нее новых переменных или новых наблюдений выборочные оценки Е могут измениться, поэтому в задачи регрессивного анализа входит не только построение самой модели, но и исследование случайных отклонений ε₁, т.е. остаточных величин.

При статистической оценке параметров регрессии, показателей корреляции основывается на непроверяемых предпосылках распределения случайного числа ε₁ Они носят лишь предварительный характер.

После построения уравнения регрессии производится проверка наличия у оценок ε тех свойств, которые предполагались. Это связано с тем, что оценки параметров регрессии должны отвечать определенным критериям. Они должны быть не смещенными, самостоятельными и эффективными. Эти свойства оценок, полученные по МНК имеют чрезвычайно важное значение при использовании корреляционно-регрессивной модели.

Коэффициенты регрессии, найденные исходя из системы нормальных уравнений, представляют собой выборочные оценки характеристики силы связи. Их несмещенность является нежелательным свойством, т.к. именно в этом случае они могут иметь практическую значимость. Несмещенность оценки означает, что математическое ожидание остатков равно 0. Следовательно, при большем числе выборочных оцениваний остатки не будут накапливаться, и найденный параметр b_j можно рассматривать как среднее значение из возможно большего количества несмещенных оценок. Если оценки имеют свойство несмещенности, то их можно сравнивать по разным исследованиям.

Оценки считают эффективными, если они характеризуются наименьшей дисперсией. В практических исследованиях это означает возможность перехода от точечного прогноза к интервальному. Степень реалистичности доверительных оценок параметров обеспечивается, если эти оценки будут также и самостоятельными.

Самостоятельность оценок характеризует увеличение их увеличения их точности с увеличением объема их выборки. Наибольший практический интерес представляют те результаты регрессии, для которых отдельный интервал доверительного значения параметра b_j имеет предел значений вероятности, равный 1.

Указанный критерий оценок обязательно учитывается при различных способах оценивания.

МНК строит оценки регрессии на основе суммы минимизации квадратов остатков.

Поэтому очень важно учитывать поведение остаточной величины регрессии (т.е. ε).

Исследование остатков ε предполагает проверку наличия следующих 5 предпосылок МНК:

1. случайный характер остатков,

2. нулевая средняя величина остатков, независимо от х_i,

3. Гомоскедастичность , т.е. дисперсия каждого отклонения ε_i одинаково для всех значений х (постоянство дисперсии ошибок),

4. отсутствие автокорреляции остатков. Значения остатков ε_i распределены независимо друг от друга.

5. остатки подчиняются нормальному распределению.

В том случае, когда все 5 предпосылок выполняются, оценки полученные по МНК и методу мах правдоподобия совпадают между собой. Если же какие-либо из предпосылок не выполняются, то следует корректировать модель.