Методом наименьших квадратов

Оценивание коэффициентов КЛММР

Применяя к (3.1) с учетом (3.2)-(3.5) МНК, получаем из необходимых условий минимизации функционала:

т.е. обращения в нуль частных производных по каждому из параметров:

Упростив последние равенства, получим стандартную форму нормальных уравнений, решение которых дает искомые оценки параметров:

(3.6)

Сложность решения системы линейных уравнений (3.6) с (k+1) неизвестными увеличивается быстрее, чем растет k. В зависимости от количества уравнений система может быть решена методом исключения Гаусса или методом Крамера или другим численным методом решения системы линейных алгебраических уравнений.

Поскольку для большинства практических задач изучаются несколько альтернативных спецификаций модели (3.1), то широкое применение ЭВМ, а также специальных статистических пакетов позволяет значительно упростить процедуру оценивания.

В результате решения системы[4] (3.6) получим оценки коэффициентов , j=0,2,…,k.

Возможна и другая запись уравнения (3.1) в так называемом стандартизованном масштабе:

, (3.7)

где - стандартизованные переменные:

, j=1,2,…,k,

для которых среднее значение равно нулю:

j=1,2,…,k,

а среднее квадратическое отклонение равно единице:

j=1,2,…,k,

, j=1,2,…,k – стандартизованные коэффициенты регрессии.

Нетрудно установить зависимость между коэффициентами "чистой" регрессии и стандартизованными коэффициентами регрессии , j=1,2,…,k, а именно:

, j=1,2,…,k, (3.8)

причем .

Соотношение (3.8) позволяет переходить от уравнения вида (3.7) к уравнению вида (3.1).

Стандартизованные коэффициенты регрессии показывают, на сколько "сигм" изменится в среднем результат (Y), если соответствующий фактор изменится на одну "сигму" при неизменном среднем уровне других факторов.

В силу того, что все переменные центрированы и нормированы, коэффициенты , j=1,2,…,k, сравнимы между собой (в этом их отличие от ). Сравнивая их друг с другом, можно ранжировать факторы по силе их воздействия на результат, что позволяет произвести отсев факторов – исключить из модели факторы с наименьшими значениями .

Нетрудно показать, что оценки МНК , j=0,2,…,k являются наиболее эффективными (в смысле наименьшей дисперсии) оценками в классе линейных несмещенных оценок (теорема Гаусса-Маркова).

Как было уже указано раньше, достоинством метода множественной регрессии является возможность выделения влияния каждого из факторов X_j в условиях, когда воздействие многих переменных на результат эксперимента не удается контролировать. Степень раздельного влияния каждого из факторов характеризуется оценками , j=1,2,…,k.

Пример 1. Исследуется зависимость между стоимостью грузовой автомобильной перевозки Y (тыс. руб), весом груза X₁ (тонн) и расстоянием X₂ (тыс.км) по 20 транспортным компаниям. Исходные данные приведены в таблице 3.1.