Метод нименьших квадратов

Метод нименьших квадратов - один из методов теории ошибок для оценки неизвестных величин по результатам измерений, содержащим случайные ошибки. Данный метод применяется также для приближённого представления заданной функции другими (более простыми) функциями и часто оказывается полезным при обработке наблюдений.

Метод наименьших квадратов предложен К.Гауссом (1794-95 гг.) и А.Лежандром (1805-06 гг.), первоначально он использовался для обработки результатов астрономических и геодезических наблюдений. Строгое математическое обоснование и установление границ содержательной применимости метода даны А.А.Марковым (старшим) и А.Н.Колмогоровым. Ныне метод наименьших квадратов представляет собой один из важнейших разделов математической статистики и широко используется для статистических выводов в различных областях науки и техники.

Мерой разницы в методе наименьших квадратов служит сумма квадратов отклонений действительных (экспериментальных) значений y_i от теоретических Y_i.

Название свое метод наименьших квадратов получил, исходя из основного принципа, которому должны удовлетворять полученные на его основе оценки параметров: сумма квадратов ошибки модели должна быть минимальной, т.е.

(4.11)

где y_i - экспериментальное значение измеряемой величины;

Y_i - теоретическое значение измеряемой величины (здесь и далее в качестве теоретической модели выбрана линейная модель Y= a + bx. Ознакомиться с дальнейшими расчетами для случаев нелинейной модели, т.е. когда Y= kx² или Y=ax² +bx + c студентам рекомендуется самостоятельно по указанным источникам литературы);

e_i=y_i –Y_i - разность между измеренными и вычисленными по уравнению значениями.

Исследуя на экстремум эту функцию аргументов a и b с помощью производных, т.е. , можно доказать, что функция принимает минимальное значение, если коэффициенты a и b являются решением системы:

. (4.12)

Отсюда решением системы являются значения a и b, вычисленные по выражению:

(4.13)

Пример - найти уравнение линейной регрессии для следующих исходных данных:

Решение: Уравнение будем искать в виде y(x)=a+bx.

По методу наименьших квадратов для определения коэффициентов данного уравнения, необходимо решить систему (4.12). Для удобства сведем предварительные расчеты в таблицу 4.8.

Таблица 4.8 – Расчетная таблица

	xi	yi	xi 2	xi yi
S

 

Таким образом, .

 

Исходя из (4.13), .

Следовательно, y=-1,1+2,9x - уравнение регрессии, которое связывает две исходные величины Х и У.