Метод нименьших квадратов

Метод нименьших квадратов - один из методов теории ошибок для оценки неизвестных величин по результатам измерений, содержащим случайные ошибки. Данный метод применяется также для приближённого представления заданной функции другими (более простыми) функциями и часто оказывается полезным при обработке наблюдений.

Метод наименьших квадратов предложен К.Гауссом (1794-95 гг.) и А.Лежандром (1805-06 гг.), первоначально он использовался для обработки результатов астрономических и геодезических наблюдений. Строгое математическое обоснование и установление границ содержательной применимости метода даны А.А.Марковым (старшим) и А.Н.Колмогоровым. Ныне метод наименьших квадратов представляет собой один из важнейших разделов математической статистики и широко используется для статистических выводов в различных областях науки и техники.

Мерой разницы в методе наименьших квадратов служит сумма квадратов отклонений действительных (экспериментальных) значений yi от теоретических Yi.

Название свое метод наименьших квадратов получил, исходя из основного принципа, которому должны удовлетворять полученные на его основе оценки параметров: сумма квадратов ошибки модели должна быть минимальной, т.е.

(4.11)

где yi - экспериментальное значение измеряемой величины;

Yi - теоретическое значение измеряемой величины (здесь и далее в качестве теоретической модели выбрана линейная модель Y= a + bx. Ознакомиться с дальнейшими расчетами для случаев нелинейной модели, т.е. когда Y= kx2 или Y=ax2 +bx + c студентам рекомендуется самостоятельно по указанным источникам литературы);

ei=yi –Yi - разность между измеренными и вычисленными по уравнению значениями.

Исследуя на экстремум эту функцию аргументов a и b с помощью производных, т.е. , можно доказать, что функция принимает минимальное значение, если коэффициенты a и b являются решением системы:

. (4.12)

Отсюда решением системы являются значения a и b, вычисленные по выражению:

(4.13)

Пример - найти уравнение линейной регрессии для следующих исходных данных:

Решение: Уравнение будем искать в виде y(x)=a+bx.

По методу наименьших квадратов для определения коэффициентов данного уравнения, необходимо решить систему (4.12). Для удобства сведем предварительные расчеты в таблицу 4.8.

Таблица 4.8 – Расчетная таблица

  xi yi xi 2 xi yi
 
 
 
 
 
S

 

Таким образом, .

 

Исходя из (4.13), .

Следовательно, y=-1,1+2,9x - уравнение регрессии, которое связывает две исходные величины Х и У.