Аппроксимация функций. Метод наименьших квадратов

В инженерной деятельности часто возникает необходимость описать в виде функциональной зависимости связь между величинами, заданными таблично или в виде набора точек с координатами (x_i, y_i), i = 0, 1, 2,... , n, где n - общее количество точек. Как правило, эти табличные данные получены экспериментально и имеют погрешности (рис. 2.5)

Рис.4.2

При аппроксимации желательно получить относительно простую функциональную зависимость (например, многочлен), которая позволила бы "сгладить" экспериментальные погрешности, вычислять значения функции в точках, не содержащихся в исходной таблице.

Эта функциональная зависимость должна с достаточной точностью соответствовать исходной табличной зависимости. В качестве критерия точности чаще всего используют критерий наименьших квадратов, т.е. определяют такую функциональную зависимость f(x), при которой

S =, (4.12)

обращается в минимум.

Погрешность приближения оценивается величиной среднеквадратического уклонения

= . (4.13)

В качестве функциональной зависимости рассмотрим многочлен

P_m(x)=a₀ + a₁x + a₂x²+...+a_mx^m. (4.14)

Формула (4.12) примет вид

S =

Условия минимума S можно записать, приравнивая нулю частные производные S по всем переменным a₀, a₁, a₂, … , a_m. Получим систему уравнений

= -= 0, или

= 0, k = 0, 1, … , m. (4.15)

Систему уравнений (4.15) перепишем в следующем виде:

a₀+ a₁+ … +a_m= , k = 0, 1, … , m (4.16)

Введем обозначения:

c_k = , b_k = .

Система (4.16) может быть записана так:

a₀c_k + a₁c_k+1 + … + c_k+ma_m = b_k, k = 0, 1, … , m. (4.17)

Перепишем систему (4.17) в развернутом виде:

c₀a₀ + c₁a₁ + c₂a₂… + c_ma_m = b₀

c₁a₀ + c₂a₁ + c₃a₂… + c_m+1a_m = b₁

(4.18)

c_ma₀ + c_m+1a₁ + c_m+2a₂… + c_2ma_m = b_m

Матричная запись системы (4.18) имеет следующий вид:

Ca = b. (4.19)

Для определения коэффициентов a_k, k = 0, 1, … , m, и, следовательно, искомого многочлена (4.14) необходимо вычислить суммы c_k, b_k и решить систему уравнений (4.18). Матрица C системы (4.19) называется матрицей Грама и является симметричной и положительно определенной. Эти полезные свойства используются при решении.

Погрешность приближения в соответствии с формулой (4.13) составит

= . (4.20)

Рассмотрим частные случаи m =1 и m = 2.

1. Линейная аппроксимация (m = 1).

P₁(x) = a₀ + a₁x.

c₀ = = n + 1; c₁ = = ; c₂ = ; (4.21)

b₀ = = ; b₁ = = . (4.22)

c₀ c₁ n+1

C = = ,

c₁ c₂

b = (b₀, b₁)^T = (,)^T.

Решение системы уравнений Ca = b найдем по правилу Крамера:

a₀ = , a₁ = ,

где C - определитель матрицы C, аC_i - определитель матрицы C_i, полученной из матрицы C заменой i-го столбца столбцом свободных членов b, i = 1, 2.

Таким образом,

a₀ = , a₁ = . (4.23)

Алгоритм 4.1 (Алгоритм метода наименьших квадратов. Линейная аппроксимация).

Шаг 1. Ввести исходные данные: x_i, y_i, i=0, 1, 2, ... , n.

Шаг 2. Вычислить коэффициенты c₀, c₁, b₀, b₁ по формулам (4.21), (4.22).

Шаг 3. Вычислить a₀, a₁ по формулам (4.23).

Шаг 4. Вычислить величину погрешности

₁ = . (4.24)

Шаг 5. Вывести на экран результаты: аппроксимирующую линейную функцию P₁(x) = a₀ + a₁x и величину погрешности ₁.

2. Квадратичная аппроксимация (m = 2).

P₂(x) = a₀ + a₁x + a₂x².

c₀ == n+1; c₁ ==; c₂ =; c₃ =; c₄ =. (4.25)

b₀ ==; b₁ ==; b₂ = . (4.26)

c₀ c₁ c₂

C = c₁ c₂ c₃ .

c₂ c₃ c₄

b = (b₀, b₁, b₂)^T .

Решение системы уравнений Ca = b найдем по правилу Крамера:

a_i = , i = 0, 1,

где C - определитель матрицы C, аC_i - определитель матрицы C_i, полученной из матрицы C заменой i-го столбца столбцом свободных членов b.

C = c₀c₂c₄ + 2c₁c₂c₃ - c - сc₄ - cc₀. (4.27)

b₀ c₁ c₂

C₁ = b₁ c₂ c₃ = b₀c₂c₄ + b₂c₁c₃ + b₁c₂c₃ - b₂c- b₁c₁c₄ - b₀c. (4.28)

b₂ c₃ c₄

c₀ b₀ c₂

C₂ = c₁ b₁ c₃ = b₁c₀c₄ + b₀c₂c₃ + b₂c₁c₂ - b₁c- b₀c₁c₄ - b₂c₀c₃. (4.29)

c₂ b₂ c₄

c₀ c₁ b₀

C₃ = c₁ c₂ b₁ = b₂c₀c₂ + b₁c₁c₂ + b₀c₁c₃ - b₀c- b₂c - b₁c₀c₃. (4.30)

c₂ c₃ b₂

a₀ = , a₁ = , a₂ = . (4.31)

Алгоритм 4.2 (Алгоритм метода наименьших квадратов. Квадратичная аппроксимация).

Шаг 1. Ввести исходные данные: x_i, y_i, i=0, 1, 2, ... , n.

Шаг 2. Вычислить коэффициенты c₀, c₁, c₂, c₃, c₄, b₀, b₁, b₂, по формулам (4.25), (4.26).

Шаг 3. Вычислить C, C₁, C₂, C₃ по формулам (4.27) - (4.30).

Шаг 4. Вычислить a₀, a₁, a₂ по формулам (4.31).

Шаг 5. Вычислить величину погрешности

₂ = . (4.32)

Шаг 5. Вывести на экран результаты : аппроксимирующую квадратичную функцию P₂(x) = a₀ + a₁x + a₂x² и величину погрешности ₂.

Пример 4.6.

Построим по методу наименьших квадратов многочлены первой и второй степени и оценим степень приближения. Значения y_i в точках x_i , i =0, 1, 2, 3, 4 приведены в таблице 2.3.

Таблица 4.1

i
xi
yi	-1

Вычислим коэффициенты c₀, c₁, c₂, c₃, c₄, b₀, b₁, b₂, по формулам (4.25), (4.26):

c₀ = 5; c₁ = 15; c₂ = 55; c₃ = 225; c₄ = 979;

b₀ = 12; b₁ = 53; b₂ = 235.

1. Линейная аппроксимация (m =1).

Система уравнений для определения коэффициентов a₀ и a₁ многочлена первой степени P₂(x) = a₀ + a₁x + a₂x² имеет вид

5a₀ + 15a₁ = 12

15a₀ + 55a₁ = 53

По формулам (4.23) найдем коэффициенты a₀ и a₁:

a₀ = -2.7, a₁ = 1.7.

P₁(x) = a₀ + a₁x = -2.7 + 1.7x.

2. Квадратичная аппроксимация (m =2).

Система уравнений для определения коэффициентов a₀, a₁ и a₂ многочлена второй степени P₂(x) = a₀ + a₁x + a₂x² имеет вид

5a₀ + 15a₁ + 55a₂ = 12

15a₀ + 55a₁ + 225a₂ = 53

55a₀ + 225a₁ + 979a₂ = 235

По формулам (4.31) найдем коэффициенты a₀, a₁ и a₂:

a₀ -2.20, a₁ 1.27, a₂ 0.07.

P₂(x) = a₀ + a₁x + a₂x² = -2.20 + 1.27x + 0.07x².

Сравним значения, рассчитанные для функциональной зависимости, с исходными данными. Результаты приведены в табл.2.4.

Таблица 4.2

i
xi
yi	-1
P1(xi)	-1	0.7	2.4	4.1	5.8
P2(xi)	-1	0.62	2.24		6.9

Погрешность приближения в соответствии с формулами (4.24) и (4.32) составит

₁ = = 0.245.

₂ = = 0.084.