Метол наименьших квадратов

Метод наименьших квадратов относится к методам аппроксимации, или приближенного восстановления функции по известным ее значениям в ряде точек.

На практике часто возникает задача о наилучшем подборе так называемых эмпирических формул, которые позволяют аналитически представить данные измерений, статистической обработки экспериментов и наблюдений и т. д. Обычно задача формулируется следующим образом: имеются данные наблюдений в п точках Л/, Л/₂, …" М_п определенной величины и, и получены соответствующие значения этой величины u_v и₂,…, и_п нужно подобрать такую функцию и = /(Л/), чтобы она по возможности наиболее точно отражала общую зависимость измеряемой величины и от параметров точек измерений {Л/,}. Задача нахождения эмпирических формул состоит из двух этапов: на первом этапе определяется общий вид зависимости /(Л/), т. е. по ряду наблюдений {ыД устанавливается вид, который может иметь функция и = /(Л/), с точностью до постоянных коэффициентов или неизвестных параметров, входящих в нее;

на втором этапе эти неизвестные параметры подбираются таким образом, чтобы в точках наблюдений {Л/,} подобранная функция наилучшим способом отвечала данным измерений {и,.}.

Пусть в результате первого этапа определено, что измерения в п точках наблюдения

давшие соответственно ряд данных желательно приблизить совокупностью функций.

где или эмпирической формулой вида:

— неизвестные параметры функции и = /(Л/). Следует особо подчеркнуть роль первого этапа подбора вида эмпирической функции, например, можно подобрать функцию, которая точно проходит через измеренные значения (ыД, однако ее колебания столь велики, что вряд ли можно говорить об удовлетворительном установлении функциональной зависимости (рис. 15.7).

Второй этап состоит в определении неизвестных параметров (15.71). Их нужно выбрать такими, чтобы значения эмпирической функции (15.70) по возможности давали бы минимальные отклонения в точках (15.67) от измеренных значений (15.68) (рис. 15.8).

Рис. 15.7.

Рис. 15.8.

Метод наименьших квадратов состоит в минимизации суммы квадратов погрешностей функции (15.70) в точках (15.67) как функции от т аргументов — неизвестных параметров (15.71):

Для установления точки минимума функции (15.72) найдем частные произвол ные этой функции и приравняем их нулю. Имеем:

Переменив порядок суммирования, получаем отсюда систему, состоящую из т линейных алгебраических уравнений относительно т неизвестных параметров а_к:

Коэффициенты и свободные члены уравнений этой системы определяются по формулам.

Как правило, при случайном выборе точек наблюдения (15.67) система уравнений (15.73) с коэффициентами (15.74) имеет единственное решение, дающее набор значений для неизвестных параметров (15.71), соответствующий стационарной точке функции (15.72). Так как эта функция, состоящая из суммы квадратов невязок Ь_р является положительной, выпуклой вниз (см. п. 15.3.5) и неограниченной в евклидовом пространстве Е^т по аргументам (15.71), найденная стационарная точка может быть только точкой се локального минимума.

При обработке данных наблюдений наиболее распространенным является приближение в виде линейной функции одной переменной. В этом случае набор точек наблюдения (15.67) представляет собой набор значений аргумента дг_р х₂, …" х_я, а набор функций (15.69) состоит из двух функций: х и 1. Эмпирическая формула (15.70) имеет вид:

в которой коэффициенты и свободные члены выражаются формулами.

где неизвестные параметры я, и я₂ определяются из системы двух линейных уравнений.

Степенные многочлены двух переменных. При обработке данных наблюдений, когда точки, в которых проводятся измерения, имеют две координаты Mj (x_p у₍), иногда возникает необходимость приближения в виде многочлена степени N от двух переменных, который имеет вид:

Количество слагаемых в этой формуле, а значит и число функций в наборе (15.69) определяется по формуле.

а функции <�р_А и неизвестные параметры а_к в (15.73) и (15.74) определены формулами