Сущность метода наименьших квадратов (МНК)

Сущность обоснования МНК (по Гауссу) заключается в допущении, что «убыток» от замены точного (неизвестного) значения величины ее приближенным вычисленным значением пропорционален квадрату ошибки. Тогда оптимальной оценкой естественно считать такую величину, для которой среднее значение «убытка» минимально.

Отыскание оптимальной оценки в общем случае — задача сложная. Поэтому на практике обычно класс функций, используемый для аппроксимации, определяют визуально, в зависимости от того, на что больше похож результат эксперимента — на прямую, параболу… Этакая «подгонка под ответ». Затем подбирают такую функцию из этого класса, чтобы сумма квадратов отклонений экспериментально полученных значений от значений аппроксимирующей функции в соответствующих точках была минимальной для всего класса функций.

Вот простой пример применения. Допустим, экспериментально снята зависимость от времени некоего параметра при помощи измерительного прибора. Получена таблица индексированных значений этого параметра.

Строго говоря, отсчеты воображаемого прибора не обязательно должны идти через равные промежутки времени. Но если первый отсчет соответствует первой секунде, второй отсчет — второй секунде и так далее, параметр х становится равен собственному индексу и представляется рядом натуральных чисел, что упрощает вычисление.

Известно, что любому измерению присуща случайная погрешность. Из графика снятой зависимости параметра от времени видно, что она приблизительно линейная. Требуется найти прямую, которая поможет выяснить значение искомого параметра в произвольный момент времени. Уравнение прямой y = a· x + b, где в нашем случае х — секунда отсчета (совпадающая с номером отсчета), y — значение параметра на этом отсчете. Чтобы найти оптимально подходящую прямую, нужно найти такие коэффициенты a и b, при которых сумма ?([a· x_i + b? y_i]²) по всем отсчетам i была бы минимальной. Здесь a· x_i + b задает неизвестное значение прямой на отсчете i, y_i — известное измеренное значение, выражение под суммой — квадрат отклонения измеренной величины от искомой оценочной. Итак, имеем функцию.

Q (a, b) = ?([a· x_i + b? y_i]²), (2.7).

и нужно найти такие значения a и b, при которых функция имеет минимум. Известно, что в точке минимума первая производная функции равна нулю. У нас две переменные, значит.

dQ/da = ?(2· [a·x_i + b? y_i]· x_i) dQ/db = ?(2· [a·x_i + b? y_i]· 1) (2.8).

Раскроем скобки, приравняем производные к нулю и получим систему уравнений с двумя неизвестными, а и b:

a· ?(x_i²) + b· ?(x_i) = ?(x_i· y_i) a· ?(x_i) + b· ?(1) = ?(y_i) (2.9).

Понятно, что ?(1) равна количеству отсчетов. Для наглядности попробуем задать серию из десятка точек «с потолка» с приблизительно линейной зависимостью y от x:

Таблица 2.1 — Значения x и y.

Тогда система выглядит так:

• 385· a + 55· b = 20
• 55· a + 10· b = 31

отсюда b = (31? 55· a) / 10 = 3,1? 5,5· a, тогда 385· a + 170,5? 302,5· a = 203, значит, a = 0,(39), b = 0,9(3). Результат можно увидеть на рисунке 2.5. Для еще большей наглядности проверим более явную линейную зависимость, заданную таблично:

Таблица 2.2 — Значения x и y.

Здесь система получается такая:

• 385· a + 55· b = 205
• 55· a + 10· b = 30

отсюда, а = 0,(48), b = 0,(3), и можно посмотреть, как это выглядит на рисунке 2.5.

Рисунок 2.5 — Пример аппроксимации табличных точек прямой.