Метод наименьших квадратов

Содержание

• І. Теоретическая часть
  • 1. 1. Метод наименьших квадратов
  • 1. 2. Метод итераций
  • 1. 3. Метод Ньютона (касательных)
  • 1. 4. Метод трапеций и средних прямоугольников
  • 1. 5. Метод дихотомии
  • 1. 6. Метод золотого сечения
• ІІ. Практическая часть
• Листинг программы
• Список литературы
• І. ТЕОРЕТИЧЕСКАЯ ЧАСТ
  • 1. 1. Метод наименьших квадратов

  Линейная регрессия (теоретическое линейное уравнение регрессии) представляет собой линейную функцию между условным математическим ожиданием зависимой переменной Y и одной объясняющей переменной X (значения независимой переменной в i-ом наблюдении,).

  . (1.1)

  Для отражения того факта, что каждое индивидуальное значение отклоняется от соответствующего условного математического ожидания, необходимо ввести в последнее соотношение случайное слагаемое .

  (1.1)

  Это соотношение называется теоретической линейной регрессионной моделью, и теоретическими параметрами (теоретическими коэффициентами) регрессии, случайным отклонением.

  Следовательно, индивидуальные значения представляются в виде суммы двух компонент систематической и случайной, причина появления которой достаточно подробно рассмотрена ранее. В общем виде теоретическую линейную регрессионную модель будем представлять в виде:

  . (1.2)

  Для определения значений теоретических коэффициентов регрессии необходимо знать и использовать все значения переменных X и Y генеральной совокупности, что практически невозможно.

  Таким образом, задачи линейного регрессионного анализа состоят в том, чтобы по имеющимся статистическим данным для переменных X и Y: а) получить наилучшие оценки неизвестных параметров и ;

  б) проверить статистические гипотезы о параметрах модели;

  в) проверить, достаточно ли хорошо модель согласуется со статистическими данными (адекватность модели данным наблюдений).

  Следовательно, по выборке ограниченного объема мы сможем построить так называемое эмпирическое уравнение регрессии

  (1.3)

  где оценка условного математического ожидания; и оценки неизвестных параметров и, называемые эмпирическими коэффициентами регрессии. Следовательно, в конкретном случае:

  (1.4)

  где отклонение оценка теоретического случайного отклонения .

  Параметры уравнения и находят методом наименьших квадратов (метод решения систем уравнений, при котором в качестве решения принимается точка минимума суммы квадратов отклонений), то есть в основу этого метода положено требование минимальности сумм квадратов отклонений эмпирических данных от выравненных :

  . (1.5)

  Эта функция является квадратичной функцией двух параметров и. Условием существования минимума функции двух переменных является равенство нулю ее частных производных:

  Разделив оба уравнения системы на n, получим:

  , где (1.6)

  1.2. Метод итерации.

  Дана непрерывная функция f (x), которая содержит единственный корень на отрезке [a, b], где b>a. Определить корень с точностью ε.

  Суть метода

  Дано f (x)=0 (1)

  Заменим уравнение (1) равносильным уравнением

  x=φ(x) (2)

  Выберем грубое, приближенное значение x0, принадлежащее[a, b], подставим его в правую часть уравнения (2), получим:

  x1= φ(x0) (3)

  далее подставим х1 в правую часть уравнения (3) получим:

  x2= φ(x1) (4)

  x3= φ(x2) (5)

  Проделаем данный процесс n раз получим xn=φ(xn-1)

  Если эта последовательность является сходящейся т. е. существует предел

  x* =lim xn, то данный алгоритм позволяет определить искомый корень.

  Выражение (5) запишем как

  x*= φ(x*) (6)

  Выражение (6) является решением выражения (2), теперь необходимо рассмотреть в каких случаях последовательность х1хn является сходящейся.

  Условием сходимости является если во всех токах x принадлежит [a, b] выполняется условие:

  Приведем блок схему алгоритма метода итерации:

  1.3. Метод Ньютона (касательных).

  В рамках метода Ньютона предполагается, что функция дифференцируема. Согласно этому методу строится линейная аппроксимация функции в начальной точке, а точка, в которой аппроксимирующая линейная функция обращается в нуль, принимается в качестве следующего приближения.

  Итерационый процесс схождения к корню реализуется формулой:

  Вычисления продолжаются пока соблюдается условие

  В зависимости от выбора начальной точки и вида функции алгоритм по методу Ньютона может как сходиться к корню уравнения, так и расходиться.

  Блок схема алгоритма метода Ньютона:

  1.4. Метод трапеций и средних прямоугольников.

  Известно, что определенный интеграл функции типа численно представляет собой площадь криволинейной трапеции ограниченной кривыми x=0, y=a, y=b и y= (Рис. 1). Есть два метода вычисления этой площади или определенного интеграла метод трапеций (Рис. 2) и метод средних прямоугольников (Рис. 3).

  Рис. 1. Криволинейная трапеция.

  Рис. 2. Метод трапеций.

  Рис. 3. Метод средних прямоугольников.

  По методам трапеций и средних прямоугольников соответственно интеграл равен сумме площадей прямоугольных трапеций, где основание трапеции какая-либо малая величина (точность), и сумма площадей прямоугольников, где основание прямоугольника какая-либо малая величина (точность), а высота определяется по точке пересечения верхнего основания прямоугольника, которое график функции должен пересекать в середине. Соответственно получаем формулы площадей для метода трапеций:

  , для метода средних прямоугольников:

  .