Если движение осуществляется в направлении под острым углом к антиградиенту оптимизируемой функции, то алгоритм относится к классу алгоритмов квазиградиентного типа.
3. Если движение в итерационной процедуре уточнения значений оценок параметров осуществляется непосредственно в направлении антиградиента, то процедуру относят к алгоритмам градиентного спуска. Подобные алгоритмы обеспечивают (при определенных ограничениях на минимизируемую функцию) сходимость последовательности Gs со скоростью геометрической прогрессии (линейная сходимость). Из-за того, что реальная скорость сходимости таких алгоритмов резко снижается при приближении 6S к предельному значению b*, градиентный спуск целесообразно применять лишь на начальных этапах минимизации, используя найденные в результате сравнительно небольшого числа итераций величины bS в качестве начальных приближений для более сложных методов, обладающих большей скоростью сходимости.
4. В методе Ньютона значения неизвестных параметров на каждой следующей итерации bS+1 находятся из условия минимума квадратичного полинома, аппроксимирующего исходную критериальную функцию в окрестности точки bS. При этом соответствующая процедура будет менее чувствительна к выбору начального приближения (в частности, будет менее подвержена эффекту «раскачки» при его неудачном выборе), если использовать ее вариант с регулировкой шага. При определенных условиях метод Ньютона обеспечивает квадратичную скорость сходимости последовательности bS к b*.
5. Используя линейную (по параметрам) аппроксимацию исследуемой функции регрессии в окрестности точки bS, можно прийти к модификации метода Ньютона (методу Ньютона-Гаусса. Он существенно проще в вычислительном плане, однако бывает слишком чувствительным к эффекту слабой обусловленности используемых в нем матриц Ms. Скорость сходимости этого метода в зависимости от условий, накладываемых на регрессионную функцию и свободные параметры алгоритма, может быть линейной, сверхлинейной или квадратичной.
6. Существенным недостатком методов квазиградиентного типа, в том числе метода Ньютона, метода Ньютона—Гаусса и других, является необходимость подсчета производных от искомых регрессионных функций на каждой итерации. Основная идея, на которую опираются методы, позволяющие обходиться без подсчета производных, заключается в использований на (s+1-й итерации информации, полученной на предыдущих s итерациях, для построения разумных аппроксимаций для элементов матриц, определяющих выбор направления и шаг движения к решению b*.
7. Первостепенное значение для скорости сходимости используемых итерационных процедур решения оптимизационной задачи метода наименьших квадратов имеет удачный выбор начального приближения b0, Для реализации этого выбора используется ряд приемов: «поиск на сетке», вспомогательное преобразование (линеаризующее) модели, разбиение имеющейся выборки на подвыборки, разложение регрессионной функции в ряд Тейлора.
8. При вычислительной реализации метода наименьших квадратов в нелинейном (по оцениваемым параметрам) случае приходится исследовать вопросы существования и единственности решения. Необходимо помнить, что используемые (в том числе все описанные выше) методы оптимизации приводят в лучшем случае лишь к локальному минимуму критериальной функции. Проверка того, является ли этот минимуму глобальным, является следующей, зачастую не менее трудоемкой, вычислительной операцией.
Литература
Айвазян С. А., Мхитарян B.C. Прикладная статистика и основы эконометрики. (М.: ЮНИТИ, 1998.
Демиденко Е. 3. Линейная и нелинейная регрессии. — М.: Финансы и статистика, 1981. (302 с.
Доугерти К.
Введение
в эконометрику: Пер. с англ. (М.: Инфра-М, 1997.
Кремер Н.Ш., Путко Б. А. Эконометрика: Учебник для вузов // Под ред. проф. Н. Ш. Кремера. (М.: Юнити-Дана, 2005. (311 с.
Магнус Я.Р., Катышев Л. К., Пересецкий А. А. Эконометрика. Начальный курс. (М.: Дело, 2000.
Прикладная статистика: Исследование зависимостей: Справ, изд. / С. А. Айвазян, И. С. Енюков, Л. Д.
Мешалкин; Под ред. С. А. Айвазяна. (М.: Финансы и статистика, 1985.
— 487 с.
Успенский А. Б., Федоров В. В. Вычислительные аспекты метода наименьших квадратов при анализе и планировании регрессионных экспериментов. (М.: МГУ, 1975. (168 с.
Демиденко Е. 3. Линейная и нелинейная регрессии. — М.: Финансы и статистика, 1981. (302 с.
Антиградиент (это направление, противоположное градиенту
Прикладная статистика: Исследование зависимостей: Справ, изд. / С. А.
Айвазян, И. С. Енюков, Л. Д. Мешалкин; Под ред. С. А. Айвазяна.
(М.: Финансы и статистика, 1985. — 487 с.
;
Успенский А. Б., Федоров В. В. Вычислительные аспекты метода наименьших квадратов при анализе и планировании регрессионных экспериментов. (М.: МГУ, 1975. (168 с.
Доугерти К.
Введение
в эконометрику: Пер. с англ. (М.: Инфра-М, 1997
Прикладная статистика: Исследование зависимостей: Справ, изд. / С. А. Айвазян, И. С.
Енюков, Л. Д. Мешалкин; Под ред. С. А. Айвазяна.
(М.: Финансы и статистика, 1985. — 487 с.
