Метод наискорейшего спуска

Модифицируя метод выбора шага итерации, можно получить метод наискорейшего спуска. Алгоритм этого метода состоит в следующем. В начальной точке Х° определяют направление вектор-градиента. Через точку Х° по направлению вектор-градиента проводят прямую. Для точек этой прямой находят точку минимума функции /. Пусть это будет точка X*^{, J} .

В точке X*'-' опять определяют направление вектор-градиента и повторяют описанную процедуру. Иными словами, в методе наискорейшего спуска коэффициент И' на каждом шаге итерации выбирается из условия

Поиск экстремума методом наискорейшего спуска для функции двух переменных иллюстрирует рис. 1.10.

Рис. 1.10. Стратегия поиска минимума квадратичной функции методом наискорейшего спуска

Достоинства градиентных методов пропорционального поиска и наискорейшего спуска, или, как их иногда называют, градиентных методов первого порядка, не исчерпываются только простотой реализации. Эти методы эффективно работают при начале счета из точки, значительно удаленной от оптимума. Однако вблизи окрестности оптимума сходимость методов резко падает. Теоретически число шагов в методе наискорейшего спуска может быть бесконечным.

Существуют методы высокого порядка, которые лишены этого недостатка и обладают быстрой сходимостью в окрестности оптимума. К ним относятся методы второго порядка, в частности метод Ньютона—Рафсона.