Градиентный метод первого порядка решения задач вариационного исчисления

Здесь мы сначала рассмотрим градиентный метод первого порядка применительно к простейшей задаче, а затем обобщим его на задачи с подвижными концами и задачи с разрывными производными.

Итак, пусть разыскивается экстремум функционала в простейшей задаче вариационного исчисления:

• 1 Вместе с тем применяемый здесь подход можно рассматривать как метод последовательных приближений при численном решении уравнения Эйлера—Лагранжа.
• 2 Построенная таким образом функция у* как раз и яаляется решением уравнения Эйлера—Лагранжа.

Предполагаем, что допустимые функции таковы, чтоу (х)еС ([а', />]). В п. 8.1 мы получили такое выражение для дифференциала — первой вариации функционала — формулу (1.9):

которую с учетом краевых условий (8.2) более удобно записать в виде, отвечающем нашим предыдущим обозначениям:

0.8.1. Выражение (8.3), определенное на семействе допустимых вариаций, назовем градиентом функицонала У, выражаемого формулой (8.1).

В связи с 0.8.1 полезно вспомнить определения, данные в п. 1.3. Также отметим, что 0.8.1 подразумевает, что мы рассматриваем функционал J на множестве допустимых функций и их вариаций из соответствующих функциональных пространств (у нас у (х) и 6у (х) из пространства С[а, />])).

Вариационное исчисление дает нам способ определения экстремали. Для этого мы должны решить уравнение Эйлера—Лагранжа, которое является следствием из приравнивания к нулю первой вариации-градиента функционала У (8.3). Именно этим путем мы и шли на протяжении всех предыдущих разделов. Здесь же мы поступим иначе. Выберем каким-либо образом функциюУ⁰⁾(х), которую назовем начальным приближением к решению вариационной задачи. Естественно, что функцияУ^0,(х) должна быть выбрана из класса допустимых функций. Вычислим функционал (8.1) на/⁰⁾(х):

Как можно улучшить значение функционала в смысле приближения его к минимуму? Очевидно, что для этого нужно каким-то образом изменить значение функции /⁰⁾(х). Теперь самое время.

где 6у^<0)(х) — вариация функции.

Ответ на вопрос о том, как вычислить эту вариацию, прост! Лая этого нужно обратиться к градиенту функционала (8.3), в который эта вариация входит. Вычисляя градиент на функции У ⁰⁾(х), получаем.

вспомнить об идее метода вариаций, который позволяет построить новую функцию¹ У *(х) следующим образом:

При этом здесь вновь уместно вспомнить определение дифференциала (градиента функционала) — 0.1.6, где сказано, что формула вида (8.5) дает значение градиента на элементе У⁰⁾ в направлении 6у.

Как мы знаем, на экстремальной функции первая вариация функционала, т. е. его градиент, обращается в нуль, что и составляет существо первого необходимого условия. Естественно, что на произвольной функции У ⁰⁾(х) градиент не равен нулю и принимает некоторое, отличное от нуля, значение. Пусть, например, бУ (У^0,(х)) > 0.

Но последнее означает, что на выбранном приближении У⁰⁾(х) наш функционал возрастает, а значит, нужно «подправить» у⁽⁰⁾(х) так, чтобы он стал меньше. Для этого достаточно выбрать в качестве вариации-направления бУ⁰⁾(х) в выражении (8.5) величину.

на которой градиент функционала бУ (У⁰⁾(х)) будет отрицателен². Малый параметр ее (0, 1] регулирует значение вариации-направления Ьу^т(х). Повторяя многократно рассмотренные действия, мы можем построить минимизирующую последовательность функций yf^k> (к = 0, 1, 2, …) и описать всю процедуру шагов градиентного метода следующим образом.

Шаг 1. Задаем начальные приближения для искомой функции:

и полагаем к = 0.

Шаг 2. Для к =0, 1, 2,… вычисляем функции вариации-направления.

гдеее (0, 1J.

Шаг 3. Вычисляем новое приближение для искомой функции на основе формулы (8.4), используя найденное на предыдущем шаге значение вариации функции:

и полагаем к = к + 1.

Шаг 4. Проводим проверку условия окончания вычислений в согласии с формулой (см. формулы (8.3) и (8.7)):

где eps — заданное малое положительное число, определяющее точность вычислений.

Если это условие выполнено, то заканчиваем вычисления, иначе повторяем шаги 2—4.

Обобщим рассмотренную методику для задачи с подвижными концами промежутка, а также предположим, что допустимые кривые могут иметь разрыв производных, т. е. принадлежат классу непрерывных функций С (а, А]). Предположим также, что такая точка разрыва производных с единственная на промежутке с&а, Ь. Первая вариация-градиент функционала в таком случае в согласии с результатами разд. 2, принимает вид (см. формулы (2.12) и (2.42)):

Здесь второе и третье слагаемые определяют положение концевых точек (а, у_а) и (Ь, у_ь) экстремали, а также положение точки с — точки разрыва производной экстремальной функции.

Таким образом, нам требуется найти не только саму экстремаль, но и значения четырех координат концевых точек: х = а, у = у_а и х=Ь, у =у_ь, а также значения двух координат — параметров точки с: х = с, у =у_с. Полезно привести полное выражение для градиента функционала в рассматриваемом случае исходя из вида первой вариации — градиента функционала (8.9):

В согласии с формулой (8.10) приведенная последовательность шагов градиентного метода преобразуется в следующую.

Шаг 1. Задаем начальные приближения для искомой функции: У⁰⁾(х), хе[я, Ь, а также для совокупности параметров — значений координат граничных точек и точки разрыва:

полагаем к = 0.

Ш, а г 2. Для к = 0, 1,2,… вычисляем вариацию функции.

а также в согласии с формулой (8.10) — вариации точек:

Здесь все величины е, е_а,…, е_се (0, 1].

Шаг 3. Вычисляем новое приближение для искомой функции на основе формулы (8.11) и совокупности — значений координат граничных точек а, b и точки разрыва с, используя найденные на шаге 2 значения вариаций функции и параметров (8.12):

Полагаем А: = к + 1.

Шаг 4. Проводим проверку условия окончания вычислений в согласии с формулами (см. (8.10)):

где все параметры eps — заданные малые положительные числа, определяющее точность вычислений.

Если группа условий (8.15), (8.16) выполнена, то заканчиваем вычисления, иначе повторяем шаги 2—4.

Замечание 8.1. Прежде всего укажем на то, что приведенная процедура градиентного метода первого порядка называется так, поскольку при построении метода используется градиент или первая вариация функционала, учитывающая приращение функционала только с точностью до линейных членов 6у и 6у, т. е. до членов первого порядка.

Замечание 8.2. Приведенная процедура градиентного метода первого порядка без труда переносится на функционал, зависящий от п функций одного независимого переменного:

В этом случае шаги градиентною метода первого порядка преобразуются с учетом зависимости функционала от п функций и принимают следующий вид.

Шаг 1. Задаем начальные приближения для совокупности искомых функций:

полагаем к = 0.

Шаг 2. Ддя к =0, 1, 2,… вычисляем функции вариации-направления в согласии с формулами, обобщающими формулу (8.7):

где всее₍.е (0, 1].

Шаг 3. Вычисляем новое приближение для искомой совокупности функций у-^/г+1) Ос), используя найденные на шаге значения вариаций функций:

полагаем к = к + 1.

Шаг 4. Проводим проверку условия окончания вычислений в согласии с формулой, обобщающей формулу (8.8):

где eps — заданное малое положительное число, определяющее точность вычислений.

Если это условие выполнено, то заканчиваем вычисления, иначе повторяем шаги 2—4.

Замечание 8.3. Обобщение приведенного метода для подвижных граничных точек а, b и наличие точки разрыва с<=а, Ь у семейства искомых функций у₍.(х) (/ = 1, 2,…, п) не представляет трудности и сводится к его дополнению формулами (8.12), (8.14) и (8.16).

Замечание 8.4. Расширяя области применения градиентного метода первого порядка нельзя не упомянуть о его применении для функционала, зависящего от концевых значений абсцисс и ординат, рассмотренного в п. 3.4:

с терминальной функцией g[a, 6, у (а), у{Ь).

Здесь первая вариация-градиент функционала (8.10) дополняется членами, порожденными вариацией терминальной функции g, и принимает вид:

Таким образом, в согласии с этой формулой вариации-направления в первых четырех формулах (8.12) принимают вид:

В согласии с этими формулами меняются и первые четыре соотношения для условий окончания вычислений в (8.16).

Замечание 8.5. Следует отметить, что описанный градиентный метод первого порядка обладает достаточно низкой скоростью сходимости. Это означает, что число итерационных шагов метода может быть очень большим и достигать нескольких тысяч в отдельных задачах. При этом, конечно, очень многое зависит от «правильного» выбора оптимизационных параметров е, е_а, …, с_с, которые «регулируют» величину шага спуска к минимуму функционала. Поскольку на первых итерациях метода его скорость сравнительно велика, то в ряде случаев оптимизационные параметры выбирают относительно большими, а затем, с ростом числа итераций, их постепенно уменьшают. Однако в общем случае рекомендации по выбору параметров привести затруднительно, поскольку они определяются характером задачи.