Дифференциальный алгоритм решения общей задачи математического программирования. 
Метод Франка-Вулфа

Постановка задачи

Общая задача математического программирования имеет следующий вид:

Здесь минимизируемая функция, область допустимых решений.

1.2 Дифференциальный алгоритм

1.2.1 Переменные состояния и переменные решения Область допустимых решений состоит из всех точек, которые удовлетворяют системе уравнений (1.1.2). В каждой окрестности точки имеется два типа точек: точки, не принадлежащие области, для которых, и точки, принадлежащие ей, для которых. Разобьем вектор на два составляющих вектора:, гдемерный, амерный () векторы. Составляющие вектора называются переменными состояния (зависимыми переменными), а составляющие вектора переменными решения (независимыми переменными).

Пусть в качестве переменных состояния взяты первые составляющих вектора. Тогда

.

Разложим функцию и ограничения в ряд Тейлора в окрестности точки, ограничиваясь линейными членами:

(1.2.1)

. (1.2.2)

Здесь матрицы Якоби (размерности) и управления (размерности) соответственно:

.

Выражение (1.2.2) равно нулю, поскольку нас интересует изменения функций (1.1.2), не выходящие из области допустимых решений .

Система уравнений (1.2.1), (1.2.2) представляет собой линейное уравнение c неизвестным. Считаем, что эти уравнения линейно независимы; в противном случае берем их наибольшее число, образующее линейно независимую систему, пренебрегая остальными как избыточными. Отсюда, очевидно, автоматически исключается случай, когда число уравнений больше числа неизвестных, а не представляет интереса, поскольку единственно возможное решение есть, то есть не существует допустимой окрестности в области задания вообще, что выражается в (1.1.2).

В общем случае разбиение на переменные состояния и решения производится произвольно. Единственное условие, которое при этом необходимо соблюдать, неособенность матрицы Якоби:. Должно быть ровно зависимых и независимых переменных, но для решения рассматриваемой проблемы не имеет значения, какие из переменных к какой категории относятся, если выполнено данное условие. В конкретной ситуации иногда ясно, какие из переменных должны быть зависимыми, а какие независимыми.

Как бы не были выбраны независимые переменные, любые значения их приращений позволяют определить в результате решения системы (1.2.2) единственный ряд изменений зависимых переменных, не выводящих новую точку из заданной области. После этого результирующее изменение, вычисленное в соответствии с уравнением (1.2.1), можно использовать для анализа изменения критерия, чтобы увидеть, приводят ли указанные изменения к ее улучшению.

Переменные решения можно изменять свободно, в то время как основное назначение переменных состояния удержат новую точку в заданной области. Произвольное изменение более чем переменных выведет точку из заданной области. Задание менее переменных приводит к бесконечному множеству решений и к невозможности найти местоположение новой точки. Точное число независимых переменных (решений) называется числом степеней свободы системы. Каждое дополнительное ограничение уменьшает данное число и снижает число независимых переменных на единицу, упрощая тем самым проблему оптимизации.