Многие задачи оптимального планирования и управления (управление запасами, распределение ресурсов) могут быть представлены в виде некоторой сетевой модели, в которой каждому состоянию системы соответствует некоторая вершина сети, и задача оптимального планирования интерпретируется как задача нахождения кратчайшего маршрута в сети.
Рассмотрим для примера некоторую сеть, включающую вершин и
Рис. 1.
множество ориентирующих дуг, которые соединяют вершины между собой (см. рис. 1.). Поставим в соответствие каждой допустимой стратегии в состоянии дугу. Перемещению по каждой дуге соответствует некоторый эффект (затраты), причем примем, что время перемещения из в равно коэффициенту дисконтирования .
Пусть маршрут начинается в некоторой произволно выбранной вершине. Предположим, что из вершины мы направляемся в вершину, причем дисконтированные затраты. Если процесс продолжается неограниченное время, маршрут является бесконечным. Обозначим через — интегральные дисконтированные затраты (ИДЗ) для оптимального бесконечного маршрута, который начинается в вершине. Если принятая стратегия является стационарной, то каждый раз, возвратившись к вершине, мы снова выбираем ту же дугу, которая была выбрана при предыдущем заходе в эту вершину.
Пусть существует стационарная стратегия, которая является оптимальной, тогда соответствующая величина ИДЗ удовлетворяют следующей системе функциональных уравнений:
для всех вершин. (1.1)
