Непрерывный марковский процесс. 
Уравнения Колмогорова

Рассмотрим систему S, в которой происходит марковский СП с дискретными состояниями 5, S₂,. ? ., S_n.

Если переходы системы из состояния в состояние происходит не в фиксированные моменты t, h, а в случайные моменты времени.

(что чаще встречается в реальных задачах), то такой процесс называется марковским процессом с дискретными состояниями и непрерывным временем.

Марковские СП данного типа применяются при исследовании (моделировании) реальных СМО. Состояние системы будем характеризовать числом требований (заявок) на обслуживание, находящихся в системе. Предположим, что переходы системы из состояния 5) в состояние Sj

осуществляются под воздействием пуассоновского потока с интенсивностью Лц = const.

Граф состояний системы с проставленными у стрелок интенсивностями называется размеченным (рис. 11.4).

Рис. 11.4. Размеченный граф СМО с четырьмя состояниями

Вероятностью i-го состояния называется вероятность p,(t) того, что в момент / система будет находиться в состоянии S',. Очевидно, что для любого момента / сумма вероятностей всех состояний системы равна единице:

Для нахождения этих вероятностей p,(t) (вероятностей состояния системы Sq, Si, S₂,—;S_n) нужно решить систему обыкновенных дифференциальных уравнений -уравнений Колмогорова:

с начальными условиями р₀(0),…, р"(0); /?Д0)>0 и условием нормировки (11.28).

Правила составления уравнений Колмогорова:

• • В левой части каждого уравнения стоит производная вероятности /-ГО состояния.
• • В правой части — сумма произведений вероятностей всех состояний (из которых направлены стрелки в данное состояние) на интенсивности соответствующих потоков событий минус суммарная интенсивность всех потоков, выводящих систему из данного состояния (стрелки потоков выходят из /-го состояния), умноженная на вероятность данного состояния.

Учитывая (11.29), или, что эквивалентно, вышссформулированныс правила, запишем систему уравнений для СМО S (рис. 11.4):

В системе (11.30) независимых уравнений на единицу меньше общего числа уравнений. Поэтому для решения системы необходимо добавить уравнение (11.28). Естественно предположить, что в начальный момент времени СМО находится в состоянии So, то есть начальные условия равны: /?₀(0) = 1, Р|(0) = р₂(0) = /?₃(0) = 0.

Уравнения Колмогорова дают возможность найти все вероятности как функции времени. Однако особый интерес представляют вероятности системы Pj{t) в предельном стационарном режиме, то есть при.

t —> oo, которые называются предельными (финальными) вероятностями состояний.

Показано, что если число состояний системы конечно и из каждого из них можно (за конечное число шагов) перейти в любое другое состояние, то предельные состояния существуют.

Предельная вероятность состояния S_t имеет четкий смысл: она равна среднему относительному времени пребывания системы в этом состоянии. Например, если предельная вероятность состояния 5₍₎ равна 0,5 (ро = 0,5), го эго значит, что в среднем 50% времени система находится в состоянии S ().

Так как предельные вероятности постоянны, то, заменяя в уравнениях Колмогорова (11.29) их производные нулевыми значениями, получим систему линейных алгебраических уравнений (СЛАУ), описывающих стационарный режим. Для СМО, граф состояний которой представлен на рис. 11.4, СЛАУ примет вид:

ПРИМЕР 7. Найти предельные вероятности для системы S, граф состояний которой представлен на рис. 11.4 при следующих интенсивностях потоков: Tqj 1, Tq2 ⁼ 2, Tjq — 2, 2, Т20 3, А23 ⁼ 1, Д3] — 3, Л32 ~.

РЕШЕНИЕ. СЛАУ, описывающих стационарный режим для данной системы (11.31) с учетом значений интенсивностей потоков, можно представить:

Здесь вместо одного «лишнего» уравнения системы (11.31) учли условие нормировки (11.28).

Решив систему (11.32), получим: р₀ =6/15, р =3/15, =4/15, =2/15.