Обобщенная байесовская постановка решения задач

Байесовская постановка решения задач с моделью М определяет расширение множества алгоритмов A_M так, чтобы оно включало не только алгоритмы вида a: YD_out, но и все возможные распределения вероятностей P_s(d_outy), т. е. в стохастических алгоритмах для каждого значения y случайно выбирается подходящее решение d_out в соответствии с вероятностями P_s(d_outy). Среди данных стохастических алгоритмов ищется наилучший, в котором при фиксированном значении x принимается одно и то же детерминированное решение d_out=a (y), которое входит в противоречие со случайным характером состояния, в котором находится алгоритм.

Для байесовской постановке решения задачи определим на конечных множествах Y, X, D_out с распределением вероятностей P_YX: YXR и функцией потерь W: XD_outR стохастический алгоритм a_s: D_outYR, риск которого.

R_s=. (1).

Теорема [3]: Для любого стохастического алгоритма существует детерминированный алгоритм a: YDout, риск которого

R_det=.

не больше, чем R_s, т. е. байесовская задача может быть сведена к поиску детерминированного алгоритма a: YD_out.

Доказательство: Перепишем равенство (1) в иной форме,.

R_s=.

Равенство =1 выполняется для любого yY, а неравенство 0 выполняется для любых d_outD_out и yY, поэтому справедливо неравенство.

R_s.

Обозначим a (y) любое значение d_out, для которого.

.

Данный алгоритм a: YD_out является детерминированным, который не хуже, чем стохастический a_s

.

т. е. для детерминированного алгоритма a риск R_detR_s.