Байесовское решающее правило

Один из путей решения задачи минимизации среднего риска связан с идеей восстановления функций распределения вероятностей.

Как мы уже упоминали, считаем, что существуют условные плотности распределения P (xi = 1) и P (xi = 2), задающие плотность распределения вероятностей объектов первого и второго классов образов соответственно, а также существуют величины Р и Р2, которые определяют вероятность появления объектов соответственно первого и второго классов. Если мы известными в статистике методами по обучающей последовательности сумеем восстановить эти функции и величины, то дальше мы можем действовать следующим образом.

Сначала с помощью формулы Байеса определяем вероятность принадлежности объекта х к первому или второму классу:

где нормирующий множитель.

Нетрудно понять, что минимальные потери получены при такой классификации объектов, при которой объект х будет отнесен к первому классу в случае выполнения неравенства.

или, иными словами, если выполняется байесовское решающее правило.

Следовательно, оптимальную классификацию обеспечивает следующее решающее правило.

где 9(z) определяется формулой (1.1). Такие решающие правила иногда называют дискриминантными.

Таким образом, знание плотностей условных распределений P (xi = 1), P (xi = 2) и вероятностей Pi, Р2 гарантирует отыскание оптимального правила классификации. Однако следует заметить, на этом пути мы решение сравнительно простой задачи — построение дискриминантной функции — подменяем решением значительно более сложной задачи — задачи о восстановлении функции распределения. Ведь восстанавливаемые функции распределения вероятностей составляют исчерпывающие сведения о классах распознаваемых объектов, в то время как нужная нам дискриминантная функция отражает только одну из характеристик взаимного расположения объектов различных классов. Поэтому решать задачу обучения распознаванию образов, восстанавливая неизвестные функции распределения вероятностей, в общем случае нерационально. Исключения составляют специальные случаи, когда задачи о восстановлении многомерных функций распределений сильно вырождаются. Например, когда функция распределения такова, что координаты вектора х = (xi,…, х_п) распределены независимо, или если P (xi =1), P (xi = 2) — нормальные распределения с одинаковыми ковариационными матрицами, отличающиеся только векторами средних. В последнем случае решающее правило (1.2) задает разделяющую гиперплоскость. Если же ковариационные матрицы P (xi =1), P{xi = 2) не только одинаковы, но и диагональны, то байесовское решающее правило эквивалентно методу эталонов и относит объект к тому классу, евклидово расстояние до эталона которого минимально.

Таким образом, решающие правила, ранее рассмотренные нами как эвристические, имеют еще и статистическую трактовку и даже, в ряде конкретных случаев, являются статистически оптимальными.