Ф4. 3. Точность и связанные с ней показатели: формулировки

Рассмотрим общий случай таблицы ошибок распознавания одной из двух категорий, представленный в табл. 4.7. Конечно, если нас будет интересовать нс класс 1, а класс 2, то ошибки останутся ошибками, но их названия изменятся: ложные «за» класс 1 станут ложными «против» относительно класса 2.

Перечислим некоторые популярные индексы уровня ошибки или точности.

Доля ЛЗ / (ЛЗ + ИП) — доля ложных «за» среди объектов, не принадлежащих классу 1 («да»). Дополнение ЛЗ до единицы иногда называется специфичностью: она показывает долю правильно предсказанных объектов среди всех объектов, не принадлежащих классу 1. Рисунок 4.6 показывает, с долей иронии, случай ложного «против».

Чувствительность, она же полнота, ИЗ / (ИЗ + ЛП) — доля истинных «за» в «реальном» классе 1.

Точность ИЗ / (ИЗ + ЛЗ) — доля истинных «за» в предсказанном классе 1.

Эти индексы отражают каждую из возможных ошибок в отдельности.

Таблица 4.7

Статистическое представление ошибок распознавания класса «да»

Рис. 4.6. Ложное «против»

Из комплексных индексов следует отметить корректность и F-меру:

Корректность (ИЗ + ИИ) / N — общая доля точных предсказаний. Очевидно, что дополнение корректности до единицы — это общая доля ошибок.

F-мера = 2 / (1 / Точность + 1 / Полнота) — гармоническое среднее показателей «Точность» и «Полнота».

Как отмечалось выше, последняя мера становится все более популярной, потому что среднее гармоническое более адекватно в тех частых случаях, когда ошибки одного рода обходятся дороже ошибок другого рода. Вспомним, например, случай с медицинской диагностикой в табл. 3.5—3.6: ситуация, когда доброкачественная опухоль диагностируется как злокачественная, гораздо менее серьезна, чем та, в которой, наоборот, злокачественная опухоль диагностируется как безвредная. Величина /'-меры, до некоторой степени, является консервативной оценкой, потому что, во-первых, она использует доли, а не абсолютные величины встречаемости, и, во-вторых, применяет среднее гармоническое, которое значительно ближе к минимуму из двух, как видно из ответов на вопросы 4.3 и 4.4.

Вопрос 4.3. Рассмотрим два положительных действительных числа а и b и предположим, например, что а меньше, чем Ь. Докажите, что среднее гармоническое h = 2 / (/ а + / Ь) лежит в интервале от а до 2а, независимо от того, насколько велико Ь.

Ответ. Представим h в виде b = ка с некоторым коэффициентом k > 1. Тогда h = 2/(1 / а + 1 / (ка)) = 2ka / (1 + k). Коэффициент при а, равный 2k / (1 + k), меньше 2, что доказывает утверждение.

Вопрос 4.4. Рассмотрим два положительных действительных числа а и Ь. Докажите, что их арифметическое среднее, т = (а + Ь) / 2, и гармоническое среднее, h = 2 / (/ а + 1 / Ь), удовлетворяют уравнению mh = ab.

Ответ. Запишем произведение mh = [(а + Ь) / 2][2 / (1 / а + 1 / Ь)] и проделаем элементарные алгебраические преобразования.

Более сложное представление ошибок двух типов может быть достигнуто с помощью анализа графиков ROC, так называемой рабочей характеристики приемника — графиков зависимости чувствительности от доли ложных «за» [23]. Кривые ROC особенно хорошо подходят для классификаторов с непрерывным выходом, таких как Байесовские классификаторы. Кривые ROC в двумерной декартовой системе координат показывают зависимость доли истинных «за» (по оси у) от доли ложных «за» (по оси х) (рис. 4.7).

Рис. 4.7. Кривые ROC для двух классификаторов; классификатор а лучше классификатора b.

Для определенности возьмем правило Байесовского классификатора из уравнения (4.4) и представим отношение р₂/ Р как произвольный порог d > 0. Возьмем теперь d = d_{ для конкретного так что правило теперь предсказывает класс 1, если/(х)/f₂(x) > d_x. Посчитаем доли истинных и ложных «против», tp nfp, при заданном пороговом значении и отметим точку (fpl, tp) на кривой ROC. Теперь придадим d значение d₂ и сосчитаем доли tp2 и fp2 при этом пороговом значении. Если, скажем, d₂ > d_x, то доля истинных «за» может только уменьшиться, поскольку число положительных предсказаний может только уменьшиться. Доля ложных «за», вообще говоря, должна бы возрастать при d₂ > d_{, т. е. точка (fp2, ft2) будет двигаться вправо и вверх относительно предыдущей точки на графике ROC. Таким образом, шаг за шагом, меняя пороговое значение d, можно получить экспериментальную кривую ROC, такую как кривые а и b на рис. 4.7. Такая кривая может быть использована в качестве характеристики рассматриваемого классификатора для выбора, например, подходящих уровней долей истинных и ложных «за». В случае, показанном на рис. 4.7, можно с уверенностью утверждать, что классификатор а лучше классификатора Ь, потому что для каждого значения доли ложных «за» доля истинных «за» у классификатора а больше, чем у классификатора Ь.