Анализ результатов и оценка качества работы метода голосования

Оценка производительности — это экспериментальная оценка, которая измеряет способность метода классификации принимать верные решения, то есть вычисляет вероятность верной классификации.

Основными характеристиками качества классификации являются уровни ошибок первого и второго рода (error rates).

Ошибка первого рода — это «ложный пропуск» (false negative), когда интересующее нас событие ошибочно не обнаруживается.

Ошибка второго рода — «ложное обнаружение» (false positive), когда при отсутствии события ошибочно выносится решение о его присутствии.

Пусть количество объектов в тестовом наборе равно N, из них Np — кол-во «положительных» объектов, а Nn — кол-во объектов «отрицательных», где N=Nр+Nn. Пусть количество ложных пропусков FN, а ложных обнаружений FP, тогда несложно подсчитать количество верных пропусков и верных обнаружений (True Positives, True Negatives):

TP = Np — FN, (8).

TN = Nn — FP. (9).

С помощью этих величин рассчитываются нормированные уровни ошибок первого и второго рода (nFN, nFP), а также долю верно распознаваемых пропусков (nTN)) и обнаружений (nTP):

nFN=FN / Np * 100%, (10).

nFP = FP / Nn * 100%, (11).

nTN=TN / Nn * 100%, (12).

nTP=TP / Np * 100%. (13).

Данные величины наглядно отражают вероятность верного распознавания, так как не зависят в явном виде от количества объектов в тестовой выборке.

Также рассчитаем меру точности (precision) и меру отзыва (recall). Мера точности измеряет долю верных обнаружений среди всех обнаруженных объектов. Мера отзыва измеряет долю верного распознавания среди всех объектов интересующего нас класса и совпадает с nTP.

Precision=TP / (TP+FP) * 100%, (14).

Recall=TP / (TP+FN) * 100%. (15).

Проведем 2 эксперимента для одного набора данных. В первом случае оценим производительность распознавания методом голосования без опорных множеств на 12 начальных признаках (см. табл 2.1). Во втором случае оценим производительность метода с учетом опорного множества, которое определим с помощью корреляционного анализа. Были получены следующие результаты корреляции (См. табл. 3.3).

Исходя из полученных результатов было решено исключить 2 признака эксцентриситет (E) и Rmax/Rmin. Остальные признаки были сформированы в опорные множества по два признака в каждом следующим образом:

• 1. Область (A) и диаметр (D).
• 2. Периметр (Р) и компактность ©.
• 3. Максимальный радиус (Rmax) и средний радиус (Rср).
• 4. Минимальный радиус (Rmin) и отношение между Rmin и Rd (Rmin/Rd).
• 5. Дисперсия радиуса (Rd) и отношение между Rmax и Rd (Rmax/Rd).

Результаты тестирования для первого эксперимента распознавания методом голосования без опорных множеств на 12 начальных признаках по приведенным формулам представлены в табл. 3.4.

Результаты тестирования для второго экспериментов распознавания методом голосования на опорном множестве по приведенным формулам представлены в табл. 3.5.

Можно сделать вывод, что формирование признаков в опорные множества для метода голосования показывает более высокие результаты. В среднем доля по количеству ошибок первого рода составляет 12%. Средняя доля правильно распознаваемых изображений составляет 88%.

Таблица 3.3. Корреляционный анализ признаков.

Таблица 3.4. Оценка качества работы распознавания для 1 эксперимента.

Таблица 3.5. Оценка качества работы распознавания для 2 эксперимента.

В данной главе описаны механизмы реализации системы: предобработка изображения, вычисления значений признаков и классификация объектов. Рассмотрены работа функций библиотеки компьютерного зрения OpenCV, производящих предварительную обработку изображений и вычисление некоторых значений признаков, а также работа метода голосования. Из всех имеющихся функций по обработке изображений для программы были выбраны в основном самые эффективные.

На этапе предобработки изображений на изображениях верно детектируются контуры 100% пыльцевых зерен.

На обучение на 120 изображениях уходит в среднем от 1,9 до 2 секунд.

На распознавание 10 изображений примерно 1 секунда.

Распознавание методом голосования показывает результаты выше среднего. В среднем, верно распознаются 88% пыльцевых зерен. Доля ошибок второго рода составляет 20%, доля ошибок первого рода — 12%.

Подавляющее большинство случаев неправильной классификации приходится на пыльцевые зерна имеющие схожую форму и размер.