Численный пример применения L-меры и сравнение L-меры с F-мерой

Кратко рассмотрим простой численный пример, наглядно иллюстрирующий вышеизложенные теоретические положения.

Для численного примера используем лабораторную работу 3.03, встроенную в интеллектуальную систему «Эйдос», которая является программным инструментарием АСК-анализа.

Для этого скачиваем систему «Эйдос» с сайта автора по адресу: http://lc.kubagro.ru/aidos/_Aidos-X.htm и запускаем ее, следуя инструкциям на сайте.

Затем в режиме 1.3 устанавливаем лабораторную работу 3.03, следуя инструкциям системы с параметрами по умолчанию. При этом в приведенной последовательности будут открываться следующие экранные формы, представленные на рисунке 1:

Рисунок 1. Экранные формы системы «Эйдос», открывающиеся при установке встроенной лабораторной работы 3.03.

Исходные данные для построения модели.

Структура таблицы исходных данных 1 соответствует требованиям системы «Эйлос», представленным в Help на рисунке 2:

Рисунок 2. Help программного интерфейса ввода данных из внешних баз данных системы «Эйдос».

Каждая строка таблицы содержит информацию об одном физическом объекте обучающей выборки. Классификационные шкалы выделены желтым фоном и представляют собой способы группировки объектов для формирования классов. Классы представляют собой градации классификационных кал. Каждый физический объект обучающей выборки включает два логических объекта, относящихся к конкретным и обобщающим классам. Поэтому получается, что 20 физических объектов в таблице представлены в форме 40 логических объектов.

На рисунке 3 представлены классификационные шкалы и градации, а на рисунке 4 — описательные шкалы и градации:

Рисунок 3. Классификационные шкалы и градации.

Рисунок 4. Описательные шкалы и градации На рисунке 5 представлена обучающая выборка, представляющая собой нормализованную с помощью справочников классификационных и описательных шкал и градаций (рисунки 3. 4) таблицу исходных данных (таблица):

Рисунок 5. Обучающая выборка Синтез и верификация моделей осуществляется в режиме 3.5 (рисунок 6):

Рисунок 6. Экранная форма режима 3.5 системы «Эйдос».

На рисунке 7 приведена экранная форма режима 3.5 с отображением стадии исполнения синтеза и верификации моделей:

Рисунок 7. Экранная форма режима 3.5 с отображением стадии исполнения синтеза и верификации моделей На рисунке 8 приведена выходная экранная форма с отображением результатов верификации моделей с применением классической F-меры Ван Ризбергена и L-меры проф.Е. В. Луценко, которая представляет собой ее нечеткое мультиклассовое обобщение.

Из сравнения значений F-меры и L-меры мы видим, что L-мера имеет большие значения. Это обусловлено тем, что при истинных результатах классификации (как идентификации, так и неидентификации), уровень сходства-различия выше, чем при ложных результатах классификации, в классической F-мере это не учитывается.

Это наглядно видно на форме, представленной на рисунке 9.

Рисунок 8. Выходная экранная форма с отображением результатов верификации моделей с применением классической F-меры Ван Ризбергена и L-меры проф.Е. В. Луценко, которая представляет собой ее нечеткое мультиклассовое обобщение.

Рисунок 9. Частотное распределение уровней сходства верно и ошибочно идентифицированных и неидентифицированных объектов обучающей выборки при их сравннии со всеми классами в наиболее достоверной модели INF4.

Из рисунка 9 видно, что:

• -в модели INF4 встречаются только положительные ошибочные решения;
• — при ошибочных решениях (синий цвет графика) уровень сходства объектов с классами не превосходит 45%, а при истинных он достигает, 100%;
• — при отрицательных решениях в модели INF4 уровень различия по модулю значительно выше, чем сходства при положительных.

Поэтому если при положительных решениях игнорировать те из из них, которые с уровнем сходства ниже 45%, то модель вообще не будет иметь ложных решений. При использовании классической F-меры Ван Ризбергена аналогичная возможность вообще отсутствует в принципе.

На рисунке 10 приведен Help режима вывода результатов верификации моделей.

Рисунок 10. Help режима 4.1.3.6 системы «Эйдос».

В соответствии с порядком преобразования данных в информацию, а ее в знания, в соответствии с которым построена система «Эйдос» (рисунок 11), наиболее достоверная модель делается текущей и в ней решаются все задачи АСК-анализа:

• — классификации, прогнозирования, идентификации, диагностики, распознавания;
• — поддержки принятия решений;
• — исследования моделируемой предметной области путем исследования ее модели:

Рисунок 11. Порядок преобразования данных в информацию, а ее в знания, в соответствии с которым построена система «Эйдос».

Различные модели отличаются частными критериями знаний [9].

В соответствии с этой схемой и рисунком 8 установим в качестве текущей модель INF4 (рисунок 12):

Рисунок 12. Присвоение наиболее достоверной модели статуса текущей модели Пакетное распознавание в наиболее достоверной модели INF4 (рисунок 13):

Рисунок 13. Экранная форма, отражающая процесс пакетного распознавания в наиболее достоверной модели INF4.

На рисунке 14 приведен фрагмент меню системы «Эйдос», на котором показаны режимы отображения результатов распознавания:

Рисунок 14. Фрагмент меню системы «Эйдос», на котором показаны режимы отображения результатов распознавания На рисунке 15 мы видим один из этих результатов классификации, отображаемых в режиме 4.1.3.2:

Рисунок 15. Одна из выходных форм система «Эйдос» с отображением результатов классификации в наиболее достоверной модели INF4.

На рисунке 15 мы видим три ложно-положительных решения, но мы и видим также, что уровни сходства объектов с классом при этих решениях значительно (в разы) меньше, чем при истино-положительных решениях (отмечены «птичкой»). Из предыдущего изложения ясно, что F-мера не учитывает этого существенного обстоятельства и этот ее недостаток преодолевается предложенной в данной работе L-мерой.

На рисунках 16 выходные формы по результатам классификации с расчетом F-меры и L-меры для классов и объектов тестовой выборки.

Необходимо отметить также, что все выходные экранные формы в системе «Эйдос» просто визуализируют в окнах специально созданные выходные базы данных DBF-стандарта, которые открываются всеми версиями MS Excel и практически готовы для печати.

Рисунок 16. Выходные экранные формы по результатам классификации с расчетом F-меры и L-меры для классов и объектов тестовой выборки.