Синтез и верификация модели

Таким образом, этап формализации предметной области подготавливает все необходимо для синтеза и верификации моделей, что осуществляется в режиме 3.5 системы «Эйдос» (рисунок 8):

Рисунок 8. Экранная форма управления режимом синтеза.

и верификации моделей системы «Эйдос».

На рисунке 9 показала экранная форма, отображающая процесс исполнения режима синтеза и верификации моделей с указанием исполняемых функций и прогнозом времени исполнения:

Рисунок 9. Экранная форма, отображения процесса исполнения.

режима синтеза и верификации моделей Расчет моделей ведется в порядке, приведенном на рисунке 1:

• — сначала на основе непосредственно обучающей выборки рассчитывается матрица абсолютных частот (ABS);
• — затем рассчитываются разными способами матрицы условных и безусловных процентных распределений (PRC1 и PRC2);
• — после этого на основе матрицы ABS или матриц PRC1 и PRC2 по формулам, приведенным в таблице 2, рассчитываются модели знаний: INF1, INF2, INF3, INF4, INF5, INF5 и INF7.

Таблица 2 -. Частные критерии знаний, используемые в настоящее время в СК-анализе и системе «Эйдос-Х++».

Обозначения:

i — значение прошлого параметра;

j — значение будущего параметра;

Nij — количество встреч j-го значения будущего параметра при i-м значении прошлого параметра;

M — суммарное число значений всех прошлых параметров;

W — суммарное число значений всех будущих параметров.

Ni — количество встреч i-го значения прошлого параметра по всей выборке;

Nj — количество встреч j-го значения будущего параметра по всей выборке;

N — количество встреч j-го значения будущего параметра при i-м значении прошлого параметра по всей выборке.

Iij — частный критерий знаний: количество знаний в факте наблюдения i-го значения прошлого параметра о том, что объект перейдет в состояние, соответствующее j-му значению будущего параметра;

Ш — нормировочный коэффициент (Е.В.Луценко, 2002), преобразующий количество информации в формуле А. Харкевича в биты и обеспечивающий для нее соблюдение принципа соответствия с формулой Р. Хартли;

Pi — безусловная относительная частота встречи i-го значения прошлого параметра в обучающей выборке;

Pij — условная относительная частота встречи i-го значения прошлого параметра при j-м значении будущего параметра .

На рисунке 10 и в таблицах 3, 4, 5 и 6 приведены соответственно фрагменты моделей ABS, PRC2, INF1 и INF3:

Рисунок 10. Экранная форма режима 5.5 системы «Эйдос», отображающая фрагмент модели ABS.

Таблица 3 — Матрица абсолютных частот (фрагмент) Таблица 4 — Условные и безусловные процентные распределения, модель PRC2 (фрагмент) Таблица 5 — Матрица информативностей модели INF1 (частный критерий — семантическая мера количества информации по А. Харкевичу в миллибитах) (фрагмент) Таблица 6 — Матрица информативностей модели INF3.

(частный критерий — Хи-квадрат) (фрагмент) Полностью эти модели приведены быть не могут из-за большой размерности.

Матрицы информативностей содержат результаты сравнения условных и безусловных процентных распределений, т. е. система «Эйдос» автоматизирует работу, которую обычно «вручную», т. е. с помощью своего естественного интеллекта, выполняет аналитик [19, 33].

Результаты измерения достоверности созданных моделей приведены на рисунке 11. Из этого рисунка мы видим, что:

• — модели знаний INF1-INF7 обладают значительно более высокой достоверностью, чем статистические модели ABS, PRC1 и PRC2. Эта ситуация наблюдается в большинстве исследований [1−33] и в этом и состоит смысл использования моделей знаний;
• — в модели INF1 достоверность верной идентификации составляет 61.7%, а верной не идентификации 58,1%. Много это или мало, достаточно ли для целей нашего исследования или нет?

Рисунок 11. Результаты измерения достоверности созданных моделей Пояснения по смыслу рисунка 11 даны в рисунке 12:

Рисунок 12. Виды прогнозов и ошибки 1-го и 2-го рода Таблица 7 — Информация о достоверности модели INF1 (частный критерий — семантическая мера количества информации по А. Харкевичу, интегральный критерий — сумма знаний) (фрагмент).

Таблица 7 создана на основе баз данных, формируемых системой «Эйдос» в режиме 4.1.3.8 по данным режима 3.5. Из этой таблицы мы видим, что вероятность правильного отнесения и правильного не отнесения статей к годам с помощью модели INF1 с интегральным критерием «Сумма знаний» [33] примерно в 10 раз выше, чем если делать это случайным образом. Для наших целей этого достаточно.