Математическая модель метода распознавания образов и принятия решений, основанного на системной теории информации

Решение задачи 1: «Синтез семантической информационной модели активного объекта управления» .

Исходные данные для выявления взаимосвязей между факторами и состояниями объекта управления предлагается представить в виде корреляционной матрицы — матрицы абсолютных частот (таблица 1).

В этой матрице в качестве классов (столбцов) приняты будущие состояния объекта управления как целевые, так и нежелательные, а в качестве атрибутов (строк) — факторы, которые разделены на три основных группы, математически обрабатываемые единообразно: факторы, характеризующие текущие и прошлые состояния объекта управления; управляющие факторы системы управления; факторы, характеризующие прошлые, текущие и прогнозируемые состояния окружающей среды. Отметим, что форма таблицы 1 является универсальной для представления и обобщения фактов — эмпирических данных в единстве их дискретного и интегрального представления (причины — следствия, факторы — результирующие состояния, признаки — обобщенные образы классов, образное — логическое и т. п.).

Управляющие факторы объединяются в группы, внутри каждой из которых они альтернативны (несовместны), а между которыми нет (совместны). В этом случае внутри каждой группы выбирают одно из доступных управляющих воздействий с максимальным влиянием. Варианты содержательной информационной модели без учета прошлых состояний объекта управления и с их учетом аналогичны, соответственно, простым и составным цепям Маркова, автоматам без памяти и с памятью.

В качестве количественной меры влияния факторов, предложено использовать обобщенную формулу А. Харкевича (6), полученную на основе предложенной эмерджентной (системной) теории информации:

При этом по формуле (6) непосредственно из матрицы абсолютных частот (см. таблицу 1) рассчитывают матрицу информативностей (таблица 2), которая представляет собой основу содержательной информационной модели предметной области.

Весовые коэффициенты (6) таблицы 2 непосредственно определяют, какое количество информации Iij система управления получает о наступлении события: «активный объект управления перейдет в j-е состояние», из сообщения: «на активный объект управления действует i-й фактор» .

Принципиально важно, что эти весовые коэффициенты не определяются экспертами неформализуемым способом, а рассчитываются непосредственно на основе эмпирических данных и удовлетворяют всем ранее сформулированным требованиям, т. е. являются сопоставимыми, содержательно интерпретируемыми, отражают понятия «достижение цели управления» и «мощность множества будущих состояний объекта управления» и т. д.

В работе [1] показано, что предложенная информационная мера обеспечивает сопоставимость индивидуальных количеств информации, содержащейся в факторах (независимо от их природы) о классах, а также сопоставимость интегральных критериев, рассчитанных для одного объекта и разных классов, для разных объектов и разных классов.

Когда количество информации Iij>0 — i-й фактор способствует переходу объекта управления в j-е состояние, когда Iij<0 — препятствует этому переходу, когда же Iij=0 — никак не влияет на это. В векторе i-го фактора (строка матрицы информативностей) отображается, какое количество информации о переходе объекта управления в каждое из будущих состояний содержится в том факте, что данный фактор действует. В векторе j-го состояния класса (столбец матрицы информативностей) отображается, какое количество информации о переходе объекта управления в соответствующее состояние содержится в каждом из факторов.

Таким образом, матрица информативностей (см таблицу 2) является обобщенной таблицей решений, в которой входы (факторы) и выходы (будущие состояния АОУ) связаны друг с другом не с помощью классических (Аристотелевских) импликаций, принимающих только значения: «Истина» и «Ложь», а различными значениями истинности, выраженными в битах и принимающими значения от положительного теоретически-максимально-возможного («Максимальная степень истинности»), до теоретически неограниченного отрицательного («Степень ложности»).

Фактически предложенная модель позволяет осуществить синтез обобщенных таблиц решений для различных предметных областей непосредственно на основе эмпирических исходных данных и продуцировать на их основе прямые и обратные правдоподобные (нечеткие) логические рассуждения по неклассическим схемам с различными расчетными значениями истинности, являющимися обобщением классических импликаций (таблица 3).

Приведем пример более сложного высказывания, которое может быть рассчитано непосредственно на основе матрицы информативностей, которая, по сути, является обобщенной таблицей решений (см. таблицу 2).

Если A со степенью истинности (A, B) детерминирует B и если С со степенью истинности (C, D) детерминирует D, и A совпадает по смыслу с C со степенью истинности (A, C), то это вносит вклад в совпадение B с D, равный степени истинности (B, D).

При этом в прямых рассуждениях как предпосылки рассматриваются факторы, а как заключение — будущие состояния АОУ, а в обратных — наоборот: как предпосылки — будущие состояния АОУ, а как заключение — факторы. Степень истинности i-й предпосылки — это просто количество информации Iij, содержащейся в ней о наступлении j-го будущего состояния АОУ. Если предпосылок несколько, то степень истинности наступления j-го состояния АОУ равна суммарному количеству информации, содержащемуся в них об этом. Количество информации в i-м факторе о наступлении j-го состояния АОУ рассчитывается в соответствии с выражением (6) СТИ.

Прямые правдоподобные логические рассуждения позволяют прогнозировать степень достоверности наступления события по действующим факторам, а обратные — по заданному состоянию восстановить степень необходимости и степень нежелательности каждого фактора для наступления этого состояния, т. е. принимать решение по выбору управляющих воздействий на АОУ, оптимальных для перевода его в заданное целевое состояние.

Необходимо отметить, что предложенная модель, основывающаяся на теории информации, обеспечивает автоматизированное формирования системы нечетких правил по содержимому входных данных, как и комбинация нечеткой логики Заде — Коско с нейронными сетями Кохонена. Принципиально важно, что качественное изменение модели путем добавления в нее новых классов не уменьшает достоверности распознавания уже сформированных классов. Кроме того, при сравнении распознаваемого объекта с каждым классом учитываются не только признаки, имеющиеся у объекта, но и отсутствующие у него, поэтому предложенной моделью правильно идентифицируются объекты, признаки которых образуют множества, одно из которых является подмножеством другого (как и в Неокогнитроне К. Фукушимы) [1].

Данная модель позволяет прогнозировать поведение АОУ при воздействии на него не только одного, но и целой системы факторов:

В теории принятия решений скалярная функция Ij векторного аргумента называется интегральным критерием. Основная проблема состоит в выборе или нахождении такого аналитического вида функции интегрального критерия, который обеспечил бы эффективное решение сформулированной выше задачи АСУ.

Учитывая, что частные критерии (6) имеют смысл количества информации, а информация, по определению, является аддитивной функцией, предлагается ввести интегральный критерий как аддитивную функцию от частных критериев в виде:

В выражении (8) в круглых скобках обозначено скалярное произведение. В координатной форме это выражение имеет вид:

где.

— вектор j-го состояния объекта управления;

— вектор состояния предметной области, включающий все виды факторов, характеризующих объект управления, возможные управляющие воздействия и окружающую среду (массив — локатор), т. е.

В реализованной модели значения координат вектора состояния предметной области принимались равными либо 1 (фактор действует), либо 0 (фактор не действует).

Таким образом, интегральный критерий представляет собой суммарное количество информации, содержащееся в системе факторов различной природы (т.е. факторах, характеризующих объект управления, управляющее воздействие и окружающую среду) о переходе активного объекта управления в будущее (в т.ч. целевое или нежелательное) состояние.

В многокритериальной постановке задача идентификации, распознавания или прогнозирования состояния объекта управления, при оказании на него заданного многофакторного управляющего воздействия Ij, сводится к максимизации интегрального критерия:

т.е. к выбору такого состояния объекта управления, для которого интегральный критерий максимален.

Задача принятия решения о выборе наиболее эффективного управляющего воздействия является обратной задачей по отношению к задаче максимизации интегрального критерия (идентификации и прогнозирования), т. е. вместо того, чтобы по набору факторов прогнозировать будущее состояние активного объекта управления (АОУ), наоборот, по заданному (целевому) состоянию АОУ определяется такой набор факторов, который с наибольшей эффективностью перевел бы объект управления в это состояние.

Предлагается еще одно обобщение этой фундаментальной леммы, основанное на косвенном учете корреляций между информативностями в векторе состояний при использовании средних по векторам. Соответственно, вместо простой суммы количеств информации предлагается использовать корреляцию между векторами состояния и объекта управления, которая количественно измеряет степень сходства этих векторов:

где.

— средняя информативность по вектору класса;

— среднее по вектору идентифицируемой ситуации (объекта);

— среднеквадратичное отклонение информативностей вектора класса;

— среднеквадратичное отклонение по вектору распознаваемого объекта.

Выражение (11) получается непосредственно из (9) после замены координат перемножаемых векторов их стандартизированными значениями:

Необходимо отметить, что выражение для интегрального критерия сходства (11) по своей математической форме является корреляцией двух векторов. Это означает, что если вектора являются суммой двух сигналов: полезного и белого шума, то при расчете интегрального критерия белый шум практически не будет играть никакой роли, т. е. его корреляция с самим собой равна нулю по определению. Это означает, что выбранный интегральный критерий сходства является высокоэффективным средством подавления белого шума и выделения полезной информации из шума, который неизбежно присутствует в эмпирических данных.

Важно также отметить неметрическую природу интегрального критерия, благодаря чему является корректным его применение при неортонормированном семантическом информационном пространстве, т. е. в общем случае.

Результат прогнозирования поведения объекта управления, описанного данной системой факторов, представляет собой список его возможных будущих состояний, в котором они расположены в порядке убывания суммарного количества информации о переходе объекта управления в каждое из них.

Зависимость уровня системности модели от ее ортонормированности Рассмотрим выражение (12):

При выполнении операции ортонормирования по классам из модели последовательно удаляют те из них, которые наиболее сильно корреляционно связаны друг с другом. В результате, в модели остаются классы, практически не коррелирующие, т. е. ортонормированные. Поэтому предположим, что в результате ортонормирования правила запрета на образование подсистем классов становятся более жесткими, и уровень системности модели уменьшается.

Зависимость степени детерминированности модели от ее ортонормированности Рассмотрим выражение (13):

Так как каждый класс, как правило, описан более чем одним признаком, то при ортонормировании классов и удалении некоторых из них из модели суммарное количество признаков N будет уменьшаться быстрее, чем количество классов W, поэтому степень детерминированности будет возрастать.

При ортонормировании атрибутов числитель выражения (13) не изменяется, а знаменатель уменьшается, поэтому и в этом случае степень детерминированности возрастает.

Таким образом, ортонормирование модели приводит к увеличению степени ее детерминированности. По этой причине предлагается считать «детерминированностью» и «системностью» модели не их значения в текущем состоянии модели, а тот предел, к которому стремятся эти величины при корректном ортонормировании модели при достижении ею максимума адекватности.

Взаимосвязь системной меры целесообразности информации со статистикой 2 и новая мера уровня системности предметной области.

Статистика 2 представляет собой сумму вероятностей совместного наблюдения признаков и объектов по всей корреляционной матрице или определенным ее подматрицам (т.е. сумму относительных отклонений частот совместного наблюдения признаков и объектов от среднего):

где.

Nij — фактическое количество встреч i-го признака у объектов j-го класса;

t — ожидаемое количество встреч i-го признака у объектов j-го класса.

Отметим, что статистика 2 математически связана с количеством информации в системе признаков о классе распознавания в соответствии с системным обобщением формулы Харкевича для плотности информации (6):

а именно, из (15) и (16) получаем:

Из (17) очевидно:

Сравнивая выражения (14) и (18), видим, что числитель в выражении (14) под знаком суммы отличается от выражения (18) только тем, что в выражении (18) вместо значений Nij и t взяты их логарифмы. Так как логарифм является монотонно возрастающей функцией аргумента, то введение логарифма не меняет общего характера поведения функции.

Фактически это означает, что:

Если фактическая вероятность наблюдения i-го признака при предъявлении объекта j-го класса равна ожидаемой (средней), то наблюдение этого признака не несет никакой информации о принадлежности объекта к данному классу. Если она выше средней, то это свидетельствует в пользу того, что предъявлен объект данного класса, если ниже — то другого.

Поэтому наличие статистической связи (информации) между признаками и классами распознавания, т. е. отличие вероятностей их совместных наблюдений от предсказываемого в соответствии со случайным нормальным распределением, приводит к увеличению фактической статистики 2 по сравнению с теоретической величиной.

Из этого следует возможность использования в качестве количественной меры степени выраженности закономерностей в предметной области не матрицы абсолютных частот и меры 2, а новой меры H, основанной на матрице информативностей и системном обобщении формулы Харкевича для количества информации:

Где.

Меру H в выражении (20) предлагается назвать обобщенным критерием степени сформированности модели Харкевича.

Значение данной меры показывает среднее отличие количества информации в факторах о будущих состояниях активного объекта управления от среднего количества информации в факторе (которое при больших выборках близко к 0). По своей математической форме эта мера сходна с мерами для значимости (интегральной информативности) факторов и степени сформированности образов классов и коррелирует с объемом неортонормированного семантического информационного пространства классов и семантического информационного пространства атрибутов.

Вышеописанная математическая модель обеспечивает инвариантность результатов ее синтеза относительно следующих параметров обучающей выборки: суммарное количество и порядок ввода анкет обучающей выборки; количество анкет обучающей выборки по каждому классу распознавания; суммарное количество признаков во всех анкетах обучающей выборки; суммарное количество признаков по эталонным описаниям различных классов распознавания; количество признаков и их порядок в отдельных анкетах обучающей выборки.

Это обеспечивает высокую степень качества решения задач системой распознавания на неполных и разнородных (в вышеперечисленных аспектах) данных как обучающей, так и распознаваемой выборки, т. е. при таких статистических характеристиках потоков этих данных, которые чаще всего и встречается на практике и которыми невозможно или очень сложно управлять.

Сравнение, идентификация и прогнозирование как разложение векторов объектов в ряд по векторам классов (объектный анализ) В разделе 3.2.3 [1] были введены неметрические интегральные критерии сходства объекта, описанного массивом-локатором Li с обобщенными образами классов Iij (выражения 7- 9):

В выражении (21) круглыми скобками обозначено скалярное произведение. В координатной форме выражение (21) имеет вид:

где.

— вектор j-го состояния объекта управления;

— вектор состояния предметной области, включающий все виды факторов, характеризующих объект управления, возможные управляющие воздействия и окружающую среду (массив-локатор), т. е.:

Для непрерывного случая выражение (22) принимает вид:

Таким образом, выражение (23) представляет собой вариант выражения (22) интегрального критерия сходства объекта и класса для непрерывного случая в координатной форме.

Отметим, что коэффициенты ряда Фурье по своей математической форме и смыслу сходны с ненормированными коэффициентами корреляции, т. е. по сути скалярными произведениями для непрерывных функций в координатной форме: выражение (23) между разлагаемой в ряд кривой f (x) и функциями Sin и Сosразличных частот и амплитуд на отрезке [-L, L] [1].

Из сравнения выражений (23) и (24) следует вывод о том, что процесс идентификации и прогнозирования (распознавания) реализованный в предложенной математической модели, может рассматриваться как разложение вектора-локатора распознаваемого объекта в ряд по векторам информативностей классов распознавания (которые представляют собой произвольные функции, сформированные при синтезе модели на основе эмпирических данных).

где n={1, 2, 3,…} - натуральное число.

Например, результаты идентификации представим на рисунке.

Продолжая развивать аналогию с разложением в ряд, данный результат идентификации можно представить в векторной аналитической форме:

или в координатной форме, более удобной для численных расчетов:

где.

I (j) — интегральный критерий сходства массива-локатора, описывающего состояние объекта и j-го класса, рассчитываемый, согласно выражению (26):

I (i, j) — вектор обобщенного образа j-го класса, координаты которого рассчитываются в соответствии с системным обобщением формулы Харкевича (27):

Примечание: обозначения I (i, j) и Iij, и т. п. эквивалентны. Смысл всех переменных, входящих в выражения (27) и (26) раскрыт в разделе 3.1.3 работы [1].

При дальнейшем развитии данной аналогии естественно возникают вопросы: о полноте, избыточности и ортонормированности системы векторов классов как функций, по которым проводится разложение вектора объекта; о сходимости, т. е. вообще возможности и корректности такого разложения.

В общем случае вектор объекта совершенно не обязательно должен разлагаться в ряд по векторам классов таким образом, что сумма ряда во всех точках точно совпадала со значениями исходной функции. Это означает, что система векторов классов может быть неполна по отношению к профилю распознаваемого объекта, и, тем более, всех возможных объектов.

Предлагается считать не разлагаемыев ряд, т. е. плохо распознаваемые объекты, суперпозициейхорошо распознаваемых объектов («похожих» на те, которые использовались для формирования обобщенных образов классов), и объектов, которые и не должны распознаватьсятак как объекты этого типа не встречались в обучающей выборке и не использовались для формирования обобщенных образов классов, а также не относятся к представляемой обучающей выборкой генеральной совокупности.

Нераспознаваемую компоненту можно рассматривать либо как шум, либо считать ее полезным сигналом, несущим ценную информацию о неисследованных объектах интересующей нас предметной области (в зависимости от целей и тезауруса исследователей). Первый вариант не приводит к осложнениям, так как примененный в математической модели алгоритм сравнения векторов объектов и классов, основанный на вычислении нормированной корреляции Пирсона (сумма произведений), является весьма устойчивым к наличию белого шума в идентифицируемом сигнале. Во втором варианте необходимо дообучить систему распознаванию объектов, несущих такую компоненту (в этой возможности и заключается адаптивность модели Технически этот вопрос решается просто копированием описаний плохо распознавшихся объектов из распознаваемой выборки в обучающую их идентификацией экспертами и дообучением системы. Кроме того, может быть целесообразным расширить справочник классов распознавания новыми классами, соответствующими этим объектам.

Однако на практике гораздо чаще наблюдается противоположная ситуация (можно даже сказать, что она типична), когда система векторов избыточна, т. е. в системе классов распознавания есть очень похожие классы (между которыми имеет место высокая корреляция, наблюдаемая в режиме: «кластерноконструктивный анализ»). Практически это означает, что в системе сформировано несколько практически одинаковых образов с разными наименованиями. Для исследователя это само по себе является очень ценной информацией. Однако если исходить только из потребности разложения распознаваемого объекта в ряд по векторам классов (чтобы определить суперпозицией каких образов он является, т. е. «разложить его на компоненты»), то наличие сильно коррелирующих друг с другом векторов представляется неоправданным, так как просто увеличивает размерности данных, внося в них мало нового по существу. Поэтому возникает задача исключения избыточности системы классов распознавания, т. е. выбора из всей системы классов распознавания такого минимального их набора, в котором профили классов минимально коррелируют друг с другом, т. е. ортогональны в фазовом пространстве признаков. Это условие в теории рядов называется «ортонормируемостью системы базовых функций, а в факторном анализе связано с идеей выделения «главных компонент» .

В предлагаемой математической модели реализованы два варианта выхода из данной ситуации:

• 1) исключение неформирующихся расплывчатых классов;
• 2) объединение почти идентичных по содержанию (дублирующих друг друга) классов.

Однако выбрать нужный вариант и реализовать его, используя соответствующие режимы, пользователь технологии АСК-анализа должен сам. Вся необходимая и достаточная информация для принятия соответствующих решений предоставляется пользователю инструментария АСК-анализа.

Если считать, что функции образов составляют формально-логическую систему, к которой применима теорема Геделя то можно сформулировать эту теорему для данного случая следующим образом: «Для любой системы базисных функций в принципе всегда может существовать по крайней мере одна такая функция, что она не может быть разложена в ряд по данной системе базисных функций, т. е. функция, которая является ортонормированной ко всей системе базисных функций в целом». Поэтому для адекватного отражения подобных функций в модели необходимо повышение размерности семантического информационного пространства.

Очевидно, не взаимосвязанными друг с другом могут быть только четко оформленные, детерминистские образы т. е. образы с высокой степенью редукции («степень сформированности конструкта Поэтому в процессе выявления взаимно-ортогональных базисных образов, в первую очередь, будут выброшены аморфные «расплывчатые» образы, которые связаны практически со всеми остальными образами.

В некоторых случаях результат такого процесса представляет интерес, и это делает оправданным его реализацию. Однако можно предположить, что наличие расплывчатых образов в системе является оправданным, так как в этом случае система образов не будет формальной и подчиняющейся теореме Геделя. Следовательно, система распознавания будет более полна в том смысле, что увеличится вероятность идентификации любого объекта, предъявленного ей на распознавание Конечно, уровень сходства с аморфным образом не может быть столь высоким, как с четко оформленным. Поэтому в этом случае более уместно применить термин «ассоциация» или нечеткая, расплывчатая идентификация, чем «однозначная идентификация» .

Итак, можно сделать следующий вывод: допустимость в математической модели СК-анализа не только четко оформленных (детерминистских) образов, но и образов аморфных, нечетких, расплывчатых является важным достоинством данной модели. Это обусловлено тем, что данная модель обеспечивает корректные результаты анализа, идентификации и прогнозирования даже в тех случаях, когда модели идентификации и информационно-поисковые системы детерминистского типа традиционных АСУ практически неработоспособны. В этих условиях данная модель СК-анализа работает как система ассоциативной (нечеткой) идентификации.

Таким образом, в предложенной семантической информационной модели при идентификации и прогнозировании, по сути, осуществляется разложение векторов идентифицируемых объектов по векторам классов распознавания т. е. осуществляется «объектный анализ» (по аналогии с спектральным, гармоническим или Фурье-анализом), что позволяет рассматривать идентифицируемые объекты как суперпозицию обобщенных образов классов различного типа с различными амплитудами (25). При этом вектора обобщенных образов классов, с математической точки зрения, представляют собой произвольные функции и не обязательно образуют полную и не избыточную (ортонормированную) систему функций.

Для любого объекта всегда существует такая система базисных функций, что вектор объекта может быть представлен в форме линейной суперпозиции (суммы) этих базисных функций с различными амплитудами. Это утверждение, по-видимому, является одним из следствий фундаментальной теоремы А. Н. Колмогорова, доказанной им в 1957 году (О представлении непрерывных функций нескольких переменных в виде суперпозиций непрерывных функций одного переменного и сложения // Докл. АН СССР, Т. 114, С. 953−956, 1957).

Теорема Колмогорова: Любая непрерывная функция от n переменных F (x1, x2, …, xn) может быть представлена в виде:

где gj и hij — непрерывные функции, причем hij не зависят от функции F.

Эта теорема означает, что для реализации функций многих переменных достаточно операций суммирования и композиции функций одной переменной. Удивительно, что в этом представлении лишь функции gj зависят от представляемой функции F, а функции hij универсальны. Необходимо отметить, что теорема Колмогорова является обобщением теоремы В. И. Арнольда (1957), которая дает решение 13-й проблемы Гильберта.

К сожалению, определение вида функций HIJ и GJ для данной функции F представляет собой математическую проблему, для которой пока не найдено общего строгого решения.

В данной работе предлагается рассматривать предлагаемую семантическую информационную модель как один из вариантов решения этой проблемы. В этом контексте функция F интерпретируется как образ идентифицируемого объекта, функция hij — образ j-го класса, а функция gj — мера сходства образа объекта с образом класса.