Введение. О схеме взаимодействия в комплексе "Анализ и синтез естественного языка и изображений"

Данная работа является продолжением рассмотрения вопросов по проекту с условным названием «естественный язык (ЕЯ) + зрение + рисование», в котором ставится задача интеграции разномодальных систем искусственного интеллекта: систем анализа/синтеза естественного языка и изображений [Хахалин и др., 2008].

Связующим данные системы звеном является общая для них прикладная онтология, представленная на языке семантического гиперграфа. В качестве прикладной области выбрана «Планиметрия» — область, изобилующая как изображениями (плоские фигуры и их комбинации), так и текстовыми описаниями объектов реальной среды.

В данной работе рассматриваются некоторые особенности интегрируемых систем для предварительного выбора кандидатов на включение в комплекс и схемы взаимодействия систем при различных режимах работы.

Требования к компонентам комплекса

Комплекс состоит из прикладной онтологии, двух систем анализа и двух систем синтеза. Системы анализа должны выдавать результаты своей работы на языке прикладной онтологии — на языке семантического гиперграфа, который описан в [Хахалин, 2009]. А для систем синтеза этот язык является входным, т. е. эти системы должны «понимать» язык семантического гиперграфа, на котором задаются описания синтезируемых ситуаций.

Язык семантического гиперграфа является расширением семантических сетей, где естественным образом представляются n-арные отношения, которые позволяют задавать не только атрибуты объектов, но и представлять их структурные, «целостные» описания. На нем можно в зависимости от типов связей реализовывать классифицирующие, функциональные, ситуационные, структурные сети и сценарии. На наш взгляд этот язык наиболее адекватен для представления знаний в интегральной системе искусственного интеллекта.

Следует сразу подчеркнуть, что каждая система внутри себя может обладать своими языками представления знаний и базами знаний, необходимыми им для внутренней работы. Например, системы анализа и синтеза ЕЯ-текста имеют морфологическую и синтаксическую модели, которые являются специфическими только для данных систем.

Исходя из функциональной структуры комплекса, опишем некоторые особенности каждой из систем и возможности их выбора из реально существующих для включения в комплекс. При этом отметим, что на сегодняшний день нет систем, полностью отвечающих предъявляемым требованиям, которые можно было бы по технологии «plug and play» интегрировать в комплекс.

Система концептуального анализа изображений. Сегментация изображения на отдельные фрагменты, а также интерпретация этих фрагментов осуществляются непосредственно в ходе анализа изображения (этапы предварительной сегментации и описания отсутствуют). Процесс анализа носит итеративный характер: выдвигается гипотеза о присутствии в определенном месте изображения представителя того или иного класса анализируемых объектов; проверяется выдвинутая гипотеза, т. е. осуществляется целенаправленный поиск непосредственно на входном изображении совокупности элементов, удовлетворяющих структурному описанию; и принимается решение о справедливости той или иной гипотезы.

В качестве систем, обеспечивающих в разной степени «нижние и верхние» уровни анализа можно привести систему IcadGT (фирма recsoft Inc) [IcadGT] и программный продукт Raster Arts (фирмы CSoft) [CSoft]. А процедуры, организующие распознавание «непроизводных» объектов («отрезок прямой», «угол», «дуга» и т. п.), обеспечиваются с помощью машинного обучения [Naidenova, 2009].

Система концептуального синтеза изображений. Задача построения фигуры по имени, структуре и по означенным параметрам решается путем вычисления координат вершин и составления общепринятого в машинной графике описания.

Система должна избегать возможных коллизий, т. е. реагировать на недостаток и противоречивость данных означивания, а, следовательно, невозможность однозначного вычисления экземпляра фигуры. При этом она выдает сообщение и список параметров, которые противоречат друг другу или системе не удается их вычислить.

В качестве системы, обеспечивающей «нижний» уровень графического синтеза можно привести программный продукт Autodesk (фирмы CSoft) [CSoft]. А в качестве концептуальной надстройки над ним предполагается использовать наработки при создании экспериментальных систем ТЕКРИС (ВЦ РАН) и ПСИ [Власов и др., 1988].

Система лингвистического анализа естественного языка. Задача анализа текста заключается в построении по ЕЯ-тексту концептуальной структуры описания ситуации в терминах понятий и отношений прикладной онтологии. Такое построение трактуется как отображение, которое должно устранить неопределенности поверхностного уровня ЕЯ (многозначность, омонимию, омографию, неполноту, анафоричность, некорректность и другие), сводя их к однозначному семантическому представлению. Это осуществляется за счет реализации нескольких отображений: грамматический анализ, семантическая интерпретация и семантический анализ, которые в совокупности реализуют лингвистический анализ текста. Особенностью системы является отсутствие необходимости проводить полный и последовательный лингвистический анализ текста. Системой реализуется спектральность полноты и последовательности анализа, которая зависит от прикладной онтологии, тематической однородности и сложности самого текста (эллиптические, осложненные, сложные и анафорические предложения).

Система анализа текста может быть выбрана на основе обзора [Найденова и др., 2008] и системы АДАЛИТ, принципы которого описаны в [Хахалин и др., 2006].

Система синтеза естественного языка. Задача синтеза текстов на ЕЯ заключается в генерировании текста по структурным описаниям онтологических представлений. Полный синтез фраз ЕЯ предполагает этапы семантического синтеза, синтаксических интерпретации и синтеза, морфологического синтеза и форматирования (графематический синтез). Синтаксический, морфологический синтез и форматирование достаточно разработанные процедуры (например, в системе ЭТАП-3), а вот семантический синтез и интерпретация в ограниченных пределах представлена только в системах ПОЭТ и АДАЛИТ. Поэтому при выборе системы синтеза текста для комплекса акцент будет сделан на них.