Моделирование процессов понимания текстов на естественном языке

Реализация естественно-языкового интерфейса человека с ЭВМ — научная проблема современности.

Теоретический интерес данная проблема представляет для ряда смежных дисциплин: Теоретической Лингвистики, Когнитивной Психологии, Искусственного Интеллекта и др. Решение проблемы общения на естественном языке может пролить свет на психологические аспекты языковой деятельности, вскрыть глубинную организацию и закономерности функционирования такого сложного объекта как естественный язык (ЕЯ), дать толчок к выработке моделей процессов порождения и восприятия языковых объектов в сознании человека, внести большой вклад в создание искусственного интеллекта.

Практическая значимость указанной проблемы резко возрастает в связи с расширением сферы использования ЭВМ в народном хозяйстве. Можно утверждать, что не существует такой отрасли народного хозяйства, где бы уже не использовалась вычислительная техника. Однако повсеместному внедрению вычислительной техники препятствует тот фактор, что общение с ЭВМ в настоящее время требует непрерывного привлечения специально подготовленных людей — программистов. В связи с этим необходимость в людях, имеющих эту профессию, непрерывно растет. Так в США спрос на программистов возрастает ежегодно примерно на 20% (по данным американского института изучения рынка труда). В сети Интернет создаются агентства по трудоустройству, предлагающие широкий выбор вакансий для специалистов в области информационных технологий. К примеру только одно американское агентство по трудоустройству Flipdog Company (официальный сайт агентства: www.flipdog.com) насчитывает около 20 ООО ООО вакансий для специалистов по информационным технологиям (по данным электронного еженедельника Flipdog news от 13 Сентября 2001). По данным правительства Германии дефицит программистов в стране на Июнь 2000 года составил 10 000 вакансий (www.greencard-germany.com). В целях решения проблемы в августе 2000 г. правительством Германии было принято решение об издании специальной визы для программистов, значительно упрощающей въезд в Германию для данной категории иностранных граждан.

Очевидно, что необходим поиск решения проблемы не только за счет увеличения количества программистов, но и за счет приближения языка общения к естественному языку, что обеспечит повышение эффективности взаимодействия и позволит людям любых специальностей общаться с ЭВМ без предварительной подготовки.

К настоящему моменту в решении проблемы общения наметились две тенденции: одна состоит в выработке программных средств функционально моделирующих языковую деятельность человека, другая — в развитии элементной и аппаратной базы компьютеров в направлении повышения их интеллектуальных способностей, в первую очередь способности «понимать» ЕЯ и способности «видеть» окружающий мир. В 1982 г. Министерство внешней торговли и промышленности Японии объявило о своих планах финансирования работ по созданию ЭВМ пятого поколения, при этом предусмотрены большие ассигнования на развитие элементной базы. В ЭВМ пятого поколения должна быть реализована возможность использования языков программирования трех категорий: естественного, запросов высокого уровня и «ядра» системы. Характерной особенностью ЭВМ будущих поколений начиная с пятого, является резкий рост их «интеллектуальных» способностей, позволяющих «понимать» непосредственно задачу, которая ставится перед ЭВМ конечным пользователем. Перспективные ЭВМ будут обладать такими аппаратными и программными средствами, которые позволят осуществить общение с машиной на естественном языке, при этом формами представления информации в режиме диалога могут быть текст, речь или изобразительная информация. Это позволит преодолеть психологический барьер между человеком и машиной, откроет широкие возможности для массового применения ЭВМ и сделает компьютер достойной альтернативой человеку.

Принято считать, что основные источники сложности моделирования языковой деятельности представляют два фактора: во-первых, языковая неоднозначность, которая выражается в таких сложных явлениях как лексическая и синтаксическая синонимия, полисемия, омонимия, в явлениях метонимии и метафоры и др.- во-вторых, слитность языка и сознания человека. Моделируя язык, исследователям постоянно приходится решать задачу моделирования сознания говорящего, моделирования его картины мира, его целей и мотивов. Время чисто лингвистических моделей языка, которые не учитывают психологическую составляющую, аспект экстралингвистических знаний, прошло [23]. Создание моделей общения необходимо рассматривать в аспекте моделирования систем:

ТекстСмысл <=>Реальность, Язык<=> Общение Участники.

Неоднозначность ЕЯ приводит к необходимости перевода естественно-языковых объектов на некоторый формальный язык с сохранением их содержания. Формальный язык представления смысла должен быть однозначным, машинно-ориентированным, и в принципе реализуемым на ЭВМ. Обобщая сказанное, модель понимания текстов на естественном языке включает следующие компоненты: а) формальное описание единиц ЕЯ и правил их комбинированияb) описание единиц внутреннего языка представления смысла и правил организации сложных смысловых конструктовc) описание критерия тождественности содержания объектов ЕЯ и объектов языка представления смыслаd) набор правил сопоставления объектов ЕЯ объектам языка внутреннего представления с удовлетворением критерия тождественности содержанияe) механизм выборки объектов ЕЯ, выборки правил сопоставления и определения искомого объекта на языке представления смысла.

Компонента а) включает набор простейших элементов, способы их комбинирования, набор образцов корректных комбинаций, принятых в рамках некоторого конкретного языка. Компонента Ь) состоит из перечня неделимых первичных элементов, правил комбинирования, критерия семантической корректности (непротиворечивости) комбинации.

Первые разработки по моделированию понимания проходили в рамках создания формализмов описания семантик слов в 1963, 1966 г. [1]. Позднее Ч. Филлмор и независимо от него Ю. Д. Апресян предлагают, приобретшие большую популярность, предикативные способы описания семантики лексических единиц, предложения и текста [2, 73]. Принцип использования экстралингвистических знаний в качестве направляющего фактора в процессе языковой обработки предложен Уилксом [3,4] и независимо от него Наринъяни [66], в дальнейшем развитый Шенком [5, 6] и др. В контексте моделирования Русского Языка А. Н. Жолковским и И. А. Мельчуком предлагается одна из самых разработанных моделей естественного языка — модель «Смысл — Текст» [7, 8]. Количество предлагаемых подходов и решений задачи моделирования понимания ЕЯ постоянно растет. Вместе с тем, несмотря на изобилие имеющихся в настоящее время работ, говорить о снятии проблемы не приходится. Ограниченность существующих подходов, главным образом, концентрируется вокруг условия предметной зависимости систем понимания, что ведет к предметной и языковой локальности любой методологии. Ввиду чего, встает задача разработки методов и средств, представляющих возможность расширения обрабатываемого подъязыка, настройки на произвольную предметную область. Состояние исследований в данной области отражают следующие факты:

1. отсутствие общепринятой методологии, которая бы выступала общим стандартом построения систем обработки ЕЯ и которая бы служила критерием создания ориентированных на языковую обработку аппаратных средств;

2. ни одна из предложенных методологий не была реализована на достаточно широком подмножестве языка, чтобы получить промышленное применение и быть способной заменить человека;

3. некоторые из самых продвинутых исследовательских групп в области моделирования ЕЯ заявляют о прекращении дальнейшей работы, ввиду возникновения задач повышенной сложности. К примеру, согласно Ю. Д. Апресяна [56], руководителя группы исследователей-разработчиков промышленной системы машинного перевода «ЭТАП-2», группа отменяет свои планы по реализации семантического уровня модели «Смысл — Текст» [7, 8], ввиду чрезвычайной сложности задачи.

Вот как описывает состояние проблемы А. С. Нариньяни в [41]: «Массированное, продолжавшееся несколько десятков лет наступление в области автоматической обработки текста захлебнулось. По отношению исходных планов и надежд оно окончилось достаточно очевидным провалом. Даже сейчас — более, чем двадцать лет спустя — никто не может претендовать на создание системы, способной понимать неограниченный текст на ЕЯ в достаточно широкой предметной области.».

Отмеченные факты свидетельствуют о том, что вопросы достижения предметной и лингвистической открытости остаются малоизученными. Имеются также основания полагать, это очевидно, если принять во внимание заявление Ю. Д. Апресяна [56], что вопрос достижения открытости в рамках определенной методологии определяется ее теоретическими предпосылками и принципами, а не конкретными практическими реализациями.

Цель настоящей работы состоит в исследовании теоретических основ и разработке принципов построения методов и средств понимания, удовлетворяющих требованию предметной и лингвистической открытости. Выделяются следующие аспекты задачи: разработка основополагающих принципов построения открытых обратимых методов и средств концептуальной обработки текстов на естественном языкеразработка метода концептуальной обработки (анализа и синтеза) русскоязычных текстов, характеризующегося требованиями: корректности обработки, лингвистической и предметной открытостьпрограммная реализация метода.

В результате проведенного исследования было установлено, что главный источник закрытости существующих моделей понимания представляет требование неизбыточности языка представления смысла. Стремление исследователей к снятию избыточности языка представления смысла объясняется главной целью обработки ЕЯ, состоящей в полном 7 снятии недостатков ЕЯ, главным из которых является избыточность. Однако, ввиду развитых синонимических средств естественных языков, полное решение данной задачи на этапе языковой обработки представляет чрезвычайную сложность. Одновременно с этим, учитывая тот факт, что определение тождественности содержания лингвистически различных форм необходимо и достаточно проводить только на основе предметных знаний, то задачу идентификации перифраз целесообразно вынести за рамки языковой обработки (обработки, привлекающей лингвистические знания конкретного ЕЯ). Соответственно в данном случае, в целях обработки перифраз на уровне языка представления смысла, необходимо установление отношения эквивалентности, определяющего цепочки семантически эквивалентных представлений.

Введя избыточность на уровне представления семантики, и обобщив способы установления синтаксических связей, удается достичь представления лингвистических знаний синтаксического уровня декларативным образом. Ввиду универсальности представления данную лингвистическую базу удается применять как в целях анализа текста, так и в целях генерации предложений. Достигнутое представление, также создает удобную базу для реализации механизмов лингвистического перефразирования, обработки эллиптических конструкций и разрешения сверхфразовых связей из класса инцидентных внутритекстовых связей по терминологии [16]. Кроме этого, предложенное представление позволяет достичь алгоритмической простоты процедур анализа и синтеза, ввиду представления правил отображения в терминах пары опорных слов и их ближайшего контекста. При всех вышеизложенных преимуществах главным достоинством предлагаемого представления является лингвистическая и предметная открытость.

Полученные результаты легли в основу разработанного метода концептуальной обработки (анализа и синтеза) русскоязычных текстов, названного методом «Синтаксических примитивов». Метода прошел тестирование в ходе его программной реализации в рамках создания системы понимания русскоязычных текстов.

Порядок изложения настоящей работы определяется описанной ранее последовательностью компонент (а, Ь, с, d, и е) формальной модели понимания ЕЯ. Глава 1 посвящена краткому описанию объекта исследования — естественному языку (параграф 1.1), его системной организации и основным компонентам (параграф 1.1.2). В параграфе 1.2 рассматривается аспект функционирования языка в процессе общения. Обзору существующих методов формализации предметных знаний посвящен параграф 1.3. В параграф 1.4 проводится сравнительный анализ основных подходов по созданию моделей понимания.

3.8. Выводы программной реализации.

1. Использование объектно-ориентированной технологии потребовало применение методов объектного проектирования задачи [84]. Учитывая разнородность вычислительных объектов на этапе проектирования системы нами были выделены три центральных объектных класса: класс текстов, класс рабочей базы данных и класс данных системы.

2. В аспекте применимости метода было установлено, что на текстах с заданным формальным представлением их смыслов на языке концептуальных графов с учетом принципа равносложности объектов ЕЯ и объектов смыслового представления, программная реализация метода дает корректный результат обработки за приемлемое время отклика системы.

ЗАКЛЮЧЕНИЕ

.

1. По результатам сравнительного анализа работ, связанных с моделированием понимания текстов на ЕЯ установлены особенности предметной области, выявлены основные недостатки известных подходов и предложены направления развития формальных моделей понимания, методов представления логико-лингвистической информации, алгоритмов проведения концептуального разбора текстов и генерации предложений.

2. Построена формальная модель концептуальной обработки естественно-языковых текстов и формализованы требования предметной и лингвистической открытости модели. Обобщая принципы организации и компонентный состав моделей понимания, построенная обобщенная модель представляет базу для аналитических исследований моделей понимания.

3. Разработаны основополагающие принципы построения ООМ моделей понимания ЕЯ.

Принцип 1. Принцип декларативности представления компонент описания лексики (М, D и V).

Принцип 2. Компонента (Sn) описания синтаксиса выбранного подъязыка должна представляться в терминах синтаксически примитивных конструкций. Принцип 3. Принцип декларативности представления компоненты Sn. Принцип 4. Принцип декларативности представления компоненты Ас. Принцип 5. Принцип произвольности выбора концептов и отношений компоненты Ас.

Принцип 6. Принцип декларативности представления компоненты Smc. Принцип 7. Принцип произвольности выбора концептов и отношений компоненты Smc.

Принцип 8. Принцип избыточности компоненты С — языка внутреннего представления семантики текстов.

Принцип 9. Правила сопоставления (20), (21) компоненты Base не должны нарушать структурную идентичность сопоставляемых объектов, т. е. должны отображать только равносложные объекты.

4. Разработан открытый метод концептуальной обработки текстов, метод «Синтаксических примитивов». Метод характеризуется обратимостью (обеспечивает анализ текста и синтез предложений), корректностью обработки (без.

152 потери информации), возможностями восстановления эллипсиса и обработки сверхфразовых связей из класса внутритекстовых инцидентных связей по терминологии коммуникативной теории текста.

5. Разработанные модели и алгоритмы реализованы в программной системе моделирования понимания русскоязычных текстов. Система обеспечивает следующие виды обработки: морфологический анализ текста, концептуальный анализ текста, обработка эллиптических конструкций, обработка рекуррентных и инцидентных связей, синтез предложений, морфологический генератор окончаний лексем, перефразирование на базе синтаксического словаря, блок идентификации ответов на вопросы.

6. Система понимания была реализована с использованием объектно-ориентированной технологии, что потребовало применения методов объектного проектирования задачи. Учитывая разнородность вычислительных объектов на этапе проектирования системы нами были выделены три центральных объектных класса: класс текстов, класс рабочей базы данных и класс данных системы.

7. В аспекте применимости метода было установлено, что на текстах с заданным формальным представлением их смыслов на языке концептуальных графов с учетом принципа равносложности объектов ЕЯ и смыслового представления, при соответствующем наполнении словарей программная реализация метода дает корректный результат обработки за приемлемое время отклика системы.