Автоматизированное формирование лингвистических баз знаний: Интеграционный подход

В настоящее время все больше текстов (книг, энциклопедий, документов) и иной информации создаваемой человеком переносится на электронные носители и число пользователей, заинтересованных в этой информации, постоянно растет. Возможность электронного представления и обработки текстовой информации стала новым фактором, стимулирующим рост ее количества и темпов создания. Уже на 1994 год в одних только Соединенных Штатах Америки с помощью компьютеров ежедневно формировалось более 2,7 миллиардов страниц текста [1]. В нашей стране, несмотря на явное отставание в области применения информационных технологий, в последние годы наблюдается значительное расширение сфер применения компьютерной обработки информации. Например, электронные документы уже стали средством общения граждан и государственных служб и в нашей стране: налоговые декларации за 1998 год принимались в электронном виде, практически все государственные службы принимают обращения граждан по электронной почте.

В связи с вышесказанным, очевидна необходимость систем, обрабатывающих естественный язык (ЕЯ-систем). Такие системы применяются практически во всех областях человеческой деятельности, и решают широкий спектр задач, начиная от поддержки набора текстов, до обработки запросов и генерации текстов и речи на естественном языке (ЕЯ).

На сегодняшний день известно множество областей успешного применения ЕЯсистем, среди которых наиболее развитыми являются:

• распознавание и генерация текста и речи;

• информационный поиск и управление документооборотом.

Общепризнанным фактом является то, что для достижения приемлемого для большинства задач качества ЕЯ-обработки необходимы специальные информационные массивы, содержащие информацию о языке.

Так, например, практически ни одна система распознавания речи не обходится без информации о статистических свойствах различных слов и их сочетаний в текстах. Более сложные системы применяют элементы синтаксического анализа, который практически неосуществим без наличия синтаксических и морфологических описаний языка.

В современных информационно-поисковых системах (ИПС) интенсивно используется информация о ЕЯ. Такие лингвистические понятия, как морфологический анализатор и словарь1 синонимов (тезаурус) прочно вошли в практику и используются практически во всех современным ИПС.

Основной проблемой создания информационного обеспечения ЕЯ-систем на сегодняшний день является сложность ЕЯ и невозможность полной его формализации. В отличие от формальных языков, которые могут быть полностью и точно описаны (т.е. указано множество возможных конструкций языка и правил их интерпретации), для естественного языка это сделать пока не представляется возможным. ЕЯ является отражением деятельности и внутреннего мира человека, вследствие чего представляет собой неформальную, открытую и постоянно изменяющуюся систему [2]. В связи с невозможностью построения компактной модели ЕЯ, обеспечивающей требуемый уровень качества обработки, часто нужны описания большого количества правил и отдельных языковых явлений.

Практика последних лет показала, что подходы к ЕЯ-обработке, основанные на поверхностной информации о языке, например, статистической, способны обеспечить лишь ограниченный уровень качества обработки (количества правильно распознанных слов, найденных релевантных документов и т. п.). Для повышения качества обработки требуется применение более сложной и лингвистически содержательной информации. Так, применение в системах распознавания речи статистических методов о совместной встречаемости словоформ в тексте позволяет обеспечить до 70−90% правильно распознанных словоформ. Применение же более сложных методов, таких, как локальный синтаксический анализ позволяют улучшить эти результаты до 95% и более.

Ввиду необходимости удовлетворять современным высоким требованиям к качеству ЕЯ-обработки, сложность и объем информационных массивов ЕЯ-систем обычно настолько велики, что для них адекватным является название «база знаний», пришедшее из искусственного интеллекта. Эти базы знаний содержат информацию о языке, поэтому за ними укрепилось название «лингвистических», т. е. «языковедческих». Таким образом в компьютерной лингвистике закрепился

1 Под термином «словарь» в данной работе понимается компьютерный словарь, если явно не оговорено иное. термин «лингвистическая база знаний» (ЛБЗ), который означает совокупность информации о ЕЯ, используемой ЕЯ-системой при ее работе.

В зависимости от решаемых задач, ЛБЗ ЕЯ-системы может включать различные словари, отличающиеся друг от друга глубиной проникновения в структуру описываемого языка и характером содержащейся информации.

Можно выделить несколько уровней глубины проникновения в структуру языка. Поверхностный уровень содержит информацию о «нелингвистических» свойствах языка. Примером компоненты этого уровня может служить частотный словарь орфограмм (последовательностей букв языка), применяемый в текстовых процессорах, для проверки правописания. При проверке, осуществляемой таким образом, ошибка фиксируется при наличии в лексеме не встречающихся или малочастотных орфограмм. Так, например орфограмма «ннн» не встречается в русском языке (за исключение аббревиатур), а ее появление является верным признаком распространенной опечатки. Компоненты лексического уровня содержат информацию об особенностях отдельных слов языка, например их морфологических свойствах или частотности. На синтаксическом уровне представлены знания о правилах связывания лексем в более сложные синтаксические конструкции — словосочетания, предложения, информация о синтаксических свойствах лексем (например, каждой лексеме может быть приписан некоторый синтаксический класс и указаны правила сочетания представителей этих классов в предложении). Семантический уровень содержит информацию о связях понятий проблемной области. Энциклопедический уровень содержит информацию о проблемной области, которая, вообще говоря, уже не относится к лингвистике, однако используется при глубинной обработке текстов, например, при извлечении информации из них [3,4].

Следует отметить, что распределение словарных компонентов по уровням является условным. Так, например, в лексических биграммах содержится информация не только о формах слов, но и о статистических характеристиках их сочетаемости. Поэтому эти словари можно отнести, как к лексическому, так и к синтаксическому уровню.

Поверхностный уровень Словари орфограмм

Лексический уровень Словари словоформ

Частотные словари словоформ

Словари основ и неизменяемых слов

Словари лексических п-грамм

Синтаксический уровень Грамматические словари

Частотно-грамматические словари

Словари грамматических п-грамм

Синтаксические правила

Словари моделей управления

Семантический уровень Словари семантических моделей управления

Тезаурусы

Энциклопедический уровень Проблемно-ориентированные базы знаний

Толковые словари

Таблица 1. Структура ЛБЗ

Формирование ЛБЗ представляет собой процесс сбора лингвистической информации, представления ее в виде, пригодном для автоматической обработки и поддержание этой информации в актуальном состоянии. Сбор лингвистической информации осуществляется на основе источников, которые могут быть классифицированы следующим образом:

• Люди2:

• эксперты-лингвисты;

• рядовые носители языка (в том числе и эксперты в предметной области).

• Тексты:

• описания языка, созданные специалистами;

2 Получение информации от экспертов-лингвистов и рядовых носителей языка может вестись как в непосредственном диалоге с ЭВМ (on-line), так и в пакетном режиме (off-line), когда некоторой программной системой обрабатываются протоколы интервью.

• тексты предметной области.

• Существующие ЛБЗ.

Использование всех этих источников необходимо, поскольку ни один из них не дает полной информации о языке:

• Хотя результаты лингвистических исследований обладают высокой степенью достоверности, они не покрывают весь спектр языковых явлений, которые необходимо описать в ЛБЗ, поскольку осмысление и описание новых языковых объектов и явлений неизбежно отстает от развития языка. Важным фактором, который также надо учитывать при использовании этих источников, является их субъективность, обусловленная, в частности, влиянием на позицию эксперта-лингвиста принадлежности его к той или иной лингвистической школе.

• В отличие от экспертов-лингвистов, рядовые носители языка непредвзяты в своей оценке языковых явлений. Но при этом, даже у экспертов в предметной области хорошее знание терминологии может сочетаться с недостаточной лингвистической компетентностью. Рядовой носитель языка зачастую не может правильно (с лингвистической точки зрения) описать, атрибутировать и классифицировать языковые феномены. В связи с этим следует отметить необходимость участия инженера знаний в процессе получения информации от рядовых носителей языка. Инженер знаний здесь выполняет ту же роль, что и при формировании баз знаний для экспертных систем.

• Строгость лингвистических описаний языка зачастую недостаточна для непосредственной формализации. Даже словарь Зализняка [5], который считается одним из наиболее формальных описаний русской морфологии, все же ориентирован на читателя-человека. К описаниям языка также относятся все замечания, сделанные выше относительно информации, полученной от экспертов-лингвистов, поскольку эти описания представляют собой одну из форм воплощения этой информации.

• Тексты предметной области отражают сегодняшний срез языковой реальности. Однако для получения адекватной информации необходимо использовать большие (представительные) выборки текстов, которые сложно формировать и поддерживать в актуальном состоянии. Обычно ЛБЗ сформированная на основе выборки текстов успешно может быть использована на текстах из этой выборки или очень близких к ним по лингвистическим особенностямнапример, тексты того же автора на ту же тему. Хорошим примером может служить эксперимент, проведенный с системой распознавания речи [6,7]. На текстах, публиковавшихся в течении нескольких лет в Уолл-Стрит Джорнал, было произведено обучение распознающей системы (составлены словари п-грамм). После такого обучения система распознавания достаточно хорошо распознавала тесты из Уолл-Стрит Джорнал (даже выпусков, не вошедших в тренировочный корпус). Однако при распознавании тестов из других источников было продемонстрировано существенно более низкое качество распознавания.

• Существующие ЛБЗ создавались в различных концептуальных и технических контекстах. Несовместимость обычно обнаруживается практически на любом уровне: от базовой лингвистической модели до кодировки символов.

Проблему формирования ЛБЗ обостряют также следующие моменты:

• Большой объем и сложность ЛБЗ.

• Значительная часть компонентов ЛБЗ, наиболее сложных и трудоемких для формирования, эффективно может быть использована только для подъязыка достаточно узкой проблемной области.

В силу указанных причин критической проблемой в области ЕЯ-обработки является проблема формирования лингвистических баз знаний (ЛБЗ). Как отметил академик Ершов в эпиграфе к книге [8], посвященной проблемам построения Машинного фонда русского языка — совокупности ЛБЗ, централизованно поддерживаемой и пополняемой в государственном масштабе, «Любой прогресс в области построения моделей и алгоритмов останется академическим упражнением, если не будет решена наиважнейшая задача создания Машинного фонда русского языка». К сожалению, в связи с общей тяжелой экономической ситуацией, создание Машинного фонда русского языка так и не было завершено. В результате, на сегодняшний день ситуация практически не изменилась.

Проблема формирования ЛБЗ является частью глобальной проблемы передачи человеческих знаний вычислительным машинам, решению которой посвящена область, называемая инженерией знаний. I

В силу необходимости привлечения экспертов, формирование ЛБЗ не может быть полностью автоматическим. Поэтому, ввиду объема и сложности ЛБЗ актуальной является проблема автоматизированного формирования. Под автоматизированным формированием ЛБЗ понимается совместная работа экспертов, инженеров знаний и вычислительных машин по формированию ЛБЗ.

Следует отметить, что формирование ЛБЗ является специальным видом ЕЯ-обработки.

Для каждого из указанных выше видов источников нужны свои специфичные способы извлечения лингвистической информации. В зависимости от особенностей используемых источников и формируемой ЛБЗ применяются различные методы обработки исходных данных, эвристики извлечения информации и их комбинации, а процесс формирования ЛБЗ является процессом достаточно сложным, трудоемким, насыщенным экспериментами. На сегодняшний день интеграция различных методов и технологических приемов становится необходимым условием успешного решения задачи автоматизированного формирования ЛБЗ.

При этом дают наибольший эффект и представляют наибольшую трудность для применения методы основывающиеся на различных, часто далеких друг от друга подходах. Так, например, комбинация статистических методов и методов локального синтаксического анализа позволяет обеспечить точность обработки свыше 94% в системах распознавания речи.

Такое сочетание открывает новые технологические возможности по сопровождению ЕЯ-систем. Если в системе используется только статистическая информация, то для отслеживания изменений в ЕЯ, приходилось бы довольно часто собирать и поддерживать представительные корпусы текстов для обновления статистики. Если используется только синтаксическая информация, то она отражает более фундаментальные закономерности и поэтому изменяется реже. Однако и изменение такой информации представляет собой более сложный процесс, требующий привлечения специалистов. Совместное использование двух видов информации может позволить увеличить интервалы между пересмотрами ЛБЗ профессиональными лингвистами, поскольку изменения в языке будут отражаться в более легко извлекаемой статистической информации. С другой стороны снижаются расходы на подготовку и сбор статистической информации, поскольку наиболее сложная информация, точность которой критична и для сбора требуется большой объем тренировочного корпуса текстов, представлена в синтаксических компонентах ЛБЗ.

Аналогичные тенденции, однако, гораздо более ярко выраженные, наблюдаются и в области автоматизированного формирования ЛБЗ. На сегодняшний день интеграция различных методов становится необходимым условием успешного решения этой задачи.

Следующие трудности интеграции различных методов обработки являются наиболее существенными:

• Отсутствие целостных подходов к интеграции различных методов, соответствующих лингвистических и математических моделей.

• Реализация различных методов формирования ЛБЗ ведется на базе различных информационных технологий, часто без опоры на стандарты, что существенно затрудняет их интеграцию.

Целью настоящей работы является обобщение опыта интеграции различных методов автоматизированного формирования некоторых компонентов ЛБЗ (тезауруса, грамматического словаря и словаря n-грамм) в целостный подход, создание моделей, на базе которых могут быть интегрированы различные методы, и описание принципов компьютерной реализации системы автоматизированного формирования ЛБЗ.

Предлагаемый подход предполагает:

1. Построение метамодели ЛБЗ (МЕТАМОДЕЛИ), то есть унифицированного средства представления структуры ЛБЗ и процесса ее формирования.

2. Создание системы автоматизированного формирования ЛБЗ (САФЛБЗ), реализующей МЕТАМОДЕЛБ.

При наличии такой МЕТАМОДЕЛИ и САФЛБЗ интеграция осуществляется следующим образом:

1. Структура формируемой ЛБЗ отображается на МЕТАМОДЕЛБ.

2. Алгоритмы формирования ЛБЗ отображаются на МЕТАМОДЕЛБ.

3. Реализации алгоритмов формирования ЛБЗ интегрируются в САФЛБЗ.

Текст диссертации включает введение, шесть глав, заключение, список литературы и приложения.

Результаты работы использованы при выполнении НИР по теме «Программно-информационное обеспечение обработки текста в интегрированных информационных системах» (подпрограмма «Информатизация России» — шифр проекта 037.01.178.23, Гос. per. № 01.9.80 3 341).

Практическая значимость данной работы подтверждается результатами экспериментов с системой распознавания речи, разрабатывавшейся в рамках договора о сотрудничестве между факультетом вычислительной математики и кибернетики МГУ им. М. В. Ломоносова и американской компанией Accent, Inc. в 1995;1996 гг. (за счет применения методов, описанных в третьей главе диссертации, было зафиксировано устойчивое повышение надежности распознавания на 1−2% при исходном уровне в 93−94%), а также эксплуатацией прототипов системы автоматизированного формирования ЛБЗ при построении специализированного информационно-поискового тезауруса.

Созданная метамодель может применяться для унифицированного представления различных методов обработки лингвистической информации.