Методы построения и использования компьютерных словарей сочетаемости для синтаксических анализаторов русскоязычных текстов

Несмотря на развитие технологий представления информации в формальней,' доступном для компьютерной обработки виде (таких как Semantic Web), основной объем информации порождается, хранится и передается в виде текстовна естественных языках (ЕЯ). В связи с лавинообразным ростом количества информации в самых разных сферах человеческой деятельности возникает острая необходимость автоматического решения различных задач, связанных с обработкой текстов, в том числе перевода с одного языка на другой, поиска информации в текстовых массивах, извлечения информации из текстов, реферирования и др.

Системы автоматической обработки текстов (АОТ-системы), использующие методы поверхностного анализа (например, основанные на поиске ключевых слов), в большинстве случаев не позволяют достичь результата, качество которого достаточно для практического применения. Причина кроется в необходимости учета не только слов, составляющих текст на ЕЯ, но и имплицитно представленных в тексте взаимосвязей между ними, для выявления которых требуется глубокий и полный учет разнообразных языковых явлений. Необходимым первым шагом на пути выявления таких взаимосвязей является выделение синтаксических отношений в тексте (синтаксический анализ).

Для автоматического выделения синтаксических отношений требуется привлекать различную информацию о сочетаемости слов. Простейшим типом информации такого рода может служить описание синтаксического поведения различных частей речи. Так, существительное сочетается с прилагательным при условии согласования их в роде, числе и падеже (быстрый автомобиль), но не сочетается с наречиями (*быстро автомобиль). Помимо информации о сочетаемости частей речи в процессе автоматического синтаксического анализа необходимо привлекать и информацию об особенностях сочетаемости более узких классов слов, а также отдельных слов. Так, для того, чтобы правильно построить синтаксическую структуру фразы одобрить поправки в закон необходимо знать, что глагол одобрить не может управлять предлогом в (в отличие от глагола внести: внести изменения в проект). Заметим, что информация подобного рода описывается в словарях моделей управления, однако описания обычно охватывают лишь глаголы (агитировать) и образованные от них слова {агитатор, агитация). Более сложная информация о сочетаемости требуется, чтобы построить правильные синтаксические структуры фраз привезти куртку на синтепоне и привезти куртку на машине. В данном случае и глагол привезти, и существительное куртка сочетается с предлогом на, поэтому для выбора правильной структуры (для каждой из фраз своей) требуется привлечь соображения более глубокого, семантического характера: привезти сочетается с классом слов, обозначающих средства передвижения {на машине, на автобусе, на электричке), а куртка — с названиями материалов {на синтепоне, на меху, на пуху). Наконец, при синтаксическом анализе фразы проливные дожди и заморозки требуется информация о сочетаемости отдельных лексем. Ведь, несмотря на то, что слова проливной и сильный близки по смыслу, первое сочетается только со словом дождь, а второе и с названиями других погодных явлений. Поэтому, не обладая информацией об индивидуальной сочетаемости слов, можно по ошибке отнести прилагательное проливной к группе однородных членов дожди и заморозки (по аналогии с сильные дожди и заморозки).

Таким образом, во многих случаях без подробного и полного описания сочетаемости слов невозможно построить правильную синтаксическую структуру предложения. Однако существующие лингвистические источники, описывающие сочетаемость слов русского языка (словари сочетаемости, комбинаторные словари), обладают существенными недостатками. Во-первых, они покрывают лишь небольшую часть лексики русского языка. Во-вторых, такие словари обычно рассчитаны на пользователя-человека, поэтому зачастую авторы вместо того, чтобы приводить формальное и последовательное описание, ограничиваются рядом примеров и ссылок на аналогичные статьи, 5 апеллируя к интуиции пользователя словаря. Основной причиной перечисленных недостатков является чрезвычайная трудоемкость ручного формирования описаний сочетаемости, носящих комбинаторный характер (по сути, требуется описать множество пар, или даже п-ок слов, способных образовывать допустимые языком словосочетания). Вследствие этих недостатков, в задачах автоматической обработки текстов сформированные вручную ресурсы могут использоваться скорее как дополнительный источник информации о сочетаемости, обладающий весьма высокой точностью (словарные статьи формируются компетентными экспертами-лингвистами и заслуживают доверия), но очень низкой полнотой. О низкой полноте данных ресурсов можно говорить как с точки зрения количества описанных лексем, так и с точки зрения приведенной для каждой из них информации. Так, либо сочетаемость описывается слишком абстрактно, с помощью указания только морфологических и синтаксических характеристик слов, сочетающихся с данным («Управление в русском языке» Д. Э. Розенталя [1]), либо слишком конкретно — перечислением отдельных слов. Такое перечисление обычно заканчивается многоточием, призывающим пользователя продолжить ряд по аналогии («Словарь сочетаемости слов русского языка» под редакцией П. Н. Денисова и В. В. Морковкина [2]).

Альтернативой использованию лингвистических описаний сочетаемости является автоматический сбор статистики совместной встречаемости слов на большой текстовой коллекции и формирование статистического описания сочетаемости. Причем обычно имеет смысл использовать неразмеченные (т.е. не обработанные экспертами) тексты, поскольку создание достаточной по объему размеченной коллекции является ничуть не менее сложной и трудозатратной задачей, нежели ручное формирование словаря. Такой подход позволяет свести к минимуму объем требуемого ручного труда, а также обеспечить довольно полный охват лексики. Здесь важно отметить, что простая статистика совместной встречаемости слов не обеспечивает полноты информации о сочетаемости каждого слова в отдельности. Это связано с 6 проблемой разреженности данных о совместной встречаемости, извлеченных из коллекции текстов на ЕЯ: лишь небольшая часть сочетающихся между собой слов реально встретятся вместе в коллекции, причем многие из них встретятся вместе лишь один-два раза. Свойство разреженности является фундаментальным для текстов на ЕЯ, поэтому решить данную проблему невозможно ни увеличением объема, ни изменением состава текстовой коллекции. Особенно остро проблема разреженности встает в тех случаях, когда описываемое слово сочетается со всеми словами, принадлежащими одному или нескольким достаточно широким семантическим классам. Например, слово пирог сочетается с называниями практически любых нежидких пищевых продуктов {пирог с черникой, творогом, рыбой, вареньем, маком,.), однако подобрать коллекцию текстов, в которую войдут все такие словосочетания невозможно, а описать только морфологические и синтаксические характеристики сочетающихся слов — означает допустить словосочетания типа пирог с идеей. Для решения данной проблемы необходимо использовать механизмы обобщения, которые на основе встречаемости слова с представителями определенных семантических классов делают вывод о сочетаемости со всеми словами, относящимися к этим классам. При этом встает вопрос об источнике информации о семантических классах и принадлежащих им словах. Большинство существующих методов (ориентированных в основном на обработку англоязычных текстов) в качестве такого источника используют лексическую онтологию VordNet [3], являющуюся довольно качественным лингвистическим ресурсом с широким охватом лексики английского языка. Однако, для многих других языков аналоги \^ог (1№ 1, обладающие сопоставимой полнотой и качеством описания, недоступны и создание их упирается в те же проблемы, что и создание словарей сочетаемости. Альтернативой опять же является автоматическое извлечение информации о семантических классах из неразмеченных текстовых коллекций.

Существующие методы автоматического формирования описаний сочетаемости и семантических классов не дают результатов, достаточно 7 качественных для того, чтобы можно было полностью исключить ручной труд эксперта. Они, однако, способны дать первое приближение к необходимому описанию и обеспечить эксперта статистическими данными для дальнейшего улучшения этого описания.

Таким образом, актуальным является создание методов автоматизированного формирования описаний сочетаемости, позволяющих извлекать информацию о сочетаемости из неразмеченных текстовых коллекций, обобщать ее и представлять в таком виде, в котором эксперты могут эффективно работать с ней. Другой актуальной проблемой является учет сформированных таким образом, а также содержащихся в существующих словарях, описаний сочетаемости для улучшения качества и повышения эффективности автоматического синтаксического анализа.

Целью данной диссертационной работы является исследование и разработка методов построения компьютерных словарей сочетаемости и использования этих словарей для повышения качества работы автоматических синтаксических анализаторов русскоязычных текстов.

Разрабатываемые методы должны поддерживать автоматизированный подход к формированию словарей, при котором в процессе формирования используются как алгоритмы автоматического извлечения информации о сочетаемости из текстовых коллекций, так и данные, полученные от экспертов или из составленных вручную лингвистических ресурсов. При этом участие экспертов должно быть максимально эффективным, для чего необходимо создать соответствующие инструментальные средства развития и сопровождения словарей сочетаемости.

Достижение поставленной цели предполагает решение следующих задач:

1. исследование ограничений на сочетаемость, которые необходимо учитывать в процессе синтаксического анализа, и разработка структур данных, позволяющих хранить описания таких ограничений;

2. разработка методов и программных средств, позволяющих учитывать сочетаемостные ограничения в процессе синтаксического анализа- 8.

3. разработка методов и программных средств автоматизированного формирования описаний сочетаемостных ограничений, их развития и сопровождения.

Работа выполнялась на кафедре алгоритмических языков факультета ВМК МГУ в рамках Госбюджетных НИР по приоритетному направлению «Программное и математическое обеспечение эффективного решения актуальных задач на современных вычислительных системах», проводимых под руководством профессора, д.ф.-м.н. М. Г. Мальковского и подразумевающих, в числе прочего, создание системы автоматического синтаксического анализа русскоязычных текстов ТгееШп. В системе Тгее1: оп сочетаемость слов изначально не учитывалась, что негативно сказывалось на качестве ее работы. В связи с этим актуальной стала задача интеграции в данную систему программных средств формирования и учета описаний сочетаемости в процессе синтаксического анализа.

Основные результаты диссертации отражены в десяти публикациях (в научном журнале из перечня ВАК [60], в двух тематических сборниках [18,75], а также в других изданиях [13,19,61,67,68,70,74]).

Полученные результаты докладывались и обсуждались на следующих конференциях и семинарах:

•международная конференция по компьютерной лингвистике «Диалог» (2010 г.);

•научная конференция МГУ «Тихоновские чтения» (2011 г.);

•международные научно-практические конференции SWorld (2008, 2009, 2011, 2012 гг.);

•научно-исследовательские семинары МГУ им. М. В. Ломоносова, ВЦ РАН, Института Русского языка РАН, Высшей школы экономики.

Заключение

.