Исследование и разработка автоматизированной системы смысловой обработки текстов в системе управления электронными архивами

Актуальность работы. Несмотря на широкое использование мультимедиа, текст остается одним из основных видов информации в большинстве электронных хранилищ. Огромное количество информации скапливается в многочисленных текстовых базах, хранящихся в информационных агентствах, библиотеках, корпорациях, в личных ПК и во всемирной глобальной сети. Объем информации увеличивается с поражающей скоростью и люди не в состоянии решать проблемы, связанные с этим ростом. Ввиду большого роста объемов текстовой информации и сложной структурированности естественно-языковых (ЕЯ) текстов, анализ текстов представляет собой актуальную проблему. Человечество нуждается в интеллектуальных электронных помощниках, которые могут справиться со смысловым анализом текста. Разработка эффективных подходов к обработке текстов с целью фильтрации, формирования смыслового портрета, навигации по базе текстов и т. д. является одним из наиболее актуальных направлений современных информационных технологий. В связи же с практическими потребностями быстрой переработки и поиска информации все более актуальной становится проблема смыслового преобразования текстов. Под преобразованием понимается такой процесс переработки текстов, результатом которого является создание некоторых вторичных текстов, близких по смыслу к исходным, но не заменяющих их полностью. В практическом плане эта проблема заключается в разработке конкретных методов автоматического аннотирования, реферирования, индексирования и др.

В настоящее время в мире существуют и активно развиваются системы смыслового поиска в полнотекстовых базах данных, которые поддерживаются ведущими фирмами — производителями серверов баз данных, например, Oracle, Microsoft, IBM и др. Такие системы строятся на основе многомерных хранилищ, из которых данные извлекаются и обрабатываются с помощью алгоритмов для заранее определенных субъект-объектных отношений менаду ними. Крупные поисковые серверы в Интернете (например, Google, Yahoo, Yandex) поддерживают алгоритмы поиска текстов «схожих» с данным и расчета релевантности найденных документов исходному запросу. Специализированные системы полнотекстового анализа (например, в России это «Следопыт», «ТекстАналист») позволяют проводить автоматическую классификацию и реферирование текстов.

Классически в основе задачи обработки ЕЯ-текстов лежат морфологический и морфемный анализ, синтаксический и семантический анализ, результатами которых являются модели текста, адекватно отражающие его словообразовательные, грамматические и смысловые конструкции. В этом смысле, основные методы анализа текста достаточно подробно изложены в трудах Апресяна Ю. Д., Виноградова Д. В., Гладкого А. В., Клосса Б. М., Кожуновой О. С., Мельчука И. Д., Солтона Г., Н.С., Филмора Ч., Финна В. К., Шведовой Н. Ю., Дж.Дж.Катца, Дж.А.Фодора, Б. Патти, А. Вежбицкой и др. Ряд современных усовершенствованных методов представлены в статьях Ермакова А. Е., Леонтьевой Н. Н., Мозгового М. В., Плешко В. В., Сокирко А., Толпегина П. В., Тузова В. А. и др.

В настоящее время успешно решена задача морфологического анализа текстов, результаты которого применяются в поисковых Интернет-машинах, текстовых редакторах, подсистемах проверки орфографии и пр. Задачи синтаксического и, в особенности, семантического анализа не решены в полной мере. Синтаксический анализ (анализ грамматики) можно встретить в системах перевода, в подсистемах проверки грамматики. Несмотря на богатую теорию в области семантического анализа, применение находят лишь методы анализа основанные на статистических (факторных) характеристиках слов и словосочетаний анализируемого текста. Следует отметить, что подсистемы, реализующие указанные методы анализа текста, не предоставляют средств настройки процесса анализа, средств пополнения баз правил грамматики языка и часто эти подсистемы дают грубые результаты.

Семантические модели (СМ) текста, являющиеся результатом комплексного анализа, позволяют оценить корректность текста, в наглядной форме, визуально представить структуру сюжета, взаимосвязь объектов и процессов текста, их атрибуты. Последовательность моделей простых предложений текста и результирующая визуальная модель текста позволяют реализовать обратную связь «воздействие на модель — реакция в тексте», благодаря чему можно в интерактивном режиме отлаживать процессы анализа текстов и доказательства объективности (однозначности) истолкования текстов на естественных языках.

Применение семантических моделей актуально в автоматизированных обучающих системах, при решении задач извлечения знаний из текстов, информационного поиска, реферирования, контроля корректности словарей терминов и определений, автоматической генерации ассоциативных связей в гипертекстовых базах данных (ГБД) и пр.

Учитывая вышеизложенное, а также то, что проблема смыслового анализа ЕЯ-текстов до настоящего времени не решена в полной мере, считаем, что совершенствование методов анализа ЕЯ-текстов и повышение степени их достоверности является актуальной задачей.

Разработанность проблемы. Исследования в области автоматической обработки текстов в Европе и США привлекают внимание крупнейших частных фирм и государственных организаций самого высокого уровня. Европейский Союз уже несколько лет координирует различные программы в области автоматической обработки текстов (например, проект 1ST, 1998;2001 гг.). В США с 1991 по 1998 гг. существовал проект TIPSTER, организованный Департаментом обороны совместно с Национальным институтом стандартов и технологий и Центром военно-воздушных и военно-морских вооружений. В работе консультативного совета этого проекта участвовали также ФБР, Национальный научный фонд и некоторые другие организации. Основной целью проекта было сравнение и оценка результатов работы различных поисковых систем и систем реферирования. По результатам проекта был опубликован подробный обзор и даны рекомендации по использованию этих систем. В США среди систем подобного рода наиболее известной является электронная архивная система «Excalibur RetrievalWare» производства компании Excalibur Technologies. Программные продукты этой компании используются Госдепартаментом, Библиотекой Конгресса, ЦРУ, компаниями Ford Motors, Lockheed, Reynold Electrical & Engineering, Maine Yankee Atomic Power.

Современные системы смыслового анализа текстов, особенностью которых являются: предпочтение скорости обработки текстов, точности семантического и морфологического анализа, выявление смысла текста, реферирование, автоматическое индексирование, эффективная навигация по текстовой базе, статистический частотный анализ словоупотреблений, автоматическая классификация и кластеризация текстов, смысловой поиск и расчет релевантности текстов поисковому запросу.

• OLAP-технологии. Сегодня все больше организаций, в том числе и банков, используют в качестве инструмента анализа своей деятельности OLAPтехнологии. OLAP, использует многомерное представление совокупных данных, чтобы обеспечить быстрый доступ к стратегической информации для дальнейшего анализа.

Недостатки OLAP-технологий: а) функциональность систем ограничивается возможностями SQL, так как аналитические запросы пользователя транслируются в SQL-операторы выборкиЬ) сложно пересчитывать агрегированные значения при изменениях начальных данныхс) сложно поддерживать таблицы агрегатовd) сложно изменять измерения без повторной агрегациие) снижение скорости обработки из-за вычислений по требованиюf) ограничение на объем данных- • система автоматического анализа текста TextAnalyst разработана в качестве инструмента для анализа содержания текстов, смыслового поиска информации, формирования электронных архивов.

Недостатки: а) не имеет готового словаря русского языкаЬ) не применяет сколько-нибудь развитых лингвистических средств, например синтаксического и морфологического анализа;

• Oracle InterMedia Text. Одним из наиболее мощных продуктов, позволяющих реализовать поддержку полнотекстовых баз данных с доступом через интернет, является система InterMedia Text в составе СУБД Oracle8i. В InterMedia Text интеллектуальная обработка текста (тематическая классификация, аннотирование) сочетается с поисковыми возможностями, доступными при работе с реляционными базами данных.

Недостатки: а) большинство возможностей InterMedia оказывается доступно в полной мере лишь для английского языка и, в меньшей мере, еще для ряда европейских и восточно-азиатских языковЬ) не задействует лингвистические технологии, которые зависят от лексики, грамматики и семантики языкас) не устанавливает смысловые связи между темами;

• Russian Context Optimizer (RCO). Адаптацией технологий Oracle к русскоязычным базам данных занимаются специалисты компании «Гарант-Парк-Интернет», которая выпускает продукт под названием Russian Context Optimizer (RCO), предназначенный для совместного использования с системой InterMedia Text.

Основной недостаток — функциональность системы ограничивается возможностями SQL, так как аналитические запросы пользователя транслируются в SQL-операторы выборки;

• Система PoIyAnalyst. Система PolyAnalyst предназначена для автоматического анализа числовых и текстовых данных с целью обнаружения в них ранее неизвестных, нетривиальных, практически полезных и доступных пониманию закономерностей, необходимых для принятия оптимальных решений в бизнесе и в других областях человеческой деятельности. Недостатки: а) поддерживается только платформа Windowsb) ограниченные возможности выявления структуры данныхс) невозможность объединения данных из различных баз данных в единый набор для просмотра. Это создает неудобства при одновременном анализе нескольких групп информации;

• WebAnalyst — это корпоративный аналитический сервер, представляющий собой интегрированную платформу для хранения и обработки информации и адаптированный для работы с веб-данными и для решения задач e-business. WebAnalyst включает в себя все математические модули для Data и Text Mining систем PolyAnalyst и TextAnalyst, а также специальную аналитическую математику. Недостатки: а) в основном ориентирована на интернетЬ) недостаточная оперативностьс) слабо развитые средства обобщения данных;

• Система «Ключи от Текста» — смысловой поиск и индексирование текстовой информации в электронных библиотеках.

Недостатки: а) большие затраты интеллектуальной работы как при обработке первоисточника, так и при наполнении БДЬ) в ней не учитывается коллективный характер использования Сети, а именно то обстоятельство, что ресурсы разделяемы;

• Интеллектуальная система «СЛЕДОПЫТ» помогает быстро находить текстовые фрагменты документов, и предназначена для тех, кто в результате своей деятельности имеет дело с большим объемом информации. «СЛЕДОПЫТ» позволяет оперативно находить необходимые документы, и представляет полученную информацию в удобном для пользователя виде. Следопыт ищет информацию на русском и английском языках. «СЛЕДОПЫТ» позволяет в качестве запроса использовать фразы на естественном языке. Допускаются комбинированные запросы на смешанном русско-английском языке.

Недостатки: а) ограничение на объем данныхЬ) зависит от сторонних программных продуктов, например, MS Office;

• В корпорации «Галактика» создан новый продукт — автоматизированная система поиска и аналитической обработки информации. Сферы применения: a) развитие предвыборных технологий и социологических исследований в целях позиционирования и продвижения интересов политических партий и движенийb) поддержка информационных подразделений, службы маркетинга и службы безопасности крупных предприятий и банковc) поддержка средств массовой информации.

Недостатки: а) Система не является управляющейЬ) Система не имеет механизма определения и контроля процедур выполнения конкретных операций или группы операций (например, определение процедуры СНАБЖЕНИЕ: способ формирования заявки — заявка — выбор поставщика — формирование заказа — отслеживание его выполнения — процедура получения на склад), что не позволяет руководителю быть уверенным, что его управляющие решения исполняютсяс) Система не имеет функций, необходимых для обеспечения деятельности крупных корпораций (Централизованное снабжение, распределение функций между организациями, передача полномочий от одной организации к другой, взаиморасчеты внутри корпорации и т. д.);

Большинство возможностей этих известных систем оказывается доступно в полной мере лишь для английского языка и, в меньшей мере, еще для ряда европейских и азиатских языков. Практически не поддерживают персидского языка. А также недостаточная защита данных.

Тенденцией развития рынка является разработка модулей лингвистического прикладного обеспечения для разработчиков систем автоматизации. Так как цены на данные программные продукты сопоставимы с ценами на системы автоматизации корпораций, необходимо расширять возможности существующих систем. В настоящее время в России и не только сложилась ситуация, что системы автоматизации управления корпоративными электронными архивами не поддерживают технологии автоматизированного смыслового анализа текстов, а современные системы анализа текстов не адаптированы к работе с электронными текстовыми архивами корпорации. Необходима разработка алгоритмов и методики автоматизированной смысловой обработки текстов и реализация программно-технического комплекса для внедрения смыслового полнотекстового анализа в технологию обработки электронных архивов. Данный комплекс также должен поддерживать персидский и другие азиатские языки.

Исходя из всего, что сказано выше, в данном диссертационном исследовании были сформулированы:

Объект исследования работы — математическое, информационное и программное обеспечение человеко-машинного взаимодействия на естественном языке. Предмет исследования — модели, методы и алгоритмы смыслового анализа естественноязыкового текста.

Цель работы — исследование, разработка и научно-практическое обоснование алгоритмов и методики автоматизированной смысловой обработки текстов и внедрение их в технологию обработки текстов в системе управления электронными архивами.

Для достижения поставленной цели требуется решение следующих основных научных н практических задач:

1. Аналитический обзор существующих методов и систем анализа ЕЯ-текстов.

2. Исследование и разработка архитектуры автоматизированной системы смысловой обработки текстов, а также принципов смыслового анализа текстов.

3. Исследование и разработка онтологии предметной области «смысловая обработка текстов на естественном языке» и правил логического вывода как информационной основы построения системы с целыо хранения и извлечения знаний о грамматиках естественных языков и о предметной области текста, а также выявления основных направлений снижения трудоемкости при проектировании алгоритмов смыслового анализа текстовой информации.

4. Разработка методов (статистических методов предварительного смыслового анализа текста, методики построения пересечения онтологий) и алгоритмов смыслового анализа текстов (алгоритм поиска, классификации, кластеризации, реферирования и т. д.), базирующихся на онтологиях ЕЯ.

5. Программная реализация автоматизированной системы комплексного смыслового анализа текстов и экспериментальное исследование предложенных методов и алгоритмов.

Методы исследования. Теоретические исследования выполнены с использованием моделей и методов системного анализа, статистического анализа, онтологического инжиниринга, теории множеств, семантических сетей, математической логики, теории проектирования баз данных. При разработке программного обеспечения использовались технологии объектно-ориентированного программирования и семантического web.

Достоверность и обоснованность полученных в работе результатов и выводов подтверждается корректностью разработанных математических моделей, положительными результатами проведенных экспериментальных исследований и опытом практической эксплуатации разработанных программных систем.

Научная новизна.

1. Предложена архитектура автоматизированной системы смысловой обработки текстов.

2. Разработаны онтология предметной области «смысловая обработка текстов на естественном языке», включающая декларативные и императивные знания о грамматиках естественных языков и правила вывода с применением языка логики предикатов первого порядка.

3. Разработаны методы и алгоритмы смыслового анализа ЕЯ-текстов.

4. Программно реализована автоматизированная система комплексного смыслового анализа ЕЯ-текстов.

Практическая полезность. Проведение смысловой обработки ЕЯ-текстов по предложенной технологии позволит облегчить процесс их обработки, повысить доверие к результатам обработки, снизить издержки на обработку, обеспечить дальнейшее развитие систем смысловой обработки ЕЯ-текстов. Кроме того, результаты, полученные в работе, окажут положительное влияние на конгломерацию частных систем смысловой обработки ЕЯ-текстов в общую систему смысловой обработки ЕЯ-текстов, поскольку в настоящее время средств, позволяющих осуществить полную смысловую обработку ЕЯ-текстов, не существует. Также практическая значимость исследования заключается:

• в программной реализации разработанного автором семантического ядра системы;

• в применении предложенных моделей, методов и алгоритмов для разработки автоматизированной системы комплексного смыслового анализа текстов;

• в возможности использования созданного семантического ядра системы в крупных системах смысловой обработки ЕЯ-текстов.

На защиту выносятся:

1. Архитектура автоматизированной системы смыслового анализа текстов.

2. Онтология предметной области «смысловая обработка текстов на естественном языке», включающая декларативные и императивные знания о грамматиках естественных языков и правила вывода.

3. Методы и алгоритмы смыслового анализа ЕЯ-текстов.

4. Разработанная и программно реализованная автоматизированная система комплексной смысловой обработки ЕЯ-текстов.

Реализация результатов работы. Результаты работы использованы на кафедре «САПР» в преподавании дисциплины «Онтологический инжиниринг» для магистрантов направления «Информатика и вычислительная техника». Получено 2 акта о внедрении (использовании) результатов диссертационной работы.

Апробация работы. Основные результаты диссертационной работы докладывались и обсуждались на следующих конференциях и семинарах:

Материалы 63-й научно-технической конференции профессорско-преподавательского состава СПбГЭТУ. 2011.

Публикации. Основные теоретические и практические результаты диссертации опубликованы в 7 публикациях, включая 3 в изданиях, рекомендуемых ВАК, 3 статьи в международных журналах, 1- материалы научно-технической конференции.

Структура и объем работы. Диссертационная работа состоит из введения, пяти глав, и заключения. Основной текст изложен на 126 машинописных страницах с иллюстрациями.

Список литературы

включает 34 наименования.

ОСНОВНЫЕ РЕЗУЛЬТАТЫ РАБОТЫ.

Основной результат работы заключается в совершенствовании технологий смыслового анализа естественно-языкового текста. Полученные результаты относятся к направлению исследований «Визуализация, трансформация и анализ информации на основе компьютерных методов обработки информации».

В работе получены следующие выводы и результаты:

1. Анализ существующих технологий семантического анализа ЕЯ-текстов позволил определить основные направления снижения трудоемкости проектирования алгоритмов анализа текстовой информации: сокращение объема описания грамматик ЕЯ и понятийного аппарата заданных предметных областей и совершенствование инструментальных средств создания правил для анализа ЕЯ-текста и онтологического описания понятий. Установлено, что излишняя сложность формализации терминов и правил грамматики языка приводит к возрастанию объемов его описания. Ограниченность расширяемости понятийного аппарата анализа ЕЯ-текста, обусловленная, как правило, сложностью его формализации, приводит к необходимости обращения к разработчикам таких методов с целью постоянной доработки системы.

2. Предложена архитектура автоматизированной системы смыслового анализа ЕЯ текстов.

3. Разработаны онтология предметной области «смысловая обработка текстов на естественном языке», включающая декларативные и императивные знания о грамматиках естественных языков и правила вывода.

4. Разработаны методы и алгоритмы смыслового анализа ЕЯ-текста, основанные на онтологии естественного языка и онтологическом описании предметов и процессов предметной области текста, а также выделении ролевых отношений между участниками процесса и ассоциативных отношений с понятиями предметной области.

5. Разработана и программно реализована автоматизированная система комплексной смысловой обработки ЕЯ-текстов «SemTextProcessor».

Публикации в журналах, входящих в перечень ВАК.

1. Фаррохбахт Фумани Мехди, Автоматизированная система смысловой обработки текстов в системе управления электронными архивами// Известия СПбГЭТУ «ЛЭТИ» № 3. 2011.С. 40−44.

2. Фаррохбахт Фумани Мехди, методика автоматической смысловой обработки текстов в системе управления электронными архивами // Известия СПбГЭТУ «ЛЭТИ». № 4. 2011.С. 40−44.

3. Фаррохбахт Фумани Мехди, архитектура web-ориентированных подсистем оптимизации электронных схем //Перспективы науки № 1(03). 2010. С. 90−94.

Статьи, опубликованные в других изданиях:

4. Farrokhbakht Foumani Mehdi, Automated semantic text processing in the management of electronic archives // The International Journal of Artificial Intelligence, Neural Networks, and Complex Problem-Solving Technologies, June 2012. http://springer.com.

5. Farrokhbakht Foumani Mehdi, The technique of automatic semantic text processing in the management of electronic archives // The International Journal of Artificial Intelligence, Neural Networks, and Complex Problem-Solving Technologies, July 2012. http://springer.com.

6. Farrokhbakht Foumani Mehdi, An ontological approach to semantic processing of natural language texts // The International Journal of Computer Science and Network Security, October 2012. http://www.IJCSNS.org.

— Материалы конференций:

7. Фаррохбахт Фумани Мехди. Смысловой анализ текстов на основе алгоритма определения пересечения онтологий этих текстов // Материалы 63-й научно-технической конференции профессорско-преподавательского состава СПбГЭТУ. 2011.