Диалоговые алгоритмы поиска и навигации в автоматизированной системе текстового документооборота металлургического предприятия

Последнее десятилетие ознаменовано феноменальным прогрессом в области телекоммуникаций, информатики, вычислительной техники, что в свою очередь вызвало бурный рост объемов информации, хранящейся в электронном виде. При этом, если крупные массивы структурированных данных накапливаются уже десятилетия, то только сейчас объем текстовых электронных документов многократно превзошел объемы данных.

В настоящий момент большая часть документов на современном металлургическом предприятии, а также в других областях деятельности хранится именно в электронном виде. На предприятиях наиболее широко распространены следующие типы электронных документов: договора, письма, предложения, приказы, конструкторская документация, различные технологические инструкции, бухгалтерские документы.

Месячный оборот текстовых документов крупного металлургического предприятия может составлять десятки тысяч документов. Основные категории документов, это:

— нормативно-правовая база;

— организационно-распорядительные документы;

— внутренний документооборот;

— взаимодействие с контрагентами.

Документы хранятся в электронном виде как в различных информационных системах (справочные системы, системы автоматизации документооборота и проектирования), так и в виде отдельных файлов. При этом следует отметить, что, как и в информационных системах, так и в средствах поиска файлов, как правило, присутствует только поиск по ключевым словам, зачастую даже без учета морфологии.

Очень остро стоит вопрос поиска по полнотекстовой ганструкторско-технологической документации в проектных организациях металлургической отрасли, например, таких как ОАО «Гипромез». Переход на новую систему стандартизации в связи со вступлением в ВТО ставит вопрос о кросс-лингвистическом поиске и создании двуязычной терминологической системы, обладающей современными средствами поиска и навигации.

Прогресс в области телекоммуникаций, снижение стоимости передачи и хранения данных вызвали бурный рост сети Интернет и объемов информации в ней, а также сделали возможным организацию удаленного доступа к различным библиотечным ресурсам, таким как собственно электронные библиотеки, различные подборки статей, базы знаний и т. д.

Такой рост объема информации, происходящий одновременно с ростом информационных потребностей пользователей и общей тенденцией к понижению требований к их квалификации в области организации поискового процесса, ставит старую проблему эффективного информационного поиска остро как никогда ранее.

Еще одной областью применения полнотекстовых поисковых машин является патентный поиск. Сейчас в Интернет доступен поиск по крупнейшим базам данных патентов России, США, Европы. Однако современные системы предоставляют поиск только по ключевым словам, то есть для того, чтобы убедиться в новизне своей идеи автор вынужден перебирать различные варианты описания патента, самостоятельно подбирая синонимы, комбинируя ключевые слова. Это нелегко проделать даже для родного языка, поиск же на других языках становится еще более затруднительным.

Необходимо отметить, что, несмотря на непрерывно идущие исследования в области совершенствования поисковых технологий (о чем косвенно может свидетельствовать постоянное появление новых поисковых машин (ПМ) в сети Интернет), нельзя сказать, что поставленная проблема близка к своему решению.

Согласно многочисленным исследованиям, более 50 процентов пользователей заканчивают сеанс работы с поисковой системой на первой же странице, просматривая обычно 10−20 ссылок. При этом, как правило, лишь 2−3 ссылки содержат действительно полезную для пользователя информацию. Можно предположить, что значительная доля этих пользователей уходят с сайта неудовлетворенными результатами поиска. Неэффективный поиск в Интернет приводит к огромным расходам на лишний трафик, который несут как пользователи (в лице предприятий, которые оплачивают использование Интернет в рабочих целях), так и владельцы сайтов, на оборудование которых создается непроизводительная нагрузка такими пользователями. По различным оценкам 50−70% навигационного трафика в Интернет приходится на просмотр ошибочно найденных страниц.

Эта проблема порождает другую. Доход многих информационных ресурсов зависит от эффективности демонстрируемой на их страницах рекламы, таким образом, реклама, продемонстрированная не тому пользователю, означает убытки или дополнительные расходы рекламодателя.

Одной из причин, не позволяющих изменить эту ситуацию, является то, что большинство исследований и способов совершенствования ПМ сфокусировано на развитии традиционных (разработанных еще до современного уровня развития вычислительной техники и проникновения ее во все сферы деятельности) способов индексации текстов и ранжирования результатов поиска.

Итак, в настоящий момент для поисковых машин очевидны следующие области применения:

— поиск в Интернет;

— поиск в системах документооборота предприятий;

— патентный поиск;

— поиск в хранилищах текстовой информации (новости, научные ресурсы).

Таким образом, актуальность работы обуславливается огромным количеством доступной информации и отсутствием адекватных инструментов ее структурирования, поиска и навигации. К настоящему моменту накоплен достаточный объем знаний в области компьютерной лингвистики, поисковых технологий, разработки поисковых машин, построения пользовательских интерфейсов, кроме того, производительность современной вычислительной техники многократно превосходит ту, которая была в момент начала разработки большинства имеющихся поисковых систем. Это позволяет приступить к созданию поисковых систем, основанных на качественно новых принципах, в частности на интерактивном взаимодействии с пользователями через удобные интерфейсы.

Цель работы заключается в исследовании различных диалоговых (интерфейсных) механизмов поиска, основанных на изменении поисковых запросов, разработка и апробация диалоговых моделей фокусировки и расширения поиска в системах документооборота металлургических предприятий, а также исследование возможностей применения частотных зависимостей для помощи пользователям в формулировании запросов при патентном поиске.

Для достижения поставленных целей были решены следующие задачи:

— проанализированы имеющиеся подходы к организации интерфейса поисковых систем, выявлены их узкие места и направления развития;

— предложены диалоговые решения для повышения эффективности поиска, основанные на методах фокусировки, расширения и переформулирования запроса;

— предложены диалоговые решения для повышения эффективности поиска, основанные на частотных моделях;

— предложена формальная постановка задач расширения и фокусировки поиска, создано программное обеспечение для их решения;

— проведена оценка эффективности предложенных методов разрешения многозначности, фокусировки поиска, навигации по онтологиям при использовании в системах документооборота металлургических предприятий, патентного поиска, сети Интернет.

Научная новизна работы заключается в:

— формальной постановке задачи расширения и фокусировки поиска в интерфейсном модуле поисковой машины, основанной на использовании лексического значения;

— интерфейсной модели поисковой машины, основанной на технологиях разрешения многозначности;

— подтверждении возможности и эффективности применения частотных показателей при работе с лексическими онтологиями;

— математическом описании различных частотных факторов для использования в пользовательском интерфейсе.

Практическая ценность работы заключается в следующем:

— выполнена формальная постановка задачи построения пользовательского интерфейса, основанного на технологиях разрешения многозначности, и разработке диалогового алгоритма фокусировки и расширения запроса;

— создана математическая модель частотных факторов при навигации по онтологической системе, которая позволяет строить пользовательские интерфейсы для различных сфер применения;

— использование результатов исследования при построении информационно-поисковой составляющей систем полнотекстового документооборота промышленного предприятия в металлургическом комплексе, должно привести к сокращению потерь и экономии оборотных средств;

— разработаны новые интерфейсных принципы с использованием лексических онтологии, которые позволяют строить более эффективные системы патентного поиска.

— использование новых интерфейсных моделей при создании информационно-поисковых систем в Интернет, имеет потенциал сокращения общего объема передаваемой информации на 10%;

— использование разрешения многозначности может повысить отдачу от рекламы при размещении платных ссылок в результатах поиска в сети Интернет в 2−3 раза за счет лучшей фокусировки.

Методы исследования.

При выполнении работы использовались методы:

— алгоритмического моделирования;

— структурного программирования;

— реляционная модель построения баз данных;

— метод частотного анализа текстов;

— метод частотного анализа запросов к поисковым системам;

— методы семантического анализа текстов, основанные на разрешении лексической многозначности;

— методы системного анализа и принятия решений.

Результаты работы были практически реализованы в виде программных прототипов пользовательских интерфейсов. Методы организации интерфейса к лексической онтологии на частотных принципах приняты к внедрению в учебном процессе МИСиС для обучения по курсу «Лингвистические основы информатики».

Работа производилась по следующим направлениям специальности 05.13.01:

— теоретико-множественный и теоретико-информационный анализ сложных систем;

— методы и алгоритмы интеллектуальной поддержки при принятии управленческих решений;

— визуализация, трансформация и анализ информации на основе компьютерных методов обработки информации.

Апробация работы. Результаты работы докладывались на следующих научных конференциях:

— Международный семинар Диалог'2002, Протвино, 6−11 июня 2002 г.;

— Когнитивное моделирование в лингвистике'2002, п. Дивноморское, сентябрь.

2002 г.;

— International Workshop Speech and Computer (SPECOM'2003), Москва, 27−29 октября 2003 г.;

— Международный семинар Диалог'2003, Протвино, 11−16 июня 2003 г.

Работа выполнялась при частичной поддержке Российского Фонда Фундаментальных Исследований (грант РФФИ № 05−07−90 939, «Система онтологического типа для поиска и обработки текстовой информации»).

Результаты работы приняты к внедрению и использованию при создании информационно-аналитических систем разработки ЗАО «Сфера».

Теоретические вопросы диссертации освещаются в следующих научных публикациях:

Поляков В.Н., Бодров Д. А., Точин А. В. Интерактивные методы фокусировки и Расширения поиска в интеллектуальной поисковой машине // Компьютерная лингвистика и интеллектуальные технологии: Тр. Международного семинара Диалог'2002. (Протвино, 6−11 июня 2002 г.): В 2 т. / Под ред. А. С. Нариньяни.— М.: Наука, 2002. Т. 2: Прикладные проблемы. Стр. 438−449.

Бодров Д. А., Поляков В. Н. Проблемы создания эффективных поисковых машин (обзорная статья) // Обработка текста и когнитивные технологии: Сборник (Вып. 7) / Под ред. Соловьева В. Д. — Казань: 2002. Стр. 8−55.

Поляков В. Н., Бодров Д. А. Навигация в пределах лексической онтологии с учетом частотных факторов // Компьютерная лингвистика и интеллектуальные технологии: Тр. Международного семинара Диалог'2003. (Протвино, 11−16 июня 2003 г.) / Под ред. И. М. Кобозевой, Н. И. Лауфер, В. П. Селегея. — М.: Наука, 2003. Стр. 554−568.

Bodrov D. A., Polyakov V. N. Frequency Factors For Navigation through Lexical Ontology// Proceedings of the International Workshop Speech and Computer (SPECOM'2003), Moscow,.

Russia, October 2003. — M: 2003. Стр. 77−87.

Бодров Д. А., Кожитов С. J1., Поляков В. Н. Автоматизация текстового оборота на металлургическом предприятии и новые поисковые технологии // Перспективные технологии и оборудование для материаловедения и наноэлектроники: Материалы семинара / Под ред. проф. Л. В. Кожитова, проф. В. К. Карпасюка. — М.: МГИУ, 2006 — 741 с.

Бодров Д. А., Кожитов С. Л., Поляков В. Н. Задачи интерактивной обработки поисковых запросов в теоретико-множественной постановке. // Известия Саратовского университета. Новая серия. Серия «Математика. Механика. Информатика» — Саратов: 2007. Том 7. Выпуск 1. Стр. 78−83.

Структура диссертации. Работа состоит из введения, четырех глав, заключения, списка литературы.

4.5. Выводы.

В данной главе показано, почему предложенные технологии поиска направлены в первую очередь на использование в информационных системах промышленных предприятий, и сделаны оценки эффективности предложенных методов повышения качества поиска и их влияние на следующие области:

— системы электронного документооборота металлургических предприятий;

— системы патентного поиска;

— системы контекстной рекламы в сети Интернет;

— непроизводительный трафик в сети Интернет.

В главе предложена методика оценки эффективности систем документооборота на металлургическом предприятии.

В области патентного обозначены основные риски предприятия из-за отсутствия качественного патентного поиска и факторы влияния эффективности поиска на хозяйственную деятельность предприятия.

Для обоснования применимости предложенных механизмов в сети Интернет предложена методика вычисления повышения пертинентности результатов поиска и сделана ее численная оценка.

На основе полученной оценки повышения качества поиска произведен анализ ее влияния на эффективность баннерной рекламы на поисковых системах и общий объем трафика в сети Интернет.

ЗАКЛЮЧЕНИЕ

настоящей работе произведено исследование методов повышения качества поисковой составляющей в системах документооборота в металлургии и в системах патентного поиска.

В ходе выполнения работы выяснилось, что большинство опубликованных исследований ориентированы на развитие традиционных подходов к созданию ИПС, в то же время исследования, направленные на использование механизмов разрешения многозначности или построения интерактивных поисковых систем практически отсутствуют. Кроме того, большинство исследований направлено на поиск путей повышения качества автоматического поиска, хотя в случаях нечеткого формулирования поисковых запросов целесообразнее использовать интерактивные методы уточнения запроса.

Данная работа, в свою очередь, была направлена на исследование различных диалоговых (интерфейсных) методов повышения качества поиска, основанных на интерактивном изменении и уточнении поисковых запросов, а также проведена апробация диалоговых моделей фокусировки, расширения поиска и моделей частотного интерфейса формулирования запросов с использованием онтологии.

Созданные в результате работы модели позволили убедиться в правильности сделанных предположений о применимости интерактивного взаимодействия с пользователями для повышения качества поиска в системах документооборота металлургических предприятий. Созданное приложение-прототип продемонстрировало применимость онтологий в совокупности с частотными оценками для формулирования поисковых запросов при патентном поиске.

Проделанная работа привела к следующим результатам и выводам:

1. Выполнена формальная постановка задачи повышения качества поиска путем переформулирования запросов. Формализация охватывает следующие способы фокусировки запроса: тематические кластеры, словосочетания, вопросы, коммуникативные кластеры, и следующие способы расширения полноты поиска: словообразовательная парадигма, синонимы, аббревиатуры и онтологии. Введены формальные критерии качества поиска на основе понятий пертинентности и мощности множества результатов.

2. На основе выполненной формальной постановки задачи поиска предложен алгоритм построения диалоговой поисковой системы, использующей технологии разрешения многозначности.

3. Разработана реляционная модель данных, позволяющая описывать структуру текстов с целью улучшения возможности поиска, и прототип поисковой системы, в пользовательском интерфейсе которой были использованы механизмы разрешения многозначности.

4. Разработаны общие требования к частотным функциям, используемым в частотном интерфейсе. Разработано несколько частотных функций, проанализированы отношения между ними. Разработан метод оценки перспективности навигации по древовидной структуре на основе веса поддерева. Введены несколько вариантов таких методов и проанализированы их относительные преимущества и недостатки.

5. Проведено исследование возможностей использования частотных факторов в организации диалога информационной системы с пользователем для облегчения использования сложных механизмов поиска. Сформулированы подходы, позволяющие организовать частотно-зависимый онтологический интерфейс для различных категорий и информационных потребностей пользователей. Разработано специализированное приложение-прототип для оценки возможностей применения различных частотных факторов и способов их визуализации, с помощью которого опробованы различные способы визуализации частотных факторов, проанализированы их относительные преимущества и недостатки.

6. Сделан вывод о наибольшей эффективности предлагаемых механизмов при применении их в информационных системах промышленных предприятий (в том числе металлургических), а также в системах патентного поиска, т. е. при использовании специалистами в предметной области (хорошо владеющих специальной лексикой).

7. Результаты исследований применяются в проекте Интеллектуальной поисковой машины, в учебном процессе МИСиС по курсу «Лингвистические основы информатики», могут быть применены в системах документооборота металлургического предприятия, в системах патентного поиска, а также других информационных системах.