Методы автоматической классификации и статистического анализа входного потока текстовой информации в информационных системах

Актуальность работы. В процессе эксплуатации различных информационных систем возникают актуальные проблемы, связанные со сбором, классификацией и предметным анализом больших потоков текстовой информации, поступающих как из российских, так и из зарубежных источников. Текстовая информация поступает на многих языках, с использованием различных стилей изложения материала. Большой объем информации на различных языках невозможно анализировать вручную, требуется компьютерный поиск, тематический и статистический анализ потока информации. Современные условия ставят новые требования к процессу обработки информации, ее автоматической классификации и статистическому анализу результатов обработки.

С ростом объема информационного потока специалистам-аналитикам становится все труднее заниматься тематическим анализом информации и ведением аналитических задач вручную при существующих средствах автоматизации. Возникает потребность в создании системы, позволяющей выполнять автоматическую классификацию информации входного потока и автоматизировать процесс ведения аналитических задач. Программные разработки по автоматической классификации информационных массивов существуют, но они, как правило, лишь частично решают проблему автоматической классификации или ведения аналитических задач и, в основном, жестко привязаны к конкретному языку, конкретным классификаторам или к конкретным аналитическим задачам.

Жесткая привязанность к конкретному языку позволяет осуществить более точный синтаксический, семантический и морфологический анализ для данного языка, но при этом качество обработки информации на других языках оставляет желать лучшего. Средства морфологического анализа могут быть усовершенствованы только на уровне программиста, а настроить разработку на новый язык в большинстве случаев вообще не представляется возможным.

В этой связи актуальной является проблема автоматической классификации входного потока текстовой информации с последующим формированием и ведением тематического анализа и аналитических задач, представляющих собой статистический анализ некоторых промежуточных результатов, полученных в процессе автоматической классификации информации. Предлагается решение проблемы универсальности по отношению к языкам, к классификаторам и к аналитическим задачам и решение по переносу проблем настроек системы на различные режимы работы на пользовательский уровень. Данная диссертационная работа посвящена решению проблемы автоматической классификации и статистического анализа результатов автоматической классификации входного потока текстовой информации.

Степень научной разработанности проблемы автоматической классификации текстовой информации и статистического анализа автоматической классификации. Важность проблемы автоматической классификации и статистического анализа определяется необходимостью обеспечения универсальности данной задачи по отношению к иностранным языкам, к классификаторам и к тематической направленности аналитических задач, решаемых во многих организациях.

Многие теоретические и практические вопросы автоматической классификации текстов и статистического анализа результатов автоматической классификации получили свое решение на достаточно высоком уровне в работах российских специалистов: Белоногова Г. Г., Буркова В. Н., Зеленкова Ю. Г., Новоселова А. П., Хорошилова А. В., Дубинского А. Г., Ермакова А. В. и др., а также ряда зарубежных специалистов: Штейна В., Жоачимса Т. и др.

Несмотря на то, что проблема автоматической классификации текстовой информации представлена на достаточно высоком уровне, предлагаемые разработки не являются универсальными по отношению к иностранным языкам и к стилю изложения текстов. Несмотря на высокий уровень решения задачи автоматической классификации, предлагаемые системы являются практически закрытыми и не имеют возможности настроек на пользовательском уровне на работу с новыми иностранными языками. Отсутствие предложений по методике статистического анализа, позволяющего связывать между собой классы нескольких классификаторов, по ведению многоклассификаторных аналитических задач, универсальных по тематической направленности, а также цельных предложений, связывающих между собой задачи автоматической классификации и статистического анализа, обусловили выбор темы настоящей диссертации.

Основной целью настоящей работы является разработка и программная реализация методов автоматической классификации входного потока текстовой информации и методов ведения тематического анализа и аналитических задач на основе статистического анализа результатов автоматической классификации.

Объектом исследования является ведомственная информационная система.

Предметом исследования являются методы автоматической классификации и статистического анализа информации в информационных системах.

В настоящей диссертационной работе были поставлены и решены следующие задачи:

• сформулировать системный подход к совершенствованию методов автоматического анализа текста;

• определить технические требования к системам автоматической классификации входного потока текстовой информации и к средствам статистического анализа результатов обработки текстов;

• разработать методику автоматической классификации с применением морфологического анализа, универсальную по отношению к различным иностранным языкам и стилю изложения текстов;

• разработать структуру и методику ведения словарей ключевых словосочетаний;

• разработать методы оптимизации поиска без предварительного индексирования обрабатываемого массива текстовой информации;

• разработать методику статистического анализа результатов автоматической классификации текстов и формирования статистических баз данных и аналитических задач;

• разработать методику ведения тематического анализа и аналитических задач с автоматическим определением тематик или фактов, представляющих особый интерес.

Методы исследования. Исследование проводилось путем анализа логико-математических закономерностей морфологии русского языка, анализа структуры существующих словарей и поисковых запросов и логических моделей возможных запросов, математического анализа методики оценки релевантности запросов, путем создания экспериментальных баз данных и разработки экспериментальных вспомогательных программных продуктов, моделирующих научные решения по данной проблеме. Для обоснования предлагаемых научных и технологических решений, для оптимизации работы системы и для решения многих вспомогательных задач широко использовались современные математические методы в области вычислительной математики, теории вероятности, алгебры логики, математической статистики и других областей.

Научная новизна диссертационной работы заключается в следующем:

— разработаны научные и технологические решения по созданию классификационно-аналитической системы, отличающейся от существующих аналогов универсальностью по отношению к языкам, классификаторам и к специфике задач предметного анализа текстовой информации в информационных системах;

— разработана и обоснована структура и методика ведения словарей ключевых словосочетаний с учетом оптимизации по быстродействиюразработана методика статистического анализа результатов автоматической классификации текстов и формирования и ведения статистических баз данных, позволяющая проводить предметный анализ текстов, опирающийся на любой набор классификаторов. Отличительной особенностью данной методики является то, что она позволяет учитывать взаимоотношения классификаторов и систематизирует связи между классами различных классификаторовразработана методика ведения тематического анализа и аналитических задач, позволяющая идентифицировать объекты аналитического учета (действия, события и пр.) по результатам статистических расчетов.

Теоретическая значимость. Предложенная комплексная методика автоматической классификации и статистического анализа является совершенствованием существующих подходов и в дальнейшем может быть расширена и дополнена функциями автоматического и автоматизированного тематического анализа потоков текстовой информации. Структура статистических баз данных, формируемых с помощью предложенной технологии, позволяет ставить и решать большой спектр статистических и математических расчетных задач и задач, связанных с принятием решений, имеющих место в информационных системах. Развитие данной разработки может осуществляться путем дополнения ее новыми решениями в области морфологического, синтаксического и семантического анализа языков, для усовершенствования методов морфологического анализа, разработки методов семантического и синтаксического анализа языков, с последующим предложением решения о принципах ввода правил семантического и синтаксического анализа на пользовательском уровне.

Практическая значимость. Данная разработка может иметь широкий спектр применения для различных предметных областей. Предложенная разработка позволяет формировать текстово-фактографические базы данных, содержащие классифицированную информацию, в автоматическом режиме. На основании результатов классификации имеется возможность формировать аналитические задачи и статистические базы данных по результатам обработки текстов, автоматизировать работу специалистов-аналитиков, осуществляющих тематический анализ текстовой информации и ведение аналитических задач в различных предметных областях, что может послужить функциональным дополнением и развитием информационных систем различных организаций.

Самостоятельное практическое значение имеют:

— методика обработки текстов на различных иностранных языках;

— методика статистического анализа результатов автоматической классификации.

Внедрение и апробация результатов исследования.

Программа автоматической классификации текстовой информации «Автоклассификация» и программа статистического учета данных автоматической классификации, разработанные на основе диссертационного исследования, прошли испытания и успешно внедрены в подсистеме «Центр-МИД» в рамках опытно-конструкторской работы «Центр» Федеральной целевой программы.

Основные результаты работы докладывались на IX Международной научно-практической конференции «Документация в информационном обществе: административная реформа и управление документацией» (Москва, 2004) и на заседании научно-технического совета ФГУП «НИЦИ при МИД России».

Публикации. Основные положения диссертационного исследования отражены в четырех публикациях автора общим объемом 3,5 печатных листа, в том числе две — в журнале, рекомендуемом ВАК России.

Структура и объем диссертации

Диссертация состоит из введения, трех глав, заключения, списка литературы и трех приложений.

Список литературы

включает 99 наименований. Общий объем диссертационной работы 203 страницы, содержащих машинописный текст, 8 рисунков и 34 таблицы.

ЗАКЛЮЧЕНИЕ

.

В результате диссертационных исследований разработана комплексная методика и ее техническая реализация по решению задачи автоматической классификации и статистического анализа входного потока текстовых сообщений. Задачи автоматической классификации и статистического анализа являются основными составными компонентами обработки текстов. Предлагаемые научные и технические решения обеспечивают как полноту, так и универсальность по отношению ко многим иностранным языкам и по отношению к классификаторам. Модульный принцип построения системы допускает как частичное использование возможностей предлагаемых программных продуктов, так и их доработку и модернизацию, путем замены отдельных блоков на более совершенные разработки.

Предлагаемое решение задачи автоматической классификации имеет три составляющих: морфологический анализ, ведение и индексирование словарей ключевых словосочетаний и критерии принятия решения о присвоении текстам «соответствующих классов.

Реализован морфологический анализ текстов, основанный на использовании таблиц морфологического анализа, что позволяет на уровне продвинутого пользователя настраивать систему без вмешательства разработчиков на новые иностранные языки. Основными действиями анализа являются побитовые конъюнкции — действия низкого уровня, которые выполняются вычислительными машинами гораздо быстрее, чем обычные арифметические действия, что значительно ускоряет процесс обработки текстов.

Предлагаемая методика ведения и индексирования словарей ключевых словосочетаний позволила вводить данные, эквивалентные контекстным поисковым запросам любой логической сложности, что доказано в настоящей работе. В работе приведено математическое обоснование предлагаемой структуры ключевых словосочетаний. Предлагаемая структура ключевых словосочетаний поддерживает также и обычные простые запросы.

Индексирование словарей выполнено с использованием методов оптимизации поиска с учетом того, что обработка текстовой информации выполняется с неиндексированными текстовыми массивами. В индексных файлах содержатся данные предварительного морфологического анализа ключевых слов словосочетаний, что сокращает количество операций при выполнении анализа текстов. Структура и взаимосвязь шести индексных файлов позволяют сократить до минимума количество операций сравнения слов при обработке текстов, что также значительно повышает быстродействие программы.

При принятии решения о присвоении > обрабатываемого текста соответствующего класса рассчитываются предварительные данные статистического анализа. Это позволяет в процессе однократного прочтения обрабатываемого текста собрать все необходимые данные об этомтексте. Параметры настроек, вынесенные на пользовательский уровень, позволяют настраивать программу на обработку текстов разного стиля изложения, с использованием различных классификаторов, что обеспечивает универсальность предлагаемого решения по отношению к классификаторам и к стилю изложения материала в обрабатываемых текстах.

При формировании статистических баз данных, аналогия элементарной статистической записи, связывающей два класса, дату и обрабатываемый документ, и бухгалтерской проводки послужила основанием к использованию веками отработанной методики бухгалтерского учета для статистического анализа. За основу структуры взаимосвязи статистических отчетов взята журнально-ордерная форма ведения бухгалтерского учета. За основу структуры статистической базы данных взята мемориально-ордерная форма бухгалтерского учета, по аналогии с самыми популярными программными продуктами по ведению бухгалтерского учета «1С — бухгалтерия» и «ИнфоБухгалтер». Предложенная структура статистической базы данных оптимизирована для проведения статистических расчетов. В настоящей работе предложен вариант адаптации методики бухгалтерского учета к постановке и ведению аналитических задач, строящихся на любом количестве классификаторов, начиная с двух. Предложенный анализ документов по их значимости позволяет специалистам аналитикам получать наиболее интересные материалы для целей текущей аналитической задачи без предварительного поиска. Методика построения представлений статистики наглядно указывает специалистам, на какие объекты учета и материалы следует обратить внимание, что снижает влияние различных человеческих факторов.

Предложенная методика автоматической классификации и статистического анализа может быть использована для различных задач предметного анализа потока текстовой информации. В Министерстве иностранных дел опробована методика для анализа сообщений средств массовой информации на предмет кризисных ситуаций, террористических акций и антитеррористических мероприятий. Несмотря на сложную постановку аналитической задачи и на использование значительного количества классификаторов, были получены результаты, позволяющие отслеживать ситуацию в различных странах мира. Универсальность предлагаемого решения по отношению к классификаторам и аналитическим задачам позволяют рассмотреть возможность об использовании описанных в настоящей работе программных продуктов для задачи анализа проблем мирового океана и других аналитических задач, решаемых в Министерстве иностранных дел Российской Федерации.