Разработка и исследование метода классификации библиографической текстовой информации

Актуальность проблемы. При проведении научных исследований одной из основных задач, которая стоит перед специалистом, является своевременное получение информации об изменениях в интересующей его предметной области. Для решения этой задачи необходимо постоянно отслеживать публикации в специализированных журналах, просматривать материалы конференций. До недавнего времени эти действия приходилось выполнять вручную. Однако с развитием сети Internet значительно расширились возможности специалистов получать ценные сведения по научно-технической проблематике, используя специализированные ресурсы, такие как виртуальные библиотеки, электронные версии профильных журналов и конференций, сайты университетов и т. д. Таким образом, сегодня отслеживать публикации можно не выходя из дома с помощью компьютера и программы просмотра Internet-сайтов.

Необходимо отметить, что в настоящее время существует значительное число специализированных научно-технических Internet-pecypcoB и со временем их количество будет только увеличиваться. Поиск и анализ релевантной (соответствующей запросу) информации уже сейчас требует больших временных затрат со стороны исследователя.

Для автоматизации процесса отслеживания и обработки публикаций на Internet-сайтах, увеличения его эффективности необходимо применение методов интеллектуального анализа и обработки текстовой информации (Text Mining). Одним из важных и наиболее эффективных направлений обработки и анализа текстовой информации является классификация. Классификация текстовой информации заключается в разбиении набора документов на группы с целью обеспечения максимальной «близости» документов одной группы и максимального различия между группами. В качестве меры «близости «обычно используются метрики расстояния: евклидова метрика, квадрат евклидовой метрики, манхэттенское расстояние, метрика Чебышева и др.

Важной особенностью является то, что на сайтах журналов и конференций обычно находятся не полные тексты статей и докладов, а только их краткие описания (при этом полные тексты доступны только за деньги). Такие документы принято называть библиографическими. Как правило, библиографические научно-технические документы состоят из названия, фамилий авторов, краткого описания (аннотации) и ключевых слов. При этом библиографические научно-технические документы представляют сжатое изложение полнотекстового документа, его квинтэссенцию.

В настоящее время разработано значительное количество методов классификации текстовой информации, использующих ряд положений теории вероятностей, математической статистики, систем искусственного интеллекта. Многие из них требуют выполнения большого числа нереалистичных предположений, громоздки, требуют сложной процедуры обучения и настройки собственных параметров и далеко не всегда проходят проверку практикой. Необходимо также отметить, что большинство известных методов не способны проводить группировку документов с малой ошибкой и с высоким быстродействием и при этом быть легко обучаемыми и дообучае-мыми. Вместе с тем для ряда практических задач обработки больших массивов информации (в частности, при обработке и анализе потока научных публикаций на сайтах журналов и конференций) представляется необходимым разработка такого метода классификации, который обеспечивал бы высокое быстродействие без существенного увеличения ошибки классификации, был бы несложным для обучения и дообучения, представлял бы легко интерпретируемые результаты.

Использование поисковых систем Internet для отслеживания публикаций невозможно по той причине, что поисковые системы лишь облегчают поиск необходимой информации, а анализ полученных результатов (в частности классификация) по-прежнему возлагается на исследователя. На рынке программного обеспечения представлено значительное количество программных пакетов, в число основных функций которых входит классификация текстовой информации, однако применять эти программы для решения задачи отслеживания электронных публикаций проблематично, т.к. большинство программных продуктов не ориентированы на обработку библиографических научно-технических документов. Кроме того, большие программные продукты обладают излишней функциональностью и дорогостоящи. Таким образом, на данный момент не существует программного обеспечения, которое можно напрямую использовать для автоматического отслеживания библиографических публикаций на Internet-сайтах журналов. Следовательно, актуальной представляется задача разработки программного комплекса для автоматизации процесса получения и обработки научных публикаций с Internet-сайтов журналов по заданным пользователем предметным областям.

Целью диссертационной работы является разработка и исследование метода, который ориентирован на решение задачи классификации библиографических документов, расположенных на Internet-сайтах научно-технических журналов, обеспечивает малое время классификации и ошибку, сопоставимую с ошибкой известных методов.

В соответствии с указанной целью были определены следующие задачи исследования.

1. Проведение обзора и сравнительного анализа существующих методов классификации текстовых документов. Выявление характерных особенностей классификации библиографических текстовых документов по научно-технической проблематике.

2. Разработка метода классификации библиографических текстовых документов, обеспечивающего малое время классификации и ошибку классификации, сопоставимую с ошибкой других известных методов.

3. Исследование характеристик разработанного метода на различных выборках из библиографических текстовых документов и проведение сравнительного анализа с известными методами.

4. Разработка программного комплекса (ПК) для проведения классификации библиографических текстовых документов и составление методики, позволяющей использовать разработанный ПК для обработки и анализа библиографических документов на Internet-сайтах научно-технических журналов.

Методы исследования. Полученные в диссертации результаты основываются на применении аппарата теории вероятностей, математической статистики, численных методов, линейной алгебры, вычислительной геометрии.

Научная новизна.

1. Разработан новый метод классификации библиографических текстовых документов — модифицированный метод ближайшего соседа, основанный на методе ближайшего соседа, в котором с целью увеличения быстродействия предложено ввести опорные точки.

2. Обосновано количество и месторасположение опорных точек, даны рекомендации по выбору настраиваемых параметров в разработанном методе.

3. Получена оценка количества вычислительных операций, необходимых для классификации библиографических текстовых документов с помощью разработанного метода и показано, что он требует меньшего количества вычислительных операций по сравнению с прототипом (методом ближайшего соседа).

4. Выявлено влияние способа взвешивания терминов, меры близости между документами, длины документа, длины выборки и количества классов на ошибку и время классификации разработанного метода.

5. На основе сравнительного анализа ошибок классификации разработанного метода с ошибками известных методов показано, что при существенном снижении времени классификации (по сравнению с прототипом) ошибка разработанного метода остается сопоставимой с ошибками известных методов.

Практическая ценность результатов.

1. Разработан ПК «СКАТ» («Система классификации и анализа текста»), реализующий предложенный в диссертации метод классификации.

2. Для обоснования выбора наиболее эффективного метода (для решения конкретной задачи) в ПК «СКАТ» реализованы также другие методы (метод^{-ближайших} соседей, метод центроидов и наивный байесовский метод).

3. Разработанный ПК «СКАТ» позволяет пользователям получать и обрабатывать в автоматизированном режиме библиографические текстовые документы с Internet-сайтов электронных журналов.

4. ПК «СКАТ» ориентирован на использование широким кругом пользователей, не имеющих специальных знаний в области теории классификации и программирования.

5. Теоретические результаты и опыт использования ПК «СКАТ» в экспериментальных исследованиях обобщены в методике использования данного ПК для классификации библиографических документов из научно-технических журналов, получаемых из сети Internet.

Реализация результатов. Разработанный ПК «СКАТ» внедрен в эксплуатацию в Федеральном государственном учреждении Научно-исследовательском институте «Республиканский исследовательский научно-консультационный центр экспертизы» (ФГУ НИИ РИНКЦЭ) для автоматазированного получения и классификации англоязычных публикаций по профильным научно-техническим тематикам с сайтов электронных издательств, что подтверждается актом о внедрении.

Апробация работы. Материалы диссертации докладывались на трех международных конференциях «Информационные средства и технологии» (в 2001, 2002, 2003 гг. Москва, МЭИ) и на четырех научных сессиях МИФИ (2002, 2003, 2004,2005 гг. Москва, МИФИ).

Публикации. Основные результаты исследований опубликованы в 11 печатных работах.

Структура и объем работы. Диссертация состоит из введения, четырех глав, заключения, списка литературы из 102 наименований. Диссертация изложена на 125 страницах основного текста, содержит 31 рисунок и 5 таблиц.

Основные результаты работы состоят в следующем:

1. Проведен обзор и сравнительный анализ наиболее распространенных и эффективных методов классификации текстовых документов. Показано, что в настоящее время не существует методов, одновременно обеспечивающих малое время классификации, малую ошибку классификации, высокую скорость обучения, простоту реализации, легкую интерпретацию результатов на различных выборках текстовых документов.

2. Разработан новый метод классификации библиографических текстовых документов — модифицированный метод ближайшего соседа, основанный на методе ближайшего соседа, в котором с целью увеличения быстродействия предложено ввести опорные точки. Обосновано количество и месторасположение опорных точек, даны рекомендации по выбору настраиваемых параметров в разработанном методе.

3. Получена оценка количества вычислительных операций, необходимых для классификации библиографических текстовых документов с помощью разработанного метода и показано, что он требует меньшего количества вычислительных операций по сравнению с прототипом (методом ближайшего соседа).

4. На основе сравнительного анализа ошибок классификации разработанного метода с ошибками известных методов показано, что при существенном снижении времени классификации (по сравнению с прототипом) ошибка разработанного метода остается сопоставимой с ошибками известных методов.

5. Разработан ПК «СКАТ» («Система классификации и анализа текста»), реализующий предложенный в диссертации метод классификации. Для обоснования выбора наиболее эффективного метода (для решения конкретной задачи) в ПК «СКАТ» реализованы также другие методы (метод^{-ближайших} соседей, метод центроидов и наивный байесовский метод). Разработанный ПК позволяет пользователям получать и обрабатывать в автоматизированном режиме библиографические текстовые документы с Internet-сайтов электронных журналов и ориентирован на широкий круг пользователей, не имеющих специальных знаний в области теории классификации и программирования.

6. Теоретические результаты и опыт использования ПК «СКАТ» в экспериментальных исследованиях обобщены в методике использования данного ПК для классификации библиографических документов из научно-технических журналов, получаемых из сети Internet.

Заключение

.