Скачивание и обработка библиографических статей

Для обработки структурированных данных, содержащихся в статьях журналов требуется привести их к виду, удобному для использования в дальнейшем. Извлечение информации является разновидностью информационного поиска, связанного с работой над текстом на естественном языке. На практике эта задача является нетривиальной и требует индивидуального подхода в каждом конкретном случае. Главная цель такого преобразования — возможность анализа изначально «хаотичной» информации с помощью стандартных методов обработки данных.

Существует не мало видов лингвистического анализа, что позволяет всесторонне охарактеризовать основные единицы различных уровней языка. Любой язык — и естественный и искусственный — обладает набором определенных правил. Они могут быть явно и строго сформулированными (формализованными), а могут допускать различные варианты их использования. Формальные языки широко применяются в науке и технике. В процессе научного исследования и практической деятельности формальные языки обычно используются в тесной взаимосвязи с естественным языком, поскольку последний обладает гораздо большими выразительными возможностями. В то же время формальный язык является средством более точного представления знаний, чем естественный язык, а следовательно, средством более точного и объективного, обмена информацией между людьми.

Формальный язык используется в математической логике и информатике. В теории моделей язык строится из множеств символов, функций и отношений вместе с их арностью, а также множества переменных. Каждое из этих множеств может быть бесконечным. Из языка вместе с универсальными логическими символами составляются логические высказывания.

В настоящее время технологическая роль такой процедуры, как извлечение информации, всё больше возрастает — из-за стремительного увеличения количества неструктурированной информации, в частности, в интернете. Эта информация может быть сделана более структурированной посредством преобразования в реляционную форму. На практике существует несколько основных видов анализа текстовой информации: лексический, латентно-семантический и синтаксический.

Разрабатываемые в рамках данной работы программно алгоритмические средства (ПАС) позволяют скачивать БО, проводить их дальнейшую обработку и анализ. Для реализации процесса скачивания статей из электронных журналов необходимо предварительно провести лексический и синтаксический анализ веб-страницы, на которой данная статья представлено. Рассмотрим более подробно процессы лексического и синтаксического анализа.

В информатике лексический анализ — процесс аналитического разбора входной последовательности символов с целью получения на выходе последовательности символов, называемых «токенами» (подобно группировке букв в словах). Относительно данной работы нас интересует лексический анализ текстовой информации. В лингвистике слово представляется как абстрактная единица морфологического анализа. Входной текст, состоящий из последовательности одиночных символов, разбивается на последовательность слов или лексем, т. е. выделяются эти слова из непрерывной последовательности символов. Все символы входной последовательности с этой точки зрения разделяются на символы, принадлежащие каким-либо лексемам и разделители [2].

Дальнейшим этапом является выделение отдельных лексем. Ключевые слова распознаются либо явным выделением непосредственно из текста, либо сначала выделяется идентификатор, а затем делается проверка на принадлежность его множеству ключевых слов.

С точки зрения обработки значений лексем, анализатор может либо просто выдавать значение каждой лексемы, и в этом случае построение строк переносится на более поздние фазы, либо он может самостоятельно строить таблицы объектов. Лексический анализатор может быть, как самостоятельной фазой трансляции получающим на выходе файл лексем, так и подпрограммной, выдавая лексемы при каждом обращении к анализатору (рис. 1.2).

Говоря в общем и целом, лексический анализатор подготавливает входную последовательность для синтаксического анализатора, путем разбивания токенов на лексемы. В нашем случае это выглядит как преобразование кода страницы со статьей на HTML-теги и информацией внутри них (рис. 1.4).

Синтаксический анализ в лингвистике и информатике — это процесс, который определяет, принадлежит ли некоторая последовательность лексем языку, порождаемому грамматикой. В принципе по любой грамматике можно построить синтаксический анализатор, но грамматики, используемые на практике, имеют специальную форму. В жаргонной лексике синтаксический анализ называют парсингом, а синтаксический анализатор — парсером [3].

В ходе синтаксического анализа исходный текст преобразуется в структуру данных, обычно — в дерево, которое отражает синтаксическую структуру входной последовательности и хорошо подходит для дальнейшей обработки. В основу синтаксического анализа была положена модель дерева зависимостей (рис. 1.5).

Вход анализатора — последовательность лексических и таблицы, например, таблица внешних представлений, которые являются выходом лексического анализатора. В рамках нашей работы на вход подаются HTML-теги.

Выход синтаксического анализатора — дерево разбора и таблицы, например, в нашем случае дерево тегов HTML-страницы. Данная структура хорошо подходит для дальнейшей обработки.

Область применения синтаксического анализа очень разнообразна. Всё что угодно, имеющее синтаксис, поддается автоматическому анализу.

• 1) Языки программирования — разбор исходного кода языков программирования, в процессе трансляции (компиляции или интерпретации);
• 2) Структурированные данные — данные, языки их описания, оформления и т. д. Например, XML, HTML, CSS, ini-файлы, специализированные конфигурационные файлы и т. п.;
• 3) Построение индекса в поисковой системе;
• 4) SQL-запросы (DSL-язык — Domain Specific language — Предметно-ориентированный язык — язык программирования, специализированный для конкретной области применения);
• 5) Математические выражения;
• 6) Регулярные выражения (которые, в свою очередь, могут использоваться для автоматизации лексического анализа);
• 7) Формальные грамматики;
• 8) Лингвистика — человеческие языки. Например, машинный перевод и другие генераторы текстов.

Латентно-семантический анализ (ЛСА) — это метод обработки информации на естественном языке, анализирующий взаимосвязь между коллекцией документов и терминами в них встречающимися, сопоставляющий некоторые факторы (тематики) всем документам и терминам [4].

В основе метода латентно-семантического анализа лежат принципы факторного анализа, в частности выявление латентных связей изучаемых явлений или объектов. При классификации/кластеризации документов этот метод используется для извлечения контекстно-зависимых значений лексических единиц при помощи статистической обработки больших корпусов текстов.

В нашей работе мы не пользуемся латентно-семантическим анализом, т.к. данный анализатор не имеет дело со структурными конструкциями языка.