Информационно-поисковые языки. 
Документальные информационные системы

На сегодняшний день не вызывает сомнений тот факт, что естественные языки (ЕЯ) нельзя использовать в качестве основного средства представления информации во время цикла функционирования ДИПС. Можно выделить следующие недостатки ЕЯ, препятствующие этому:

Многообразие средств передачи смысла (не только лексика, но и контекст, парадигматические и текстуальные отношения между словами, ссылки на текст, встречавшийся ранее);

Семантическая неоднозначность (синонимия отдельных слов и словосочетаний);

Многозначность (полисемия, то есть совпадение названий различных предметов, имеющих между собой какие-либо общие свойства или признаки — например команда как экипаж судна и команда в футболе; омонимия, то есть совпадение названий различных предметов, не имеющих между собой общих свойств — например, лук репчатый и лук Амазонки; омография — совпадение написания слов при различном звучании, например дверной замок и средневековый замок);

Эллипсность (пропуски подразумеваемых слов).

Невозможность использования ЕЯ в качестве основного средства представления информации в ДИПС приводит к необходимости применения искусственных языковых средств.

Определение 3. Информационно-поисковым языком (ИПЯ) называется специализированный искусственный язык, предназначенный для описания основного смыслового содержания поступающих в систему сообщений, с целью обеспечения возможности последующего их поиска.

Особенности ИПЯ:

Создается на базе ЕЯ;

Наличие четких грамматических правил;

Отсутствие семантической неоднозначности;

Компактность.

ИПЯ принято разбивать на два основных типа:

Классификационные языки, Дескрипторные языки.

Классификационные ИПЯ служат для индексирования документов и информационных запросов посредством понятий и кодов некоторой выбранной классификационной системы. Лексика таких языков включает в себя не только отдельные слова, но и словосочетания и фразы для обозначения более сложных понятий. Для записи смыслового содержания сообщений в классификационных ИПЯ используются только элементы из заранее подготовленного словаря, который в совокупности с правилами употребления слов и набором кодов образует классификационную систему ИПЯ. Любая, сколь угодно сложная синтаксическая конструкция, построенная с помощью классификационного языка, представляет собой упорядоченный набор лексических единиц, например:

Законодательство Законодательство. Гражданское Законодательство. Гражданское. Вещные права Законодательство. Гражданское. Вещные права. Право собственности Законодательство. Уголовное При помощи классификационных языков можно производить классификацию документов, то есть отнесение их к классам, обозначенным лексическими единицами (ЛЕ) этого языка. Поскольку сложные понятия задаются заранее, до начала процедуры записи сообщений с помощью ИПЯ, образующие их слова также заранее связаны (скоординированы) определенными связями. Поэтому такие языки носят название предкоординируемых.

В дескрипторных ИПЯ лексические единицы заранее не связаны никакими текстуальными отношениями. Сложные синтаксические конструкции (фразы и предложения).

создаются в этих языках путем объединения (координации) ЛЕ при построении поисковых образов документов системы. Это означает, что из сравнительно небольшого числа ЛЕ данные языки позволяют строить предложения любой сложности, выражающие практически любой смысл. Дескрипторные ИПЯ также носят название посткоординируемых, поскольку координация между словами предложения возникает во время его записи, после формирования лексики языка.

Основой любого дескрипторного языка является словарь, основу которого составляет множество ключевых слов, используемых для описания содержания документа. Некоторые из них могут быть специально выделены как рекомендованные для занесения в индекс и использования в ПОД или ПОЗ. Такие ключевые слова носят название дескрипторов языка (все остальные ключевые слова иногда называют аскрипторами). Кроме того, на множестве ключевых слов в дескрипторном языке обычно задаются отношения, позволяющие выделить для каждого дескриптора группу слов, имеющих сходное (синонимичное) по смыслу значение. Эти отношения получили название парадигматических отношений лексических единиц. Таким образом, каждое ключевое слово в рассматриваемом словаре является либо дескриптором, либо синонимом некоторого дескриптора. При формировании поискового образа документа или запроса вместо аскрипторов в поисковый образ запроса или документа всегда записывается соответствующие им дескрипторы, что позволяет отбирать при поиске все документы, содержание которых описано одинаковыми по смыслу, но различными по написанию словами. Кроме дескрипторов и аскрипторов в словарь ИПЯ также могут входить так называемые стоп-слова, которые являются «запрещенными» для анализа, то есть не могут записываться в ПОД или ПОЗ. К ним обычно относят служебные слова языка (предлоги, союзы, местоимения и проч.), а также слова, имеющие слишком неопределенное значение.

Определение 4. Словарь дескрипторного информационно-поискового языка с зафиксированными в нем парадигматическими отношениями лексических единиц называется информационно-поисковым тезаурусом (ИПТ).

Следует помнить, что различают дескрипторные ИПЯ с контролируемой и со свободной лексикой. Лексический состав первых строго ограничен и зафиксирован в словаре ИПЯ, в то время как на лексический состав вторых не налагается никаких ограничений, и он может постоянно пополняться за счет включения новых лексических единиц. Очевидно, что ИПЯ с контролируемой лексикой используются, а ДИПС, хранящих информацию относительно некоторой определенной области знаний, в то время как ИПЯ со свободной лексикой являются универсальными и позволяют вести полнотекстовый поиск по документам с любым содержанием.

Кроме того, выделяют дескрипторные ИПЯ с грамматикой и без грамматики. В первых имеются жесткие правила формирования синтаксических конструкций. Например, при использовании дескрипторного ИПЯ с позиционной грамматикой, в котором при описании действий принято на первом месте записывать наименование действия, далее субъекта, а затем объекта этого действия, фраза: «Иванов владеет автомобилем» может выглядеть так: «владеть Иванов автомобиль». В дескрипторных ИПЯ без грамматики такие правила отсутствуют, и порядок следования ЛЕ в ПОД или ПОЗ не играет роли. Приведенный пример может быть одинаково представлен последовательностями «владеть Иванов автомобиль», «Иванов владеть автомобиль» и т. п.

На сегодняшний день наиболее распространены дескрипторные языки без грамматики с неконтролируемым словарем (свободной лексикой).

Важнейшей функцией подсистемы ввода ДИПС является перевод текстов входных документов с естественного языка на информационно-поисковый. Если в системе используется ИПЯ дескрипторного типа, то такая операция называется индексированием, а при использовании классификационных ИПЯ — классификацией или рубрицированием.

В операции перевода можно выделить два этапа:

Анализ смыслового содержания текста с целью выделения из него сведений об известных системе объектах, их свойствах, а также отношениях между ними. На данном этапе проводят как лингвистический, так и экстралингвистический анализ текста. Лингвистический анализ включает в себя морфологический (выделение основ слов и приведение словоформ к каноническому виду) и синтаксический анализ (устранение неоднозначностей, грамматический разбор предложения) и проводится с целью получения терминов — понятий, которые используются в данном тексте. Экстралингвистические знания определяются предметной областью, к которой относится данный документ, поэтому универсальной формализации для них не существует. Эти знания используются для формирования информационно-поискового тезауруса.

Выражение этих сведений на ИПЯ, то есть принятие решения о приписывании данному сообщению выражений на ИПЯ (или иными словами о включении соответствующих выражений на ИПЯ в ПОД).