Лингвистическое обеспечение информационно-поисковых систем

Понятие «лингвистическое обеспечение» менялось с развитием и изменением состава и функций информационно-поисковых систем. Современная ИПС трактуется как «предназначенная для информационного поиска совокупность информационно-поискового массива, информационно-поискового языка, правил его использования, критерия выдачи и технических средств».

Любая ИПС включает следующие элементы: информационный массив; информационно-поисковые языки (ИПЯ), на которые переводится входная информация и запросы; правила этого перевода (индексирование); критерии выдачи информации, т. е. правила сравнения перевода запроса с естественного на ИПЯ с результатами перевода на ИПЯ входной информации, определяющие отбор информации, подлежащей выдаче на запрос.

Информационно-поисковый язык — формализованный искусственный язык для индексирования документов, информационных запросов и описания фактов с целью последующего их хранения и поиска. ИПЯ и дополняющие их методики систематизации документов, инструкций по ведению каталогов и т. п. составляют лингвистическое обеспечение традиционных ИПС. В автоматизированных ИПС используются специально разработанные ИПЯ (рубрикаторы, словари ключевых слов, тезаурусы и т. д.). Информационными массивами являются электронные каталоги и базы данных на машиночитаемых носителях; организация и использование информационных массивов определяются соответствующими стандартами и обеспечиваются программными и техническими средствами. Эффективность информационного поиска в автоматизированных ИПС в значительной степени зависит от ее лингвистического обеспечения: ИПЯ и средств их ведения и поддержки.

Лингвистическое обеспечение — языки представления и управления информацией. Именно лингвистическое обеспечение определяет существо (функциональные возможности и гибкость) информационно-поисковых систем, обеспечивая «диффузный» слой между «естественной» средой и информационной средой. Язык представляет собой средство коммуникаций между элементами деятельности, находящимися как на одном уровне (человек — человек или АИС — АИС), так и на разных (человек — машина). Обычно лингвистическое обеспечение включает языки запросов и отчетов, реализующие человеко-машинное взаимодействие, а также специальные языки определения и управления данными, обеспечивающие адекватность внутреннего представления и согласование внутреннего и внешнего представлений. Очевидно, что именно поэтому лингвистическое обеспечение в значительной степени зависит от особенностей предметной области: с одной стороны, от требований к полноте и точности передачи информации (смысла), а с другой — от требований унифицированности языка и простоты его изучения и использования человеком.

В настоящее время существуют различные подходы к определению понятия «лингвистическое обеспечение». Наиболее известен классический подход, при котором лингвистическим обеспечением называют комплекс информационно-поисковых языков, прежде всего классификационных и вербальных. В последнее время в понятие лингвистического обеспечения в этом подходе обычно вкладывают и языки библиографических данных.

Существует лингвистический подходу поскольку он органически вытекает из лингвистического взгляда на информационные системы, который развивают в основном специалисты по прикладной и компьютерной лингвистике. В соответствии с этим подходом лингвистическое обеспечение — это комплекс средств, используемых для автоматической обработки текстов на естественном языке (включая обработку запросов и поиск), т. е. прежде всего языковые процессоры.

Более общим является семиотический подходу поскольку он исходит из классических семиотических представлений о языке как системе знаков разного уровня, начиная, естественно, с алфавита. При этом подходе лингвистическое обеспечение определяется как средство представления информации в виде данных и интерпретации этих данных. При этом подходе в состав лингвистического обеспечения нужно включать средства кодировки алфавитов или форматы представления данных, исключая инструментальные языки программирования.

Программистский подход опирается на полисемию термина «язык», который в информационной литературе может обозначать не только средства представления данных, но и средства программирования и другие формальные системы. К тому же средства манипулирования данными в последние годы интегрируются с языками описания данных в рамках языков высокого уровня, которые все ближе к тому, что можно назвать формализованным естественным языком, и все дальше от представления об обычных инструментальных программных средствах (таковы, например, языки разметки типа SGML или XML). При этом подходе в составе лингвистического обеспечения могут оказаться вообще все языковые средства, причем несущественно, носят ли они характер языков описания данных, представления данных или манипулирования данными.

Существует также подход, зафиксированный в нормативных документах по АСУ (группа ГОСТ 34), в которых разделяются информационное и лингвистическое обеспечение. С такой точки зрения основным типом этих систем являются классификаторы. Эти нормативные документы причисляют к информационному обеспечению, а на долю лингвистического обеспечения относят только правила оформления естественно-языковых единиц этих классификаторов, т. е. чисто лексикографические аспекты.

Средства, входящие в состав лингвистического обеспечения, целесообразно разбить на два класса.

К первому классу относятся языки, предназначенные для отображения данных в электронных библиотеках (ЭБ). Говоря о данных, предполагается, что они представлены в виде некоторых выделяемых и идентифицируемых информационных ресурсов, которые можно назвать «цифровыми объектами». Для этого класса языковых средств корректно применять распространенный термин «информационно-поисковые языки».

Эти языки классифицируются в зависимости от уровня отображения информации, имеющейся в цифровых объектах:

• • отображение цифрового объекта в целом, включая его формальные характеристики;
• • отображение тематики или содержания цифрового объекта;
• • отображение семантики единиц естественного языка, содержащихся в цифровом объекте;
• • отображение высказываний, содержащихся в цифровом объекте.

Для цифровых объектов типа документов первому уровню отображения соответствуют языки описания документов, детально разработанные в традиционных областях информационной деятельности: библиотековедение, архивные дела, делопроизводство, картография и др. Самые известные — языки библиографических данных, включающие правила библиографического описания и форматы библиографической записи (они возникли в XIX в.). Сейчас эти языки объединяются с языками для описания других цифровых объектов (нужды интернета). Общее название языков для описания цифровых объектов — системы метаданных.

На втором уровне отображения используются языки классификационного или нредкоординатного типа. Принципиальным свойством этих языков является разбиение множества цифровых объектов на классы, описанные при помощи связывания, в виде иерархического дерева. Эти языки обладают заметными преимуществами перед другими типами поисковых языков, прежде всего простотой для пользователя и независимостью от естественного языка. К недостаткам относят необходимость интеллектуального индексирования, особенно с учетом развития информационных сетей.

На третьем уровне отображения используются языки, ориентированные на применение в качестве лексики семантических единиц естественного языка. Это вербальные языки. Более распространенное название этих языков — дескрипторные, в соответствии с названием общепринятой формы представления лексических единиц — дескрипторов. Иногда эти языки называют посткоординатными, подчеркивая противопоставление с классификационными языками по базовой функции — способу отражения информации текста. Если в классификационных языках используется связывание поисковых признаков, то в дескрипторных языках признаки связываются непосредственно в цифровом объекте (посткоординация). Вербальные языки являются центральным компонентом лингвистического обеспечения электронных библиотек. Практически вся теория информационного поиска строится на использовании вербальных ИПС.

На четвертом уровне отображения находятся языки, ориентированные на представление и поиск высказываний (фактов), содержащихся в самом документе. Поскольку основной (и чуть ли не единственный) тип высказываний, которые удается извлекать автоматически из плохо структурированной информации, — это факты типа «объект — признак — значение», постольку языки данного класса принято называть «объектно-признаковыми».

Иногда их называют фактоили объектографическими. Этот класс языков находится на стыке АИС типа электронной библиотеки и АИС типа банка данных. В теории баз данных их именуют «моделями данных», языками описания данных.

Второй класс средств, входящих в состав лингвистического обеспечения, не является языками в полном смысле. Чаще всего их называют лингвистическими процессорами. К ним относят два класса технологий: автоматическую обработку текста и лингвистические банки данных.

Под автоматической обработкой текста понимаются процессы автоматического описания текста (документа) на одном или нескольких информационных языках, включая автоматическое индексирование, аннотирование. В основе этих процессов лежат конкретные лингвистические алгоритмы, прежде всего морфологического и синтаксического анализа.

Лингвистические базы данных — важный обеспечивающий компонент электронных библиотек. В этой части лингвистическое обеспечение смыкается с компьютерной лексикографией.

Итак, лингвистическое обеспечение информационных систем (с ориентацией на электронные библиотеки) включает следующие средства:

• 1. Информационно-поисковые языки:
• 1.1. Системы метаданных.
• 1.2. Классификационные языки.
• 1.3. Вербальные языки.
• 1.4. Фактографические языки (объективно-признаковые).
• 2. Лингвистические процессоры:
• 2.1. Системы автоматической обработки текста.
• 2.2. Лингвистические банки данных.

Таким образом, лингвистическое обеспечение информационных систем — это совокупность языковых средств, позволяющих представить информационную составляющую информационных систем на различных этапах внутрисистемной обработки и взаимодействия с пользователем.