Автоматизация построения гипертекстовых систем на основе текстовой информации тезаурусным методом

Автоматизированные системы обработки информации и управления в различных отраслях, и в частности, в полиграфии, как правило, имеют своей составляющей программную компоненту, обеспечивающей автоматическое получение системой информации от датчиков, если такое взаимодействие возможно, реализующую принятие управленческих решений в той части, в какой они могут быть приняты автоматически, и обеспечивающую дружественный интерфейс с пользователем системы с целью либо запроса дополнительной информации, на основе которой системой может быть принято управленческое решение, либо с целью получения управленческого решения от эксперта (пользователя системы) в случае автоматизированного принятия решений системой.

Сами системы автоматизированного управления технологическими процессами и обработки информации, а также их программное обеспечение достаточно сложны. Для сопровождения, модернизации, диагностики такие системы нуждаются в лингвистическом обеспечении, позволяющем пользователю или разработчику понять принципы функционирования системы, а также освоить основные приемы работы с ним.

В настоящее время распространено два вида лингвистического обеспечения систем автоматизированного управления технологическими процессами и обработки информации.

1. Технологическая документация, выполненная на бумажном носителе.

2. Технологическая документация, представленная в электронном виде.

Технологическая документация, выполненная на бумажном носителе, традиционна, она является обязательной составляющей любой автоматизированной системы обработки информации и управления. 5.

Помимо технологической документации, выполненной полиграфическим способом, на сегодняшний день большинство создателей автоматизированных систем обработки информации и управления технологическими процессами представляют лингвистическое обеспечение системы также и в электронном виде. При этом электронные версии в большинстве случаев гораздо более популярны у пользователей, чем их полиграфические аналоги.

Причины этих тенденций следующие:

1. Использование как минимум персональных компьютеров, а зачастую и сетей, в качестве платформы автоматизированной системы обработки информации и управления, что обеспечивает массовую возможность использования электронных носителей.

2. Относительная дешевизна электронных носителей по сравнению с носителями бумажными, тем значительней проявляющаяся, чем больше (в количестве символов) объем лингвистического обеспечения системы. Поэтому с целью удешевления системы автоматизированной обработки информации или системы автоматизированного управления технологическими процессами разработчики в полиграфической версии технологической документации знакомят пользователя лишь с основными функциями системы, рассматривая второстепенные в электронной версии технологической документации.

3. И третьей немаловажной причиной успешного развития направления электронного документирования лингвистического обеспечения систем автоматизированной.

—VJ4, — обработки информации и управления технологическими процессами являются новые возможности автоматического и 6 автоматизированного поиска лингвистической информации, как по включениям в источник, так и семантического, что повышает скорость и уменьшает трудоемкость работы с системой.

К реалиям сегодняшнего дня также следует отнести факт зарождения нового вида полиграфической продукции: электронных изданий, технологическая документация автоматизированных систем' управления и обработки информации является одним из видов которых. Существуют технологические процессы создания этого вида полиграфической продукции, ряд этапов этих процессов может быть автоматизирован.

Исследованиям области автоматизации технологических процессов создания электронных версий лингвистического обеспечения автоматизированных систем управления технологическими процессами и шире, автоматизации создания электронных изданий, посвящена данная диссертационная работа.

Актуальность темы

.

Справочные системы, являясь подсистемами систем автоматизации технологических процессов, а также электронные издания, выпускающиеся отдельно на компакт-дисках или публикующиеся в сети, отличаются по принципу представления информации от своих же полиграфических аналогов.

Это принципиальное отличие в.

1. отсутствии последовательной линейной структуры в представляемой пользователю материале.

2. фрагментировании текстового массива на блоки, по размеру соответствующие эргономическим возможностям отображения монитора,.

3. наличии связей s между вышеозначенными текстовыми фрагментами, выражающиеся гиперссылками, то есть 7 возможностью автоматического перехода от термина одного текстового фрагмента, к другому фрагменту, раскрывающему семантику термина перехода. Системы, обладающие описанными свойствами, принято называть гипертекстовыми или гипертекстами.

На сегодняшний день нет единого, признаваемого всеми, работающими в данной области, определения гипертекста. Система может называться гипертекстовой, имея лишь гипертекстовые ссылки внутри единственного линейного текстового фрагмента. Другие исследователи требуют обязательности таких надстроек гипертекстовых систем, как алфавитный указатель и список главных тем.

Однако, с фрагментированием текста или без него, с надстройками или без них, простейшие или качественные сложные, гипертекстовые системы на сегодняшний день стали основой электронных версий как технической документации, так и изданий в самых различных областях науки, промышленности, образования.

Проблема автоматизации проектирования гипертекстовых систем весьма актуальна. Гипертексты являются основой большинства справочных систем программных продуктов, распределенные гипертекстовые системы образуют связанные сайты интернета. Все значительней масштаб электронных изданий, выпускаемых на компакт-дисках. Если в 1994 году количество русскоязычных электронных изданий, присутствующих на рынке, не превышало сотню [38], то к 2000 году каталог русскоязычных коммерческих электронных изданий включает более трехсот наименований [108]. Это и энциклопедии, и учебные пособия, и экспертные системы, и справочники. На рисунке 1 представлена диаграмма, характеризующая рост количества электронных научных публикаций [104]. Косвенно о росте числа электронных русскоязычных публикаций в сети можно судить на основании анализа динамики роста ресурсов Internet в домене .ru. [105](рис. 2).

10 характеристик производительности, то «скорость поиска в гипертексте возросла в 10 раз» [51 стр.169].

Свойства информации, представляемой в электронном виде, а также тенденции развития рынка комплектующих, программных продуктов, электронных изданий и интернет-технологий позволяют сделать предположение, что необходимость создания гипертекстов сохранится и в ближайшем, и в отдаленном будущем. Причем, и это особенно актуально для электронных изданий, семантическая информация, которая должна стать основой проектируемой гипертекстовой системы, зачастую уже представлена в виде книг, журнальных статей по предметной области. И было бы неправильно не использовать ее (разумеется, если при этом не нарушается закон об авторском праве страны, где издание должно выйти в свет) в качестве основы для написания информационных статей гипертекстов. По утверждению J. Nilsen [121 стр. 173], «в реальном мире мы должны учитывать, что большое количество чрезвычайно полезных текстов уже существуют и могут быть превращены в гипертекст намного дешевле, чем если бы переписывать ту же самую информацию». Если в качестве основы гипертекста использовать некоторый массив текстов по предметной области, а не создавать гипертекстовую систему с нуля, то становится возможной автоматизация части этапов ее проектирования. Для некоторых этапов проектирования гипертекстов на основе текста или частных случаев исходного текста уже сейчас существуют методики автоматизации проектирования, каждая из которых имеет свои особенности. Данная работа представляет собой попытку дальнейшего продвижения в этом направлении.

Главный недостаток, от которого страдают большинство гипертекстовых систем, построенных автоматизированно — ассоциативность связей и сложность семантического поиска необходимой информации в гипертекстовой сети. Причем, большинство работ в этом направлении [124, 96,127] в качестве информационных статей для своих систем использует.

11 исходные документы целиком, без редактирования, только путем установки ссылок между частями документов путем использования статистических методов. Результатом такого автоматизированного построения является сетевой в лучшем случае связанный граф, в котором чрезвычайно сложно выделять вершины, с которых надо начать и которыми можно закончить работу с гипертекстовой системой. Как отмечает Якоб Нильсен [121 стр. 173], «лучшие гипертексты не делаются из текста, который первоначально был написан для линейной среды». Столкнувшись с этой проблемой, часть электронных издателей пошли по пути автоматизации авторской деятельности в области усовершенствования сервисных средств, позволяющих избегать повторений, как в семантическом графе, так и при построении информационных статей [113]. Качеством, отличающим гипертекстовые системы ручного построения от построенных автоматизированно, является отражение иерархичности семантики, представляющей предметную область, в структуре гипертекста. Семантический тезаурус предметной области, положенный в основу автоматизации построения гипертекстовых систем, позволит улучшить качество автоматизированно построенных, т. е. наиболее дешевых гипертекстовых систем. Вопрос о стоимости построения семантического тезауруса по предметной области пока еще стоит, но по многим предметным областям уже существуют отраслевые тезаурусы [18, 106, 109], на основе которых могут быть дешево построены семантические, и существуют коммерческие программные продукты, строящие семантические тезаурусы автоматизированно и отраслевые автоматически [47, 62]. ' Ведутся разработки в этой области [19, 64] При расширении области применения семантических тезаурусов цена на программные продукты, реализующие их автоматизированное построение, будет уменьшаться, а само количество семантических тезаурусов увеличиваться.

Целью данной работы является:

Автоматизация ряда этапов технологического процесса преобразования текста в гипертекст.

При этом предъявляются требования к качеству конечного продукта не только с точки зрения формальных признаков, как то: структура графа гипертекстовой сети, эргономические характеристики текстовых фрагментов, но и с точки зрения соответствия отношений, выраженных гипертекстовыми ссылками, семантике предметной области, что в конечном итоге определяет качество получаемого программного продукта с точки зрения удобства семантического поиска в нем.

Для достижения поставленной цели ставились и решались следующие задачи:

1. Анализ существующих этапов технологического процесса преобразования текста в гипертекст.

2. Анализ существующих методов автоматизации для технологического процесса преобразования текста в гипертекст в целом и для каждого из этапов отдельно.

3. Выявление ограничений использования для каждого из существующих методов автоматизации.

4. Построение математической модели предметной области.

5. Разработка с учетом предложенной математической модели методик и алгоритмов, реализующих автоматизацию преобразования текста в гипертекст.

6. Определение ограничений использования методик.

7. Разработка программного пакета, реализующего предложенные методики и алгоритмы.

В ходе решения общих задач были решены такие частные задачи как: • Разработка методик автоматизации построения частного тезауруса на основе общего при наличии последнего,.

• Разработка методик построения частного тезауруса при отсутствии общего.

• Разработка методик коррекции частного тезауруса.

• Определение критерия семантической близости терминов и введение функций, его реализующих.

• Исследование поведения введенных функций семантической близости в зависимости от их параметров.

• Определение оптимальных параметров функций семантической близости терминов.

• Ввод методов повышения производительности предложенных алгоритмов.

Научная новизна.

Научная новизна работы заключается:

1. Во впервые предложенной методике автоматизации технологического процесса формирования гипертекста на основе текста и тезауруса по предметной области.

2. Во впервые предложенном и впервые отраженном в математической модели текста и гипертекста принципе объединения видов семантических связей по их структуро-графообразующим свойствам с целью соблюдения в создаваемой гипертекстовой системе принципа общезначимости при переходе по ссылкам.

3. Во впервые предложенной методике построения, анализа и коррекции частного тезауруса основанной на использовании алгоритмов и утверждений теории графов.

4. Во впервые предложенной методике выделения группы семантически близких терминов, базирующейся на сравнении впервые предложенных нормализованных дискретных функций взаимной встречаемости терминов, аппроксимированных с помощью функций, построенных в.

14 предположении, что сила семантического поля термина может быть описана функцией, близкой к функции нормального распределения.

5. Во впервые найденных оптимальных значениях параметров данных функций.

Практическая значимость результатов. Результаты работы могут быть использованы при:

1. автоматизации построения тезаурусов, являющихся основой проектирования гипертекстовых систем, на основе корпуса текстов по предметной области,.

2. автоматизации создания гипертекстовых систем на основе корпуса текстов по предметной области и семантического тезауруса.

Результаты работы показали жизнеспособность предложенных в работе математических моделей, методик и алгоритмов, реализующих автоматизированное построение гипертекстовых систем на основе массива текстов по предметной области, что на практике позволит воспользоваться имеющимися в неэлектронном виде текстовыми материалами для создания гипертекстовых систем, и, экономя временные и человеческие ресурсы, создавать гипертекстные системы, обладающие качественной информационно-поисковой иерархической системой типа дерево. Отсюда, внедрение результатов данной работы позволяет сделать экономически более эффективной разработку гипертекстовых систем, впоследствии тиражируемых на CD-дисках или представленных для коммерческого пользования в Internet.

Программные модули программного комплекса автоматизации перевода текста в гипертекст тезаурусным методом использовались при построении гипертекстовой системы «Обслуживание и ремонт РАВ» в ОАО «СММ» в 2002 году в рамках Госконтракта № 2СТ-37/629 от 12 февраля 2002 г, п. 6 ведомости исполнения.

Результаты исследований в части методики автоматизации технологического процесса формирования гипертекста на основе текста и тезауруса по предметнейобласти, — а также методики построения, анализа и коррекции частного тезауруса внедрены рамках разработки эксплуатационной документации для изделий ряда 1НА1-Е, разрабатываемых по теме «Панцирь-С1» в 2002 году в рамках ОКР «Навигационная система для комплекса 96К6-Е».

Основные положения работы.

В ряде случаев, когда существует общий семантический тезаурус предметной области, и текстовый массив, на основе которого предполагается строить гипертекст, имеет семантическую структуру, семантический граф тезауруса которой в ряде узлов и дуг совпадает с общим семантическим тезаурусом предметной области, можно построить автоматизированно некоторую гипертекстовую систему, нуждающуюся в дальнейшем редактировании, структура графа которой основана на тезаурусе предметной области, а информационные статьи являются частями исходного текста.

Качественная гипертекстовая система должна быть построена в соответствии с принципом общезначимости.

В соответствии с данным принципом к частному семантическому тезаурусу предметной области предъявляются определенные (изложенные в работе) требования.

С учетом вышеозначенных принципов и требований математическая модель предметной области (предложенная другими исследователями) должна быть откорректирована.

На основе математической модели предметной области возможна разработка методики, реализующей технологию перевода текста в.

16 гипертекст.

Одним из этапов методики, реализующей технологию перевода текста в гипертекст, является построение частного семантического тезауруса на основе оОщего, если он существует, и без него, с использованием только корпуса текстов по предметной области. Данный этап технологического процесса построения гипертекста на основе текста может быть разбит на ряд подэтапов, часть из которых также может быть осуществлена автоматически или автоматизировано.

Предлагаемые методики автоматизации построения частного тезауруса базируются на элементах теории графов, матричном исчислении. Семантическая близость терминов является функцией их совместной (на ограниченном расстоянии) встречаемости по тексту.

В качестве наиболее семантически близких терминов выбираются термины с наибольшими значениями интегралов пересечения функций их семантических полей, то есть вводится критерий семантической близости терминов.

Функции семантических полей строятся в предположении, что семантическое поле термина можно описать функцией, близкой к функции нормального распределения.

На сегодняшний день существует ряд статистическо-лингвистических методов и методов, основанных на использовании теории графов, которые можно также применить на отдельных этапах автоматизации преобразования текста в гипертекст на основе семантического тезауруса.

Разработаны алгоритмы, позволяющие применить существующие и предложенные методики.

Построение гипертекста по тексту не всегда возможно, необходимые условия возможности применения методик оговаривается в диссертационной работе. Это связанность тезаурусного графа, отсутствие в нем циклов по иерархическим связям, наличие единственной висячей вершины.

Путем анализа тезаурусного графа можно выявлять отношения, подозрительные на синонимию для случаев существования более 2-х путей между двумя терминами по иерархическим связям.

Программной" комплекс TG, разработанный автором диссертации^®-^ позволил программно реализовать ряд методов и алгоритмов, предложенных в работе.

Содержание по главам.

Основные выводы и результаты работы.

1. Проведен анализ и классификация методов решения задачи преобразования текста в гипертекст. Обоснован выбор класса тезаурусных методов для решения задачи, как позволяющий получить наиболее качественный результат.

2. Разработана методика автоматизации технологического процесса формирования гипертекста на основе текста и тезауруса по предметной области.

3. Разработана математическая модель предметной области, базирующийся на теории графов, теории множеств и методах матричном исчислении.

4. В терминах математической модели уточнено понятие гипертекста и тезауруса.

5. Предложен принцип объединения видов семантических связей по их структуро-графообразующим свойствам с целью соблюдения в создаваемой гипертекстовой системе принципа общезначимости при переходе по ссылкам.

6. Разработана методика построения, анализа и коррекции частного тезауруса основанная на использовании алгоритмов и утверждений теории графов.

7. Предложена методика пересечения функций семантических полей, позволяющая выделять группы семантически близких терминов.

8. Проведено экспериментальное исследование зависимости значений функций семантической близости от их параметров. Определены оптимальные значения параметров функций семантической близости терминов.

Заключение

.