Логико-лингвистический интегратор русскоязычных текстов для информационной системы в строительстве

Актуальность темы

Значительный рост объёмов текстовой информации, используемой в строительстве обуславливает повышенный интерес к разработке систем, позволяющих автоматизировать процесс её (информации) обработки и анализа. Автоматизированные системы, решающие подобные задачи относятся к классу интеллектуальных. Их анализ позволил выявить следующие особенности:

— наработки в области проектирования подобных систем в строительстве отсутствуют;

— из-за высокой стоимости программного обеспечения и сложности требуемой лингвистической технологии, их разработка в других предметных областях носит фрагментарный характер и ограничивается простыми и дешёвыми решениями в ущерб качеству и эффективности;

— из-за особенностей русского языка аналогичные иностранные системы, разработанные для других предметных областей удовлетворительно работающие с английскими текстами (как наиболее развитые), не позволяют обеспечить требуемый уровень качества при работе с текстами на русском языке.

Таким образом, актуальность темы диссертационной работы продиктована, с одной стороны, необходимостью автоматизации процессов обработки русскоязычной текстовой информации в строительстве и, с другой стороны, отсутствием в настоящее время математического и программного обеспечения, позволяющего такую обработку реализовать в пределах заданного времени с приемлемым качеством.

Диссертационная работа выполнена в рамках научно-технической программы «Разработка методов проектирования и создания новых информационно-управляющих и телекоммуникационных систем» Министерства образования.

Цель и задачи исследования

Целью диссертационной работы является разработка математического и программного обеспечения информационной системы фрагментарного логико-лингвистического интегрирования русскоязычных текстов в строительстве.

Для достижения поставленной цели необходимо решить следующие основные задачи:

1. Проанализировать существующее методическое обеспечение и технические средства обработки текстовой информации в строительстве или других предметных областях и выбрать среди них наиболее эффективные по точности и оперативности в интересах их использования в качестве базы для дальнейшего совершенствования.

2. Разработать модель формализации текстовой информации в строительстве.

3. Разработать систему моделей и алгоритмов, обеспечивающих извлечение дополнительной информации из семантически взаимосвязанных текстов в строительстве.

4. Разработать автоматизированное рабочее место извлечения дополнительной информации из семантически взаимосвязанных текстов применительно к области строительства.

Методы исследования в данной работе основаны на теории математического моделирования, системного анализа и нейронных сетей, булевой алгебре, теориях распознавания образов, графов, лингвистики и многоуровневых иерархических систем, а также теории проектирования и разработки автоматизированных информационных систем.

Научная новизна. В работе получены следующие результаты, характеризующиеся научной новизной:

— модель семантического анализа русскоязычного текста в области строительства, основанная на его (текста) фрагментарном представлении в виде фрейм — сценариев, позволяющая реализовать параллельный способ обработки информации с оперированием, как отдельными предложениями, так и законченными в смысловом отношении, фрагментами;

— полиномиальная нейросетевая модель классификации семантически однородных фрагментов русскоязычного текста в области строительства, основанная на расширенном перечне классифицирующих признаков, учитывающих ассоциативные связи между предложениями и модифицированной технологии моделирования, обеспечивающая более компактное представление формализуемого текста и более точное определение смысла, как отдельных его фрагментов, так и в целом;

— комплекс взаимосвязанных моделей и алгоритмов обработки русскоязычных текстов в строительстве, позволяющий повысить достоверность руб-рицирования и дополнительно извлекаемой информации из семантически взаимосвязанной текстовой информации;

— элементы специального программного обеспечения, реализующего процедуры формализации текстовой информации и комплекс моделей и алгоритмов её обработки, обеспечивающие повышение оперативности извлечения дополнительной информации из семантически взаимосвязанных текстов применительно к области строительства.

Практическая ценность работы. Предложенные в работе модели семантического анализа и классификации русскоязычных текстов, а также алгоритмы их обработки, могут быть включены в состав специального математического и программного обеспечения некоторых автоматизированных интеллектуальных систем обработки текстовых данных в строительстве, различающихся как степенью сложности, так и характером решаемых задач.

Разработанное автоматизированное рабочее место, на конкретных примерах, показало высокую эффективность обработки русскоязычных текстов, что подтверждено результатами численного исследования и актами внедрения.

Реализация и внедрение результатов работы. Результаты проведенных исследований были использованы в интересах автоматизации деятельности Департамента имущества города Москвы, при выполнении плановых научно-исследовательских работ в Государственном научно-исследовательском институте проблем технической защиты информации (г. Воронеж), институте точной механики и вычислительной техники им. С. А. Лебедева (г. Москва).

Апробация работы. Основные результаты исследований докладывались и обсуждались на следующих конференциях и семинарах:

IX, X, XI Всесоюзных научно-практических конференциях «Проблемы информационной безопасности в системе высшей школы» (Москва) в 2002.2004 гг.;

XI Всероссийской научно-практической конференции «Проблемы разработки автоматизированных информационно-аналитических систем мониторинга» (Москва, 2004);

V Международной научно-практической конференции «Информационная безопасность» (Таганрог, 2003);

IV Международной научно-практической конференции «Методы и технические средства обеспечения безопасности информации» (Санкт-Петербург, 2003);

VII научной сессии МИФИ (Москва, 2004).

Публикации. Основные результаты диссертации опубликованы в 13 печатных работах, из них 2 работы без соавторов. В работах, опубликованных в соавторстве, лично соискателем предложены: в [70] автором разработана модель семантического анализа русскоязычных текстов (лично автором выполнено 3 е.) — в [67] автором предложен подход к обучению тематических рубрик (лично автором выполнено 2 е.) — в [66] автором разработана модель классификации русскоязычных текстов, основанная на полиномиальной нейронной сети (лично автором выполнено 4 е.) — в [64] автор разработал алгоритм фрагментарной обработки сетевого графа применительно к системе телефонной связи (лично автором выполнено 1 е.) — в [69,71] автором предложена система взаимосвязанных моделей и алгоритмов обработки текстовой информации применительно к сейсмическому мониторингу (лично автором выполнено 3 с. и 2 с. соответственно) — в [13] автор разработал алгоритм извлечения дополнительной информации из семантически однородных фрагментов русскоязычного текста в строительстве (лично автором выполнено 3 е.) — в [16,14] автором описан комплекс взаимосвязанных моделей и алгоритмов рубрицирования русскоязычных текстовв [15] автором разработана модель семантического анализа русскоязычных текстов основанная на фреймсценариях (лично автором выполнено 2 е.) — в [68] автором обоснована целесообразность использования в качестве идейной основы для разработки информационно-аналитической системы в строительстве категоризации лексики (лично автором выполнено 2 е.).

Структура и объём работы. Диссертация состоит из введения, четырёх глав, заключения, списка литературы из 141 наименования и семи приложений. Работа изложена на 152 страницах, включая 39 рисунков и 8 таблиц.

выводы.

1. Автоматизированное рабочее место анализа русскоязычных текстов в строительстве является комплексом программно-технических средств, предназначенным для автоматизации обработки текстовой информации в интересах извлечения из неё новых данных. Оно обеспечивает решение следующей последовательности задач: построение терминологических портретов исследуемого текста и предметной области строительства (тематической рубрики) — анализ степени соответствия текстов тематической рубрике (рубрицирование) — извлечение дополнительной информации из группы текстов семантически связанных друг с другом.

2. Разработанное математическое обеспечение АРМ, выполненное в виде отдельных автономных блоков (модулей), связанных между собой по «входувыходу» (выходная информация одного блока является входной для другого и т. д.) обеспечивает гибкость АРМ и позволяет оперативно проводить его модернизацию, например, из предметной области строительства в промышленность.

3. Основными характеристиками АРМ являются коэффициенты точности и полноты классификации текстов, а также оперативность функционирования АРМ — время рубрицирования и отбора дополнительной информации из семантически связанных текстов.

4. Для апробации АРМ разработан алгоритм проведения численных исследований, реализующий следующие основные функции: проведение сравнительной оценки значений коэффициентов точности и полноты классификации текстовсравнение временных затрат на проведение расчётов при использовании различных способов рубрицированиясравнение временных затрат на извлечение дополнительной информации при использовании различных способов обработки информации.

Полученные результаты апробации АРМ в соответствии с алгоритмом проведения системных исследований показали не только его работоспособность, но и достаточно высокую эффективность.

Предложенный в диссертационной работе способ рубрицирования, основанный на полиномиальной нейронной сети показал более высокую оперативность по сравнению традиционными (от 100% до трех порядков) и достаточно высокие точность и полноту классификации текстов (от 10% до 65%).

ЗАКЛЮЧЕНИЕ

.

В ходе решения задач, поставленных в диссертационной работе, проведён анализ существующего методического обеспечения и технических средств обработки текстовой информации в предметной области строительства, показавший, что для построения более адекватных моделей представления текстовой информации, по сравнению с другими подходами, целесообразно использовать категоризацию лексики, впервые предложенную И. Ньютоном, развитую в лямбда-исчислении, а затем в семантическом и нейронном подходах и получены следующие основные результаты:

1. Разработана модель семантического анализа русскоязычных текстов в строительстве, основанная на фрагментарном представлении текста в виде фрейм-сценариев.

2. Разработана полиномиальная нейросетевая модель классификации русскоязычных текстов в строительстве, отличающаяся расширенным перечнем классифицирующих признаков, учитывающих ассоциативные связи между словосочетаниями и предложениями.

3. Модифицирована технология формализации текстовой информации в строительстве, обеспечивающая более компактное представление формализуемого текста и точное определение смысла, как отдельных его фрагментов, так и в целом.

4. Предложен комплекс взаимосвязанных моделей и алгоритмов обработки русскоязычного текста в строительстве, позволяющий повысить достоверность дополнительно извлекаемой информации из семантически взаимосвязанной текстовой информации.

5. Разработано и апробировано на практике автоматизированное рабочее место анализа русскоязычных текстов в строительстве, реализующее полиномиальную нейросетевую модель классификации текстовых фрагментов и комплекс алгоритмов обработки данных, обеспечивающее повышение оперативности рубрицирования и извлечения дополнительной информации.

Программные средства зарегистрированы в Федеральном институте промышленной собственности.