Односторонняя интеграция информационных систем в территориально распределённых организациях

Актуальность темы

В процессе увеличения масштаба, усложнения архитектуры, наращивания функциональных возможностей и автоматизации новых сфер деятельности многие информационные системы (далее ИС) сталкиваются с проблемой интеграции с другими ИС. Часто возникают ситуации, в которых несколько ИС становятся частью одного бизнес процесса, хотя изначально никакого взаимодействия между ними не планировалось. В этой ситуации появляется задача организации необходимого взаимодействия минимальными изменениями в существующих информационных системах предприятия (далее корпоративной ИС).

Сейчас на рынке предлагается огромное количество инструментов для интеграции от разных производителей. При рассмотрении вопроса внедрения новой ИС в существующую корпоративную ИС предприятия, требования к интеграции, заложенные в новую ИС, в настоящее время являются одними из ключевых. На данный момент, сегмент услуг по интеграции корпоративных приложений считается одним из самых бурно. развивающихся сегментов ИТ-индустрии (см. по [1, 2, 3, 4, 68, 69, 70, 73]). По прогнозам IDC, рынок программного обеспечения, предназначенного для решения интеграционных задач, составит в 2008 году 8,2 $млрд. против 4,3 $млрд. в 2001 году [4, 73]. ,.

Проблемы интеграции внедряемых и уже внедрённых ИС не удается избежать ни одной территориально распределённой компании, обладающей развитой структурой приложений в каждом региональном представительстве. Существует несколько основных способов организации взаимодействия, но если нельзя вносить изменения в код уже внедрённых систем, многие из них не подходят. В таком случае, организация доступа к базам данных (БД) внедрённой ИС напрямую становится практически единственным возможным способом интеграции.

Каждая ИС имеет вход и выход в рамках общего бизнес процесса. Вход и выход неизменяемой. внедрённой системы тоже не меняется. Поэтому, в ¦ силу сложившихся обстоятельств, внедряемой системе остаётся научиться работать с входом и выходом из системы внедрённой. В случае, когда вся работа по организации интеграции проводится в одной системе имеет, место односторонняя интеграция.

Не редка, ситуация, что при неправильной эксплуатации системы, наличии материальных, технических трудностей, большой географической распределенности компании с БД такой PIC становится трудно работать. Возможны нарушения и ошибки при вводе данных, появление избыточной или дублирующей информации в БД, несоответствие реально хранящейся в БД информации об объектах понятийным и декларативным знаниям о них. Трудно извлекать какую либо информацию из таких БД, даже если их формат известен. Такие БД называются неподдерживаемыми. На рынке существует ряд программных средств решающих, в том числе, и описанные проблемы. Большинство из них относятся к классу Data Mining. Обычно их разделяют на аналитические платформы и СУБД с набором алгоритмов Data Mining. Ориентированность первых из них на более широкий круг задач и анализ всего массива данных приводит к невозможности использования их динамически, с многократными обращениями к БД, накладывает существенные ресурсные и временные ограничения. Вторые показывают отличные результаты только на СУБД определённых производителей и требуют дополнительной разработки при интеграции с существующими системами.

Кроме того, проблемы односторонней интеграции и задача поиска и извлечения данных из неподдерживаемой реляционной БД не обладают достаточной теоретической проработкой и характеризуются отсутствием концептуального подхода к решению. Отсюда и вытекает актуальность предложенной темы диссертации.

Цель данной работы: Целью данной работы является создание инструмента односторонней интеграции между внедряемыми и уже внедрёнными системами, способного осуществлять извлечение данных из неподдерживаемой БД внедрённой системы в территориально распределенных организациях.

Задачи данной работы:

1. Определение понятия односторонней интеграции.

2. Обобщение проблематики поиска в неподдерживаемых БД в территориально распределённых организациях.

3. Разработка алгоритма, извлекающего данные из неподдерживаемых реляционных БД.

4. Разработка методики односторонней интеграции по средствам доступа к неподдерживаемой БД.

5. Исследование возможности применения алгоритма в других видах БД: объектно-ориентированных, объектно-реляционных.

6. Апробация методики для решения различных задач в процессе организации односторонней интеграции систем.

7. Разработка формата данных для параметризации задачи односторонней интеграции.

8. Разработка принципов создания инструмента интеграции, реализующего основные этапы методики, работающего без необходимости дополнительной разработки и предварительной выгрузки всех данных для анализа.

9. Разработка инструмента интеграции на уровне данных, способного решать различные задачи односторонней интеграции без необходимости дополнительной разработки и предварительной выгрузки всех данных для анализа с помощью методики.

Объект п предмет исследования Объект исследования — существующие классы инструментов интеграции корпоративных систем, схемы интеграции, современные средства интеллектуального анализа больших объемов информации (Data Mining) и методика Knowledge Discovery in Databases. Предмет исследования — методы и алгоритмы применимые для анализа реляционных данных.

Метод исследования.

В диссертационной работе использованы теории построения алгоритмов, теория множеств, теория вероятности, реляционная алгебра, нечёткая логика, методыпроектирования информационных систем, объектно-ориентированные методы создания программного обеспечения и интеграции программных комплексов.

Научная и практическая новизна работы.

Автором получены следующие новые результаты:

1. Введено понятие односторонней интеграции.

2. Формализована модель, основанная на реляционной алгебре, и само понятие неподдерживаемой БД.

3. Формализована задача поиска в неподдерживаемой реляционной БД. Исследованы основные трудности поиска в территориально распределённых реляционных БД.

4. Разработан алгоритм, позволяющий выполнять извлечение данных из неподдерживаемых БД в территориально распределённых организациях.

5. Проведено теоретическое исследование возможностей использования алгоритма на объектно-ориентированных БД и объектных расширений над реляционными БД.

6. Разработана методика односторонней интеграции на основе алгоритма извлечения данных. Методика доработана и апробирована для решения ряда задач односторонней интеграции.

7. Разработан формат, основанный на текстовых ini-файлах и файлах XML и предназначенный для параметризации задачи интеграции и гибкой настройки всех этапов реализуемой методики.

8. Разработан и применён на практике программный модуль, реализующий основные этапы методики односторонней интеграции, способный решать разные задачи односторонней интеграции без дополнительной разработки и предварительной выгрузки всего массива данных.

Практическая значимость работы Созданный программный модуль, обеспечивает одностороннюю интеграцию с неподдерживаемыми реляционными БД на серверах AS/400 Программно-технического комплекса Система Персонифицированного учета для Пенсионного Фонда России, в составе ИС Электронного Архива персонифицированного учета. Модуль был апробирован и внедрён в промышленную эксплуатацию в 68 региональных отделениях персонифицированного учёта Пенсионного фонда России.

Публикации. Основные результаты, полученные в диссертации, опубликованы в четырёх статьях [б, 7, 9, 10] (одна из них в соавторстве [9]).

Разбиение работы на главы. Диссертация состоит из введения, четырех глав, заключения. Объем работы — 139 страниц.

Основные результаты, полученные в настоящей работе, заключаются в следующем:

1. Введено понятие односторонней интеграции. Выделен основной круг проблем, возникающих в неподдерживаемых БД в территориально распределённых организациях, исследованы причины их возникновения и зависимость изменения схемы БД от них.

2. Формализована модель, основанная на реляционной алгебре, и само понятие неподдерживаемой БД. Проведено теоретическое исследование возможностей использования этой модели для объектно-ориентированных БД и объектных расширений над реляционными БД.

3. Формализована задача поиска в неподдерживаемой реляционной БД. Исследованы основные трудности и отличия от поиска в обыкновенных реляционных БД.

4. Разработан алгоритм, позволяющий извлекать данные из неподдерживаемой реляционной БД в территориально распределённых организациях и на его основе методика односторонней интеграции.

5. Спроектировано и апробировано несколько методов оптимизации и проверки результатов работы методики односторонней интеграции.

6. Разработан формат, основанный на текстовых файлах и файлах XML и предназначенный для параметризации задачи интеграции и гибкой настройки всех этапов реализуемой методики.

7. Разработан и применён на практике программный модуль, способный работать с различными базами данных и решать задачи односторонней интеграции без дополнительной разработки и предварительной выгрузки всего массива данных. Модуль реализует основные этапы методики.

Разработанный инструментарий используется для односторонней интеграции информационной системы «Электронный Архив Персонифицированного Учёта» и программно-технического комплекса «Система персонифицированного учета» в в 68 региональных отделениях персонифицированного учета Пенсионного фонда России.

Заключение

.

Работа посвящена одной из наиболее сложных и распространённых проблем в последнее время — интеграции внедряемых информационных систем с уже внедрёнными системами, в которые нельзя вносить изменения. Задача становится ещё более сложной, если речь идёт об интеграции с БД внедрённой системы в территориально распределённой организации. В качестве основного подхода выбран способ интеграции с базой данных напрямую. Особое внимание уделено проблемам извлечения данных из реляционных БД, в которых отсутствует контроль за их заполнением и которые используются разными системами для разных целей. Рассмотрена реляционная модель данных, на её основе построена модель неподдерживаемой реляционной базы данных. Проанализированы и изучены возможные изменения схемы в такой модели и природа этих изменений. Сделано обоснование использования вероятностной оценки для поисковых запросов к такого рода данным. Предложен альтернативный подход к поиску в неподдерживаемых данных, учитывающий проблемы эксплуатации БД в территориально распределённых организациях. Проведено исследование применения данного подхода для других типов баз данных: объектных и объектно-реляционных. Подход получил свой развитие в методике односторонней интеграции, которая, в свою очередь, реализована в программном модуле.

Помимо собственной реализации в работе проведена классификация возможных схем и инструментов интеграции от простых до самых сложных. Сделан обзор рынка средств интеграции информационных систем и мировых тенденций в разработке инструментов интеграции. В процессе рассмотрения собственной реализации методики обоснованы причины выбора тех или иных технологий.