Методы интеграции данных компьютерных систем на основе универсального формата обмена данными

Выводы по главе.58.

ГЛАВА 3. РАЗРАБОТКА МОДЕЛЕЙ ДАННЫХ И АЛГОРИТМИЧЕСКОГО ОБЕСПЕЧЕНИЯ ДЛЯ ИНТЕГРАЦИИ РАЗРОЗНЕННЫХ КОМПЬЮТЕРНЫХ СИСТЕМ.61.

3.1 Разработка математической модели единого интегрированного информационного пространства и постановка задачи.61.

3.2 Разработка моделей представления данных и форматов их преобразования.64.

3.3 Разработка математической модели преобразования данных с использованием шаблонов преобразования данных.76.

3.4 Разработка моделей построения централизованного хранилища с системным историзмом и хранением собственной структуры данных (метаданных).80.

3.5 Разработка алгоритмического обеспечения обработки данных центральным концентратором.84.

Выводы по главе.91.

ГЛАВА 4. РАЗРАБОТКА ПРОТОТИПА ПРОГРАММНОГО ОБЕСПЕЧЕНИЯ И АНАЛИЗ ЭФФЕКТИВНОСТИ ПРЕДЛОЖЕННОГО ПОДХОДА НА ОСНОВЕ ПИЛОТНОГО ВНЕДРЕНИЯ ДАННОГО ПРОТОТИПА.93.

4.1 Разработка прототипа программного обеспечения на основании предложенного подхода.93.

4.2 Анализ эффективности предлагаемых методов на основе пилотного внедрения разработанного прототипа программного обеспечения.108.

4.3 Определение применимости, анализ преимуществ и недостатков предлагаемого подхода.112.

4.4 Анализ этапов внедрения разработанного прототипа программного обеспечения и экономической эффективности.116.

4.5 Анализ перспективности развития предложенного подхода.120.

Выводы по главе.121.

ЗАКЛЮЧЕНИЕ

123.

СПИСОК ИСПОЛЬЗОВАННОЙ ЛИТЕРАТУРЫ.125.

ПРИЛОЖЕНИЕ. ДЕКОМПОЗИЦИЯ ЗАДАЧИ ИНТЕГРАЦИИ ДАННЫХ. .132.

Актуальность темы

исследования.

Компьютерные системы обработки данных, внедренные на предприятиях и в некоммерческих организациях, зачастую представляют собой автономные системы, которые слабо или никак не связаны с другими системами, базами данных и программами автоматизации деятельности предприятий. Такие компьютерные системы могут быть разработаны разными компаниями, на различных платформах, с использованием разных типов баз данных.

В процессе развития крупной организации, включая государственные и муниципальные органы власти, все актуальнее становится задача эффективного управления информационной структурой. При этом многократно возрастают информационные потоки обмена данными, все более значимой становится правильно построенная информационная структура организации.

Ключом к достижению успеха процесса автоматизации организации, развивающей информационную инфраструктуру для повышения эффективности своей деятельности, является разработка способа интеграции данных из компьютерных систем.

Объектом исследования является процесс интеграции данных компьютерных систем.

Предметом исследования является разработка методов интеграции и постоянного обмена данными, которые обрабатываются компьютерными системами автоматизации деятельности организаций (информационных систем управления взаимоотношения с клиентами, систем планирования ресурсов предприятия, аналитических систем и др.).

Анализ отечественной, зарубежной литературы и источников сети Интернет позволяют сделать вывод, что исследованием и разработкой методов решения вышеуказанной задачи занимаются крупные информационные компании, такие как Microsoft, IBM, Oracle и др. Каждая из данных компаний предлагает проприетарные программные средства и технологии, и все они являются закрытыми программными продуктами для конечного потребителя, что не позволяет на их основе строить интегрированные системы обмена данными в рамках концепции открытых информационных систем. Среди российских ученых, изучающих проблемы интеграции данных, можно отметить работы А. Кудинова, Н. Ермакова, А. Черноусова и др.

Можно сделать вывод, что задача интеграции данных из разных компьютерных систем представляется недостаточно исследованной, а большинство проектов по интеграции данных из различных компьютерных систем обработки не завершаются успехом из-за отсутствия обобщенного подхода к решению данной задачи.

Все вышесказанное подчеркивает актуальность тематики данной исследовательской работы.

Цель диссертационной работы.

Целью диссертационной работы является повышение в организации эффективности процессов комплексной обработки данных, находящихся в разных компьютерных системах в различных структурах и форматах представления, на основе разработки методов интеграции этих данных в единое интегрированное информационное пространство.

Задачи исследования.

Для достижения цели диссертационной работы необходимо решение следующих задач.

1. Разработка архитектуры интеграции данных разных компьютерных систем обработки данных.

2. Разработка моделей, методов представления, преобразования и обработки данных компьютерных систем для обеспечения их интеграции, а также метода организации хранения таких данных.

3. Разработка алгоритма сохранения данных в централизованном хранилище с обеспечением синхронизации данных.

4. Разработка прототипа программного обеспечения, реализующего предлагаемые методы и алгоритмы в рамках описанных моделей, с последующим проведением анализа эффективности предлагаемого подхода.

Методы исследования.

Для решения поставленных задач в диссертационной работе был использован широкий спектр научных методов. При анализе функций систем интеграции данных и описании модели данных были использованы методы системного анализа, а в качестве средства моделирования была применена методология объектно-ориентированного проектирования. При разработке системы интеграции данных были использованы методы модульного, объектно-ориентированного и системного программирования, а также реляционная методология организации хранилища данных.

Основные научные результаты, выносимые на защиту.

1. Архитектура интегрирующей системы для организации единого интегрированного информационного пространства разных компьютерных систем обработки данных.

2. Метод сопоставления данных в различных структурах и форматах, метод обеспечения сохранности данных в централизованном хранилище и обмена данными в едином информационном пространстве.

3. Математическая модель преобразования данных универсальным конвертором на основе универсального формата обмена данными.

4. Алгоритм сохранения (и изменения) данных в централизованном хранилище данных интегрирующей системы.

Научная новизна работы.

Научная новизна работы содержится в следующих результатах.

1. Предложена архитектура интегрирующей компьютерной системы обработки данных, составленной из разных компьютерных систем обработки данных, основанная на применении универсального формата обмена данными. В отличие от известных, архитектура применима для одновременной интеграции данных компьютерных систем с требованием минимального вмешательства во внутренние структуры, а также для организации периодического обмена данными между этими системами. Это позволяет как проводить комплексную обработку данных, так и осуществлять обмен данными между отдельными компьютерными системами.

2. Разработана математическая модель преобразования данных между различными структурами с применением универсального конвертора данных в различных форматах на основе задания шаблона преобразования, что позволяет производить подключение новых систем в единое интегрированное информационное пространство путем задания одного шаблона преобразования при подключении каждой новой системы. Предложен метод сопоставления данных в различных структурах, основанный на определении уникальности объекта по группам ключевых полей, что позволяет сопоставлять и связывать между собой объекты в различных форматах, создавая в центральном хранилище эталонное представление объекта, а также задавать связи между компьютерными системами. Предложен метод хранения данных в интегрирующей системе с обеспечением их сохранности, что позволяет восстановить данные после некорректного изменения.

3. Разработан двухпроходный алгоритм обработки данных на основе многоступенчатой защиты от внесения некорректных данных в централизованное хранилище, что позволяет сформировать централизованное хранилище из проверенных, связанных между собой данных.

4. Разработан прототип программного обеспечения интеграции данных компьютерных систем обработки данных, позволяющий оценить эффективность предложенных методов и алгоритмов.

Практическая значимость.

Практическая значимость полученных результатов содержится в разработанном прототипе программного обеспечения интеграции и комплексной обработки данных, находящихся в разных компьютерных системах в различных структурах и форматах представления на основе разработанных методов интеграции этих данных в единое интегрированное информационное пространство.

Разработанный прототип программного обеспечения, реализующий предлагаемый подход, прошел пилотное внедрение в Администрации городского округа город Уфа Республики Башкортостан.

Результаты работы внедрены в учебный процесс УГАТУ в рамках курса «Технология разработки программного обеспечения» для студентов специальности 10 503 «Математическое обеспечение и администрирование информационных систем». На модуль прототипа программного обеспечения получено свидетельство об официальной регистрации программы для ЭВМ в Роспатенте.

Связь с научными программами.

Исследования проводились в рамках грантов РФФИ № 06−07−89 228-а (2006;2008гг.) и НИР № ИФ-ВК-01−08−03.

Апробация работы.

Основные научные и практические результаты диссертационной работы докладывались и обсуждались на следующих конференциях: 7-й и 9-й Международных конференциях «Компьютерные науки и информационные технологии» (СБГГ), Уфа-Ассы, 2005; Уфа-Красноусольск, 2007; Региональной зимней школе-семинаре аспирантов и молодых ученых, Уфа, 2006, 2007, а также семинарах регионального уровня.

Публикации.

Основные результаты диссертационной работы опубликованы в 8 научных трудах, в том числе в виде научных статей в 2 научных изданиях, рекомендованных для публикации Высшей аттестационной комиссией Минобразования РФ. Перечень публикаций отражен в списке используемой литературы.

Структура работы.

Диссертационная работа состоит из 133 страниц машинописного текста, включающего в себя введение, четыре главы, заключение, рисунки, таблицы, список литературы из 87 наименований и приложение.

Результаты исследования оставляют широкий выбор дальнейших тематик исследования, таких как следующий логический уровень — сквозные бизнес-процессы — и разработка различных методов и алгоритмов оценки качества данных, пересылаемых в централизованное хранилище.

ЗАКЛЮЧЕНИЕ

.

1. Разработана архитектура и общие требования (подход) к технологии интеграции разных компьютерных систем обработки данных. Сопоставление данных и их обмен между системами производится в центральном элементе системы — централизованном хранилище, а структура централизованного хранилища и пакетов обмена данными описывается на универсальном формате обмена данными (УФОД). В отличие от известных архитектур, в предложенной достигается возможность как комплексной обработки данных разных компьютерных систем при сохранении ими независимости и невмешательства в их внутренние структуры, так и обеспечение обмена данными между этими системами. Это позволяет связать системы между собой путем создания связей между объектами, находящимися в разных системах.

2. Разработаны следующие модели и методы:

— математическая модель единого интегрированного информационного пространства, которая позволяет рассмотреть общий случай передачи данных между системами, а при задании ограничений получить модель задачи, решаемой в рамках диссертационного исследования. В отличие от известных, в модели акцентируется внимание на вопросе конвертирования данных в различных форматах при наличии произвольного количества систем.

— математическая модель преобразования данных между различными форматами на основе шаблона преобразования, которая формально описывает две в общем случае неравноценных структуры данных, а также способы их сопоставления путем задания связей. В отличие от известных, модель описывает принцип задания соответствия данных в формальном виде шаблона преобразования.

— метод сопоставления данных в различных структурах на основе оценки идентичности объектов путем сравнении групп ключевых полей, что, в отличие от известных методов, позволяет определять различные ключевые поля (признаки) для объектов из различных систем, а также определять дубликаты объектов и автоматически добавлять связи между объектами.

— метод обеспечения безопасных сохранений (изменений) данных в централизованном хранилище путем применения системного историзма, задания приоритетности систем-источников, применения единого идентификатора для объектов, а также использования принципа обязательной обратной связи и фильтрации поступающих данных. В отличие от известных, метод обеспечивает создание в централизованном хранилище «эталонных» реестровых данных, а также обеспечивает защиту от некорректного их изменения и возможность восстановления ранних версий.

3. Разработан общий алгоритм двухпроходного изменения данных в централизованном хранилище, который включает в себя проверку всех поступивших в рамках транзакции объектов, и не помещает их в хранилище, а также не создает пустые связи, до того, пока не будет получен результат, что объект, который будет связан с данным, также успешно проходит проверки. Алгоритм, в отличие от известных, позволяет избежать пустого выделения единых идентификаторов объектам, которые не будут в итоге сохранены в централизованном хранилище, а также позволяет не создавать ссылки на несуществующие объекты.

4. Разработан прототип программного обеспечения, реализующий предложенные подход, методы и алгоритм. Прототип прошел пилотное внедрение в Администрации ГО г. Уфа РБ. Эффективность предлагаемого подхода подтверждена анализом результатов пилотного внедрения прототипа программного обеспечения, на рассмотренном примере установлено, что преимущество по времени обработки тестовой выборки реальных объектов перед оценкой экспертами — более чем в 20 раз. Данный прототип может быть использован в реально эксплуатируемых системах.