Метод интеграции данных: Создание единой базы данных (ETL)

Часто это два независимых потока, которые сотрудники бухгалтерии или операционисты связывают вручную, при самом лучшем раскладе используемая корпоративная ИС имеет функционал автоматической привязки платежей. В рассматриваемой нами компании информация о платежах поступает от платежной сети. Поскольку она содержит персональные данные, то в соответствии с 153-ФЗ поставляется в зашифрованном виде. Вторым потоком данных являются файлы в формате DBF, содержащие информацию о банках-контрагентах, которая требуется для геолокации платежа. И последними с минимальной задержкой в три банковских дня приходят деньги и выписка с платежами, проведёнными через банк-партнёр.Нужно отметить, что в лоб эти потоки не связываются: номера документов, указанные в реестрах от платёжной системы и банка, не совпадают, а из-за особенностей работы банка дата платежа, которая значится в выписке, может не совпадать с датой реальной оплаты, которая содержится в реестре.Рис. 3. Организация разноски платежей

Все вышеприведенные задачи нельзя рассматривать как некийBestPractice использования ETL, все же основной задачей этого инструмента остаётся интеграция данных. Но в условиях, когда функциональность продуктов ETL у большинства вендоров постоянно расширяется, использовать только 10% их потенциала неразумно. Современный ETL оставляет большое поле для экспериментов, часто позволяя решать задачи, не характерные для него, и делать это быстро, эффективно и с минимальным использованием навыков разработки. Из всего вышесказанного можно заключить, что консолидационный метод интеграции данных и ETL в частности является перспективной динамично развивающейся ветвью знаний в области IT и имеет широчайшее прикладное значение. Также необходимо отметить, что данная область знаний постоянно расширяется, а структура систематизации их меняется, поэтому не всегда возможно однозначно описать существующую в данный момент структуру. Кроме того, вне зависимости от выбранных технологии и метода интеграции данных, остаются вопросы, связанные с их смысловой интерпретацией и различиями в представлении одних и тех же вещей, приходится разрешать несоответствие схем данных и несоответствие самих данных. Используемая литература:

Когаловский М. Р. Методы интеграции данных в информационных системах. Доклад на Третьей Всероссийской конференции «Стандарты в проектах современных информационных систем», Москва, 23−24 апреля 2003 гГарсиа-Молина Г., Ульман Дж., Уидом Дж. Системыбазданных. Полныйкурс (Database Systems: The Complete Book.) — Вильямс, 2003. — 1088 с. — ISBN

5−8459−0384-XWilliam Kent. S olving Domain Mismatch and Schema Mismatch Problems with an Object-Oriented Database Programming Language. P

roceedings of the International Conference on Very Large Data Bases (1991).Леонид Черняк. Интеграция данных: синтаксис и семантика. «Открытые системы», № 10, 2009