Описание процесса ETL

ETL — комплекс методов, реализующих процесс переноса исходных данных из различных источников в аналитическое приложение или поддерживающее его хранилище данных.

ETL-система должна обеспечивать выполнение трех основных этапов процесса переноса данных (ETL-процесса).

• · Извлечение данных. На этом этапе данные извлекаются из одного или нескольких источников и подготавливаются к преобразованию. Следует отметить, что для корректного представления данных после их загрузки в ХД из источников должны извлекаться не только сами данные, но и информация, описывающая их структуру, из которой будут сформированы метаданные для хранилища.
• · Преобразование данных. Производятся преобразование форматов и кодировки данных, а также их обобщение и очистка.
• · Загрузка данных — запись преобразованных данных в соответствующую систему хранения.

Начальным этапом процесса ETL является процедура извлечения записей из источника данных и подготовка содержащейся в них информации к процессу преобразования.

Процесс извлечения данных заключается в следующем:

• · Извлечение информации из текстового файла «Справочник сетей. txt»;
• · Извлечение информации из текстового файла «Товары.txt»;
• · Извлечение информации из текстового файла «Журнал продаж. txt»;

Алгоритм процесса:

• 1. С помощью команды Мастера импорта выбирается Текстовый файл.
• 2. Указывается имя файла и осуществляется его предварительный просмотр.
• 3. Устанавливаются параметры формата исходных данных.
• 4. Устанавливаются параметры столбцов с указанием типов данных.
• 5. Осуществляется процесс извлечения данных из текстового файла.

Результат выполнения процесса извлечения данных приведен на рисунках 3.2 — 3.6.

Рисунок 3.3 — Результат извлечения данных из файла «Товары.txt».

Рисунок 3.4 — Результат извлечения данных из файла «Журнал продаж. txt».

После того как данные извлечены из источников, осуществляется последний этап ETL — загрузка данных в хранилище. Процесс загрузки заключается в переносе данных из промежуточных таблиц в структуры хранилища данных. хранилище данные deductor регрессия.

• 1. Первыми в процессе загрузки данных в ХД загружаются таблицы измерений «Код сети», «Код товара» которые содержат описательную информацию, необходимую для таблицы фактов.
• 2. Далее загружается таблица фактов «Журнал продаж», в которой содержится информация непосредственно по процессу Закупки.