Управление преобразованием данных

Введение

Преобразование (трансформация) данных не ставит целью изменить их информационное содержание. Задача преобразования данных — представить эту информацию в таком виде, чтобы она могла быть использована наиболее эффективно.

Преобразование данных — это очень широкое понятие, не имеющее четко очерченных границ. В различных направлениях обработки данных этот термин иногда распространяют на любые манипуляции с данными независимо от их целей и методов. Можно выделить основные методы преобразования данных:

нормализация,

сортировка,

группировка,

преобразование типов,

преобразование форматов и др.

На каждом этапе аналитического процесса имеются свои приоритетные цели трансформации, например, в системах оперативной обработки (OLTP) это обеспечение поддержки корректности форматов и типов данных, оптимизация процессов доступа и выгрузки данных. На этапе ETL-процесса трансформация производится с целью приведения данных в соответствие с моделью, которая используется в хранилище, а также обеспечения процесса консолидации данных и их загрузки в хранилище. И, наконец, в аналитическом приложении производится непосредственная подготовка данных к анализу, объединение и выделение наиболее ценной информации, обеспечение корректной работы аналитических алгоритмов, методов и моделей.