Системы анализа данных

Решения бизнес-аналитики для предприятий уже давно перестали быть простым управленческим инструментом, обеспечивающим доступ к данным. В современных условиях они должны обладать гораздо большей функциональностью — от мониторинга производительности и процессов до принятия решений на основе полученных данных [17]. Создать инструмент, позволяющий удовлетворять всем возможным требованиям предприятия невозможно, поэтому все системы разделены на некоторые подклассы, различающиеся архитектурой, реализуемыми методами и соответственно, решающими ими задачами.

On-Line Analytical Processing-системы

С идеей многомерного анализа данных тесно пересекается оперативный анализ, выполняемый инструментами OLAP-систем. Основная цель OLAP-систем — возможность проведения произвольных запросов аналитиков для поддержания их деятельности. Цель OLAP-анализа — проверка возникающих гипотез [7].

В 1993 году Э. Кодд опубликовал работу под названием «OLAP для пользователей-аналитиков: каким он должен быть», в которой изложены основные концепции OLAP-систем. Также в этой работе расписаны 12 требований, которым должны удовлетворять OLAP-системы [26]. Затем, в 1995 году, он дополнил, прибавил к изначальным двенадцати требованиям ещё шесть, и определил все требования по четырём группам: основные особенности, специальные особенности, особенности представления отчётов, управление измерениями [4].

Существует и иная трактовка OLAP-систем, предложенная в 1995 г. Н. Пендсом и Р. Критом на основе анализа правил Кодда — FASMI (Fast of Analysis Shared Multidimensional Information). Данная концепция опирается на скорость вычисления, многопользовательский доступ, релевантность информации, наличие средств статистического анализа и многомерность, т. е. на представление анализируемых фактов как функций от большого числа их характеризующих параметров [7].

Архитектура On-Line Analytical Processing-систем

OLAP-система состоит из двух основных компонент:

• 1. OLAP-сервер — система, предоставляющая возможность выполнять над хранимыми данными необходимые операции и создавать многомерные модели на концептуальном уровне. Обычно OLAP-серверы объединяют с ХД или ВД;
• 2. OLAP-клиент — система, позволяющая аналитику совершать все возможные действия над многомерной моделью данных через специальный интерфейс.

Реализация многомерной модели в ХД скрывается OLAP-серверами от пользователя. Они формируют гиперкуб, над которым аналитики совершают различные действия, с целью выполнения задач анализа. Несмотря на то, что способ реализации многомерной модели скрывается, это является очень важной информацией, от которой зависит как производительность, так и занимаемые ресурсы [7].

Выделяют три основных способа реализации таких систем: MOLAP, ROLAP, HOLAP, и четыре дополнительных WOLAP, DOLAP, MOLAP, SOLAP [27].

MOLAP — многомерный (multivariate) OLAP. Для реализации многомерной модели используют многомерные БД (см. рисунок 1.7). Данные хранятся в виде многомерных упорядоченных массивов. Таким образом, куб можно представить в виде плоской таблицы, строчками которой, будут являться все комбинации значений всех характеристик с соответствующими им значениями мер [7].

К основным преимуществам использования MOLAP можно отнести следующее:

• 1. поиск и выборка данных производится значительно быстрее, чем при многомерном концептуальном взгляде на реляционную БД;
• 2. многомерные БД легко справляются операциями включения в информационную модель разнообразных встроенных функций.

Однако, также имеются и значительные недостатки использования многомерной схемы БД:

• 1. за счет денормализации и заранее выполненной агрегации объем данных в многомерной БД, обычно, соответствует (по оценке Кодда) в 0,025 раз меньшему объему исходных детализированных данных [7];
• 2. в большинстве случаев многомерный куб является сильно разреженным, а из-за того, что данные хранятся в упорядоченном виде, неопределенные значения можно удалить только за счет выбора оптимального порядка сортировки.

Многомерные БД чувствительны к изменениям в многомерной модели. Так, при добавлении нового измерения, всю структуру БД необходимо изменить, а это влечет за собой большие временные затраты [7].

ROLAP — реляционный (relational) OLAP. Для реализации многомерной модели используют реляционные БД. Наибольшее распространение получили две схемы реализации многомерного представления данных с помощью реляционных таблиц: звезда и снежинка.

Использование реляционных БД в OLAP-системах имеет следующие достоинства:

• 1. во многих случаях корпоративные ХД реализованы с помощью реляционных СУБД, и инструменты ROLAP позволяют проводить анализ непосредственно над ними;
• 2. ROLAP-системы являются оптимальным решением, в случае, переменной размерности задачи, т.к. в таких задачах необходимо часто вносить изменения в структуру, а такие модификации не потребуют физического перестроения БД;
• 3. реляционные СУБД обеспечивают гораздо более высокий уровень защиты данных и широкие возможности разграничения прав доступа.

Главный недостаток ROLAP по сравнению с MOLAP — меньшая производительность. ROLAP-системам необходимо провести тщательную проработку схемы БД и настройку индексов, для того, чтобы обеспечить сравнимую производительность с MOLAP [7].

HOLAP — гибридный (hybrid) OLAP. Для реализации многомерной модели используют и многомерные, и реляционные БД. В случаях, когда данные более плотные, может использоваться MOLAP, а для более разреженных данных — ROLAP. Серверы HOLAP применяют подход ROLAP для разреженных областей многомерного пространства и подход MOLAP для плотных областей. Серверы HOLAP разделяют запрос на несколько подзапросов, направляют их к соответствующим фрагментам данных, комбинируют результаты, а затем предоставляют результат пользователю [7].