Анализ процесса управления большими данными

Управление большими данными (Big Data Management) — понятие, складывающееся из понимания «больших данных» и «управления данными»: в предыдущем разделе определено то, что понимается под термином «большие» данные; под управлением данными понимается сбор, хранение, а также обработка и доставка данных. Под обработкой может пониматься обширное количество процессов, особенно в том случае, когда применение информации, полученной из данных, отличается от первоначально заданой цели обработки данных. Управление данными включает в себя большое колчество различных дисциплин, в том числе, создание информационных хранилищ, интеграцию данных, проверку качества данных, управление контентом, обработку событий и т. д.

Управление большими данными — это совокупность дисциплин, инструментов и платформ для работы с БД, согласно определению «больших» данных, данному выше. Такое определение дается в исследовании TDWI [tdwi-managing-big-data. pdf], в котором также приводится опрос среди специалистов, работающими с БД, на тему тему «Есть ли в вашей организации „большие“ данные?». Согласно опросу, около четверти опрошенных компаний работают с структурированными большими данными; 31% респондентов показали, что их большие данные представлены разнообразными форматами и 38% не используют решения БД ни в каком виде. Следует отметить, что участник опроса в основном являлись компании двух видов: интернет-компании среднего размера и крупные корпорации с доходом более чем 10 млн долл. в год. Авторы отмечают, что при усреднененной выборке компаний, количество организаций без БД было бы заметно больше, но не на настолько, чтобы стать большинством.

Рисунок n. Есть ли в вашей организации БД, согласно определению, приведенному определению*? (* Данные больших размеров, в первую очередь) 461 опрошенный

• 26% — да, но большинство таких данных структурированы
• 31% — да, данные разнообразные
• 38% — нет, мы не работаем с БД, ни в каком определении
• 4% — не знаю
• 1% — другое

Управление большими данными для большинства компаний сегодня — это возможность получить понимание собранных данных, построить предиктивную аналитику для выявления новых интересных взаимосвязей о потребителях, рынках, партнерах, издержках и операциях компании. Для выявления основных причин, был составлен опрос на тему: «Какие сегменты вашего бизнеса или технологии вы бы улучшили, используя решения управления БД?» [tdwi-managing-big-data. pdf] (Рис n).61% опрошенных заявили о возможном использовании БД для развития аналитических инструментов, включая функции расследования мошенничества (21%) и приложения по оценки риска (16%). Второе, что представители различных компаний улучшили бы с помощью анализа БД — это раскрытие информации, что отметили 39% опрошенных, получение business insights (особо важной для бизнеса информации) с большей точностью и аккуратностью отметили 34%, извлечения большей ценности для бизнеса — 33%. В этом направлении участники опроса особенно отметили важность БД для оптимизации бизнес-процессов, соблюдение требований бизнеса, а также понимание изменения, происходящих на рынке присутствия компании. Третий блок вопросов, к которым бы активно применялись решения БД, при условии их успешного внедрения — управление продажами и маркетинговыми кампаниями. К таким вопросам относятся исследование рынка, отслеживание потребительских настроений по статистике «кликов», таргетированный маркетинг, построение и прогнозирование развития трендов, и т. д.