Настоящее и будущее технологии Big Date и ее роль в электронной коммерции

В конце 1990;х и начале 2000;х гг. технология Big Date использовалась, в основном, для обработки больших массивов данных, получаемых из различных информационных систем. В тот период времени технология характеризовалась тремя основными векторами:

• • Volume — работа с большими массивами данных;
• • Variety — обработка разнообразных данных — структурированных, слабо структурированных и неструктурированных;
• • Velocity (скорость) высокая оперативность и скорость обработки данных.

Для реализации этой технологии используются специально разработанные аппаратные устройства и специальное ПО (в первую очередь технология Appache Hadoop MapReduce).

В настоящее время технология Big Date, помимо возможности обрабатывать и анализировать очень большие массивы данных, обладает рядом интеллектуальных свойств. Она позволяет применять самообучающиеся алгоритмы, которые могут самостоятельно усложняться и самосовершенствоваться. К перечисленным трем векторам в настоящее время добавляются:

• • Value — фильтрация данных по степени важности или влиятельности информации;
• • Veracity — достоверность, разделение данных по степени достоверности;
• • Variability/Variancc — изменчивость, учет отклонения информации от среднего значения;
• • Viability — жизнеспособность данных, учет фундаментальности и долговечности параметров.

Технология Big Date активно развивается. Так, в 2014 г. компанией Amazon разработан сервис Elastic MapReduce (EMR). Он представляет собой облачный вариант распределенных вычислений Hadoop. Сервис выполняет заданные аналитические функции над данными, а результаты работы размещаются в каталоге в виде файлов. Предусмотрен пакетный режим работы. В процессе счета из консоли EMR можно следить за ходом выполнения задачи.

Компанией Amazon также разработан сервис Kinesis. Он позволяет в режиме реального времени собирать и обрабатывать сотни терабайт данных в час от сотен тысяч источников. Одним из таких источников является веб-узел, представляющий собой платформу для хранения, загрузки и предоставления данных для внешних счетно-аналитических механизмов, в том числе и для обработки маркетинговой и финансовой информации. Он позволяет в режиме реального времени создавать панели мониторинга для оперативного принятия решений и выдачи рекомендаций. Данные можно отправить на целый ряд других услуг, таких как Amazon Simple Storage Service (Amazon S3), Amazon DvnamoDB или Amazon Redshift. Можно всего в несколько кликов начать строить приложения, которые реагируют на изменения в потоке данных.

Компания IBM в 2014 г. разработала версию IBM Hadoop, которая по производительности в несколько раз превосходит исходную версию Appache Hadoop. К новым продуктам для распределенных вычислений относится BLU Acceleration IBM PureData System for Hadoop.

Технология Big Data для бизнеса.

Согласно данным аналитической компании Gartner, количество данных в мире ежегодно увеличивается на 30—50%. Для обработки непрерывно увеличивающегося объема данных в последние годы разработаны специальные аппаратные и программные решения. Они получили название Big Data. Технология Big Data в первую очередь ориентирована на бизнес. В больших данных содержится ценная информация, владея которой, можно преобразовать бизнес. Она позволяет:

• • привлекать и удерживать клиентов, наращивать клиентскую базу. База может содержать ценную аналитическую информацию о клиентах и об особенностях их мотивации. Анализ этой информации позволит найти способы оптимизации взаимодействий с клиентами, создавать дополнительную ценность и построить прочные отношения на длительной основе;
• • улучшать планирование и управление, повышать эффективность операций, цепочек поставок и использования ресурсов инфраструктуры. Это приведет к повышению эффективности и продуктивности, а также ограничению количества угроз. Интеграция технологии Big Data с инструментами бизнес-аналитики (Business Intelligence) дает возможность:
  • — улучшать прогноз потребительского спроса, используя выявление периодов отсутствия товара на полках;
  • — повышать эффективность закупок, используя интеллектуальный анализ потребительского спроса;
  • — определять оптимальную величину товарных запасов путем учета влияния изменений розничных цен на товары;
  • — управлять ассортиментом и ассортиментным планированием;
  • — управлять полочным торговым пространством; планировать программу стимулирования продвижения товаров;
  • — распределять остатки товарных запасов с наименьшими потерями;
• • повышать эффективность и качество торговых операций. По результатам исследований, выполненных компанией Objective Logistics, через торговую POS-систему в среднем проводится от 3 до 15 млн транзакций в месяц, что генерирует поток данных до 8 Гб. На основании анализа потока данных можно с высокой степенью вероятности предсказать, что купит клиент вместе с каждым товаром, популярность отдельных видов товаров. Это позволяет подстраивать логистику под отклонения потребности товара (всплески или провалы) и зарабатывать на этом дополнительные деньги;
• • осуществлять персонализацию покупок. Многие торговые организации годами накапливают гигабайты информации о торговых операциях своих покупателей. Идентифицировать и отследить их можно по кредитным карточкам покупателей. Аналитическая обработка этих данных позволяет выявить вкусы и предпочтения покупателей, что приводит к новым персонализированным стратегиям торговли.

Кроме того, применение стандартных методов технологии Big Data позволяет выявить 50—60% зафиксированных мошеннических действий в банковской сфере.