Системы больших данных

Стандартные BI-решения и корпоративные приложения еще способны работать с большими объемами информации либо с высокой скоростью ее поступления. Однако в случае сочетания подобных характеристик необходимы более мощные технологии, так как многообразие форматов данных затрудняет их интеграцию, а изменчивость приводит к неоднозначности интерпретаций и даже возникновению ошибок/неточностей. Особенно это актуально для больших объемов информации, когда уже невозможно вертикальное масштабирование, приобретение более мощного компьютера, расширение памяти и увеличение числа ресурсов, приходящихся на один вычислительный узел.

Крупнейшим аналитическим агентством Forrester было предложено использовать термин «BigData» («большие данные») для описания технологий в области программно-аппаратного обеспечения, консолидирующих, обрабатывающих и анализирующих данные, обладающих тремя основными характеристиками:

• 1) объемом (volume);
• 2) разнообразием (variety);
• 3) скоростью (velocity).

Forrester нс случайно были выбраны эти критерии, так как именно они отличают обычные, легко поддающиеся обработке данные от тех, для которых необходимы специальные технологии и алгоритмы. Процессы работы со всеми типами данных, описанными ранее, могут быть автоматизированы, например, в части:

• • мониторинга;
• • обнаружения;
• • измерения;
• • очистки;
• • агрегации;
• • анализа;
• • выявления закономерностей;
• • архивирования;
• • использования в процессах поддержки принятия решений.

Исторически популяризацию феномена больших данных связывают с Google как с крупнейшим интернет-проектом с огромным количеством пользователей и объемом данных. Именно в Google были созданы многие технологии, применяющиеся сейчас для обработки больших массивов данных, позволяющие успешно работать с архитектурой из множества вычислительных узлов. Среди используемых в настоящее время технологий — быстрая запись и выборка по ключу через СУБД по принципу «ключ — значение», масштабируемая пакетная обработка, распределенные масштабируемые хранилища данных (HDFS).

Для аналитики подобных данных используются такие методы, как:

• • «предиктивное (предсказательное) моделирование» (для разработки индивидуализированных предложений покупателям, оценки рисков);
• • мэппинг в социальных сетях (определение основных факторов/ субъектов влияния на совершение покупок в Интернете, анализ предпочтений и поведения пользователей);
• • нейронные сети (медицинская диагностика, идентификация мошенничества);
• • инструменты визуализации (анализ корреляций, статистический анализ).

Среди наиболее ярких примеров визуализации больших данных — выступление Ханса Рослинга, известного специалиста в области статистики, на конференции TED (technology, entertainment, design). Его исследование посвящено развивающимся странам и основным зависимостям в части рождаемости/детской смертности/благосостояния семей/доходов домохозяйств. Благодаря визуализации на основе простейших «пузырьковых диаграмм» и прочих методов отображения информации, огромный массив данных, собранных за несколько десятилетий, может быть наглядно и интерактивно отображен и объяснен любой аудитории (рис. 6.7).

Для полного раскрытия коммерческого потенциала больших данных необходимо перейти к понятию их «ценности». Исследования McKinsey и других компаний показывают, что организации — лидеры в области обработки больших данных (особенно в сфере онлайн-торговли, розничной торговли) за счет обработки данных платежей и запросов пользователей достигают величины значений выручки и показателя EBITDA¹, в разы превышающих аналогичные значения для остальных компаний.

Рис. 6.7. Выступление Ханса Рослинга «The best stats you’ve ever seen».

на конференции TED²

Широкие возможности открывает совместное использование технологий больших данных и мощнейших суперкомпьютеров. Такие суперкомпьютеры (рис. 6.8) уже в 2014 г. могли совершать десятки тысяч триллионов операций с плавающей запятой в секунду, что равняется 30—50 тыс. терафлопс^[1][2][3][4]. В 2016 г. могут быть созданы первые экзафлопсные суперкомпьютеры, способные совершать до 1 квнтлн аналогичных операций.

Рис. 6.8. Tianhe-2 (MilkyWay-2), самый мощный суперкомпьютер в мире.

(на ноябрь 2013 г.)⁴

Среди сфер применения подобных суперкомпьютеров могут быть:

• • физика и астрономия:
  • — моделирование «Большого взрыва» (процессов формирования галактик, образования космической пыли и других активностей),
  • — моделирование процессов внутри атомных ядер, физика плазмы,
  • — проекты в части изучения и совершенствования технологии работы с ядерным топливом;
• • естествознание:
• — симуляция землетрясений и их предсказание (наряду с другими природными явлениями — ураганами, извержениями вулканов),
• — прогнозирование и изучение изменений климата,
• — моделирование/поиск месторождений на основе данных геологической разведки;
• • вычислительная биология и химия:
• — моделирование нервной системы и участков человеческого мозга для понимания функций этих участков,
• — разработки новых способов лечения пациентов/лекарств,
• — расшифровка ДНК.

Амбициозный проект в сфере управления медицинскими знаниями на основе big data — разработанная компанией IBM система искусственного интеллекта «Watson». Система «Watson» анализирует огромный объем медицинской информации, который представлен не только в цифровом, но и в текстовом варианте. За счет доступа к огромным объемам информации система способна давать ответы на различные медицинские вопросы простым и достаточно понятным языком. По состоянию на 2013 г. система анализировала данные 2 млн страниц текста из 42 медицинских журналов и пособий, а также имела доступ к 600 тыс. медицинских случаев.

• [1] EBITDA (сокр. от англ. Earnings before interest, taxes, depreciation and amortization) —аналитический показатель, равный объему прибыли до вычета расходов по выплате процентов, налогов и начисленной амортизации.
• [2] Scientists and thinkers. URL: http://career.worklifegroup.com/graduate/scientists-and-thinkers-38.html.
• [3] 1 терафлопс = 1 трлн операций в секунду = 1000 млрд операций в секунду.
• [4] China’s Tianhe-2 retakes fastest supercomputer crown. URL: http://www.bbc.co.uk/news/technology-22 936 989.