Обзор программного обеспечения

Инструменты для анализа данных

Для полнотекстового поиска и анализа сообщений из социальных сетей, а также последующего формирования выборки, использовался продукт компании IBM — «IBM Watson Content Analytics». Собраны данные из открытых источников и загружены в IBM Watson Content Analytics, посредством импорта CSV-файлов. Так же были определены основные и дополнительные атрибуты для формирования выборки.

IBM Watson Content Analytics — инструмент, предназначенный для сбора и анализа структурированной и неструктурированной информации в документах, электронной почте, базах данных, на Web-сайтах и других источниках данных, основная цель которого — выявление фактов и закономерностей на основе анализа контента. Анализ таких закономерностей позволяет принимать обоснованные решения, быстро выявлять информацию о трендах, шаблонах и взаимосвязях, позволяющую проводить более качественный бизнес-анализ и улучшить управление делопроизводством. К функциям относится просмотр и импорт содержимого, осуществление синтаксического разбора и анализа содержимого. IBM Watson Content Analytics помогает анализировать текст во всех данных и делать эти данные доступными для анализа и выработки оптимальных решений. Платформа позволяет в интерактивном режиме исследовать данные из разных срезов (фасетов) и находить взаимосвязи между различными значениями в срезах и аномалии значений. Удобный интерфейс обеспечивает быстрое получение нужных документов из ранжированного списка результатов, путем выполнения запросов к индексу.

Инструменты для визуализации данных

Инструментов для визуализации данных существует большое множество. Среди них есть более простые и более сложные, интерактивные и устанавливаемые на компьютер, более совершенные и находящиеся на ранних стадиях разработки. У всех есть свои плюсы и минусы, специализация и спектр возможностей.

Чтобы выбрать оптимальную программу для выполнения поставленных, было проведено исследование самых популярных программ для визуализации данных. В выборе программы так же помогли исследования Gartner.

Gartner — исследовательская и консалтинговая компания, специализирующаяся на рынках информационных технологий. Наиболее известна введением в употребление таких терминов, как: ERP, магический квадрант, цикл зрелости технологий, а также регулярными исследованиями рынков информационных технологий и аппаратного обеспечения.

Для оценки поставщиков какого-либо сегмента рынка информационных технологий, исследователи Gartner используют две линейные прогрессивные экспертные шкалы:

• — Полнота видения (англ. completeness of vision).
• — Способность реализации (англ. ability to execute).

Каждый производитель, попавший в рамки рассмотрения исследуемого сегмента рынка, оценивается по этим двум критериям. Полнота видения откладывается на оси абсцисс, а способность реализации — на оси ординат. Таким образом, каждый производитель оказывается в одном из четырёх квадрантов плоскости, которые называются:

• — Лидеры (англ. leaders) — поставщики с положительными оценками как по полноте видения, так и по способности реализации.
• — Претенденты (англ. сhallengers) — поставщики с положительными оценками только по способности реализации.
• — Провидцы (англ. visionaries) — поставщики с положительными оценками только по полноте видения.
• — Нишевые игроки (англ. niche players) — поставщики с отрицательными оценками по обоим критериям.

Аналитики Gartner называют магическим квадрантом (магический квадрат) конкретный анализ какого-либо сегмента рынка, с распределением производителей по указанным четвертям; ежегодно компания выпускает несколько десятков магических квадрантов на регулярной основе.

Поставщики иногда отмечают даже сам факт попадания в какой-либо магический квадрант отдельным событием, как признание рыночных достижений, даже если компания не попала в квадрант лидеров [2].

Рисунок 32. Магический квадрант для BI и аналитических платформ.

Детально были рассмотрены следующие разработчики:

1. IBM Cognos Business Intelligence

Превращает данные в представления операций и производительности организации за прошлый, настоящий и будущий периоды времени, что позволяет управленцам извлекать прибыль из возможностей и минимизировать риски. Эти представления можно использовать для понимания быстрых и отдаленных последствий решений, затрагивающих сложные взаимосвязанные факторы. Согласованные моментальные копии с данными об эффективности бизнеса представляются в аналитических отчетах корпоративного класса и независимо составленных сводных панелях, основанных на надежной информации. Благодаря этому пользователи, не являющиеся техническим персоналом, пользователи бизнес-аналитики, а также ИТ, могут быстро отвечать на изменяющиеся бизнес-потребности.

Сильные стороны:

— IBM Cognos обладает мощным математическим инструментарием и высокой производительностью, решение позволяет оперативно решать задачи бюджетного процесса и работать с большим объемом данных.

Предостережения:

• — IBM Cognos рассчитан на представителей среднего и крупного бизнеса с достаточно сложным бюджетным процессом, в котором участвует более 25−30 пользователей.
• 2. Tableau

Tableau обладает самыми высокими показателя по шкале способности реализации, благодаря успешной компании «land and expand» стратегии. Многие аналитики Gartner стали находить возможности Tableau применимыми для больших организаций и адаптивными к их стратегиям. Некоторые эксперты утверждают, что быстрый рост компании может привести к проблемам, когда компания перестанет справляться со своими обязанностями перед крупными клиентами. Tableau отчетливо занял свое место на рынке BI с акцентом на «помочь людям увидеть и понять свои данные».

Сильные стороны:

• — Скорость. Скорость внедрения, скорость обучения, скорость получения отчета, скорость ответа на вопрос к данным, в итоге скорость получения результата. Минуты и секунды, вместо недель и месяцев.
• — Простота. Пользователь не думает об инструменте, а думает о своих данных, о задаче которая перед ним стоит. Просто действуете.
• — Самообслуживание. Не нужно теперь зависеть от ИТ-поддержки, не нужно разрабатывать технические задания, не нужно копипастить в Excel.
• — Визуализация. В арсенале лучшие практики визуализации информации. Автоматическое геокодирование, умелые подсказки — как лучше смотреть на данные, специально разработанные цветовые схемы, позволяющие лучше отразить информацию. Карты — одна из наиболее сильных сторон.
• — Технические возможности. Технология, разработанная Tableau Software, позволяет подключаться к широкому спектру различных источников данных. Способность подключаться в режиме «живое подключение» дает существенные преимущества — нет дублирования данных в собственном формате, нет высоких требований к оборудованию, высокая производительность на Big Data. Способность также сохранения данных в собственном формате .tde обеспечивает значительное улучшение производительности для медленных источников данных.

Предостережения:

• — Ограниченный функционал. Tableau обладает ограниченной линейкой продукции для изучения данных. Зачастую крупные организации предпочитают покупать полный пакет программного обеспечения от одного вендора.
• — Параметры. Невозможно использовать динамические параметры, формулы для расчета значений, динамически названия формул, изменять значение одного параметра при смене другого и т. д. Это лишает возможности создания сложных IT отчетов, информационные панели (дашборды), традиционный анализ, управление метаданными, разработка и интеграция и платформы бизнес-администрирования представляют слабые возможности, что делает Tableau неподходящим для централизованного и встроенного использования.
• — Обрабатывает только готовые для аналитики данные.
• 4. Описание входных данных

С помощью системы IBM Watson Content Analytics были определенны основные и общие атрибуты текстовых сообщений:

• 1. Источник информации.
• 2. Дата публикации сообщения.
• 3. Автор сообщения.
• 4. Заголовок сообщения, определяющий тематику.
• 5. Текст сообщения.

В качестве дополнительных, необязательных следует выделить следующие атрибуты:

• 1. Эмоциональная окраска сообщения.
• 2. Географическая привязка или местоположение автора при публикации сообщения.
• 3. Количество сообщений, относящихся к следующим темам:
  • — Коррупция.
  • — Медицина.
  • — Образование.
  • — Качество дорог.
  • — Правоохранительные органы.
  • — Государственный аппарат.

Запросы, по которым была осуществлена выборка указаны в Приложении.