Введение. 
Разработка сервиса агрегации открытых данных и данных из социальных сетей

За всю историю все сферы жизни человека переживали колоссальные изменения. Считается, что человечество уже давно достигло той отметки, когда главным ресурсом на планете является информация. Соответственно, владение информацией представляет собой основную ценность в бизнесе, политике, военных действиях и множестве других сфер. Именно из этих соображений появилась знаменитая крылатая фраза «Кто владеет информацией, тот владеет миром» Н. М. Ротшильда.

С каждый годом эта фраза становится все более актуальной. В современном мире не редкость является компания, которая в качестве бизнес модели имеет продажу или обработку информации. Основной причиной популярности и успеха такого вида бизнеса является тот факт, что он доступен практически каждому. Низкий порог входа обуславливает распространение этого вида электронного бизнеса, а широкий охват всемирной паутины является преимуществом для простой доставки информации[24]. Однако самым важным здесь является то, что информация способна повлиять на деятельность индивидуальных предпринимателей, компаний и даже государств. С помощью нее можно корректировать существующие процессы и эффективно принимать решения. Последствия этого могут иметь исключительно положительный эффект на прибыльности предпринимательской деятельности[23].

Еще одним аспектом повышения важности информации является ее объем. На сегодняшний день генерируется настолько огромное количество информации, что даже появился термин «информационный стресс». Количество информации, которое человек потребляет ежедневно, отличается в тысячи раз по сравнению с тем, сколько потреблял человек полвека назад. По даннымIDC, количество информации удваивается каждые два года[26]. Настолько стремительный рост объема данных ставит вопрос о способах их обработке. Именно технологии по работе с большим количеством данных и получили название «большие данные» (BigData).Они положили начало качественно новым подходам к анализу данных. В своей основе они также используют последние достижения в области компьютерных технологий и постоянно снижающуюся стоимость вычислительных ресурсов.

Стоит отметить, что результатом анализа данных является информация. Можно сказать, что обработка существующей информации порождает новую информацию. В некоторых случаях оказывается, что пользу приносит именно сгенерированная информация, поскольку содержит результаты анализа данных. Поскольку информации с каждым днем становится все больше, а технологии по их обработке все более доступными, становится возможным производить анализ из различных источников информации. Это может быть информация разного формата, собранной для своих целей, однако при их совместном использовании можно получить более полную информацию об интересующем явлении или процессе. Такой процесс объединения источников называется обогащением данных. В таком случае в результате обработки агрегированных данных может получиться совершенно новая информация, которая может быть полезна для использования, в то время как каждый источник по отдельности практически бесполезен. Это еще одно направление развития больших данных, поскольку появилась возможность извлекать полезную информацию из огромных массивов данных, которые раньше не несли никакой пользы.

Как уже было сказано, владение и грамотное использование информации могут положительно сказаться на экономическом аспекте той ли иной организации. Однако здесь встает вопрос о качестве данных, их полноте и актуальности. В 2005 году ТимО’Рейли предложил новую концепция построения информационных систем, которая была названа «Веб 2.0». Главной особенностью ее являлось то, что контент должен генерироваться и модерироваться самими пользователями. Он считал, что при таком подходе должно увеличиться количество полезной информации, она будет проверенной, а качество будет зависеть от числа пользователей. На данный момент крупнейшими источниками пользовательского контента являются социальные сети. Сам контент в социальных сетях может показаться бесполезным, тем не менее, анализ этих данных может выявить различные закономерности или модели поведения пользователей[12].

Экономическая сторона вопроса также интересует и государство. Влияние на экономику полезной информации заставляет страны развивать концепцию открытого государства. Для этого продвигается идея открытых данных, ставшая популярной во всем мире. Для этого страны публикуют различные документы, статистику, наборы данных, которые не являются секретными и гарантируют их достоверность, актуальность и полноту[5].

Как можно заметить, существует великое множество источников данных в современном мире. В данной работе будут рассмотрены источники в виде наиболее популярных социальных сетей и одним из самых перспективных — открытых данных.

ЦЕЛИ И ЗАДАЧИ ИССЛЕДОВАНИЯ

Цель исследования: разработка сервиса агрегации открытых данных и данных из социальных сетей.

Задачи исследования:

• · анализ предметной области;
• · анализ существующих решений;
• · выбор источника и наборов открытых данных;
• · выбор социальных сетей для извлечения данных;
• · ограничение геолокации сообщений из социальных сетей;
• · разработка формата хранения данных;
• · разработка сервиса сбора данных из социальных сетей;
• · визуализация собранных данных методом теплой карты.

открытый социальный данные интерфейс.