Используемые данные. 
Событийный анализ. 
Выбор предсказательной модели

Описание данных

Данные, используемые в данной работе можно разделить на две группы: финансовые данные и данные, отражающие настроения рынка на основе социальных сетей и поисковых запросов. Финансовые данные включают в себя ежедневные котировки акций, индекса S&P 500, данные по волатильности цен акций и значений выбранного индекса, а также общие объемы торгов. Вторая группа данных включает в себя количество положительных, отрицательных и нейтральных по тональности и настроению публикаций о компании в Твиттере, общее количество публикаций о компании в Твиттере, а также объем поисковых запросов о компании в Google.

Финансовые данные были получены из баз данных Bloomberg Professional, Yahoo Finance, Google Finance. Были использованы цены закрытия и открытия на ежедневной основе во временном окне от 2 января 2015 года до 10 апреля 2017 года. Выборка компаний состоит из 22 компаний рынка США, разделенных по следующим категориям:

• · IT: Apple, Amazon, Alphabet, Microsoft, Facebook
• · Финансовые компании: Bank of America, JP Morgan Chase & Co, Citigroup Inc., Wells Fargo
• · Телекоммуникационные компании: Verizon Communications, T-Mobile US, AT&T, Sprint
• · Автомобильные компании: Ford Motor Company, General Motors
• · Другие: General Electric, 3M, ExxonMobil, Chevron Corporation, McDonald’s, The Coca-Cola Company, Wal-Mart Stores

Данные о трендах в поисковых запросах будет получены с помощью Google Insights for Search и Google Trends.

Выборка публикаций в Твиттере (далее — твитов) была собрана двумя способами. Первый способ: непосредственный сбор «сырых», первичных твитов с Твиттера путем использования публичных API (Application programming interface). На момент написания данной работы Твиттер предлагает два вида API для сбора твитов, которые доступны бесплатно и публично: The Search API и Streaming API. Первый позволяет выгрузить твиты по ключевым словам (в случае данной работы ключевым словом является название компании, её биржевой тикер, название ключевых продуктов компании). Однако, данные подход имеет ограничения: он позволяет выгрузить твиты только опубликованные в течении последних 7 дней, а также ограничивает количество запросов в рамках 15 минутного окна, позволяя выгружать лишь случайную подвыборку из общих доступных твитов. Другое API, Streaming API, позволяет выгружать выборку в «прямом эфире», то есть, по мере публикации твитов. Однако, данный метод так же имеет ограничения по объему доступных для выгрузки твитов: возможно скачать лишь 1% от общего количества публикаций по ключевому слову. Очевидно, что ни тот, ни другой способ не подходят для сбора данных в рамках данной работы: для того, чтобы выгрузить достаточную выборку твитов на протяжении года необходимо ежедневно выгружать твиты непосредственно в течении этого года, что является слишком затратным способом как в плане вычислительных мощностей, так и в плане прямых денежных издержек. Другой метод — использование Enterprise API через официальны сервис Твиттера — Gnip, но, как следует из названия, данный API предназначен для компаний (в частности, Bloomberg и различные хэдж фонды используют именно этот API) и является слишком дорогим. На момент написания данной работы не был получен ответ на вопрос о том, возможно ли получить данные бесплатно (или за разумную цену) для проведения научного исследования. Таким образом, имеет место проблема доступа к первичным данным по твитам для построения индекса настроений. Таким образом, получение исторических, архивных твитов для проведения событийного анализа и построения предиктивной модели невозможно.

Однако, несмотря на то, что доступ к самим твитам невозможен (точнее, возможен, но доступ слишком дорогостоящий), оказалось возможным получить вторичные данные. Как уже отмечалось выше, Bloomberg имеет доступ к историческим данным, а также к расширенной версии Streaming API.

Несмотря на то, что через Bloomberg невозможно получить непосредственно сами твиты, тем не менее можно получить необходимые обработанные Bloomberg данные для составления индекса: доступны ежедневные данные по общему количеству твитов о компании и по количеству положительных, негативных, нейтральных твитов. Несмотря на то, что метод классификации твитов по тональности в данном случае является проприетарным, можно предположить, что точность классификации высокая, так как этими данными активно пользуются инвесторы и фонды с 2015 года (в 2015 году данные стали доступны пользователям Bloomberg Professional после заключения соглашения между Twitter и Bloomberg), да и в целом в возможности Bloomberg составления точного классификатора сомневаться не приходится. Таким образом, индекс был построен на основе исторических данных Bloomberg Professional (как и в случае с финансовыми данными, временное окно — от 2 января 2015 года до 10 апреля 2017 года).

Тем не менее видится необходимым построение собственного классификатора, который в дальнейшем может быть использован в предиктивной модели, которая будет предложена в данной работе. Использование собственного классификатора представляется полезным в силу возможности использования его в практических целях, а также для проведения будущих исследований в данном направлении. Вместе с тем, для построения классификатора необходимо иметь достаточно большую выборку твитов для тренировочной и тестовой выборок.

Проблема недостатка данных для тренировки классификатора была частично решена следующим образом: данные за последние 30 дней были собраны с помощью публичных API, а твиты для тренировочной выборки для классификатора твитов по тональности были получены на сервисе CrowdFlower (суммарно около 20 тысяч наблюдений), на сайте Sanders Analitics (5513 твитов), а также 1.600.000 твитов, которые использовались для отладки классификатора твитов Sentiment140. Несмотря на то, что масштабность последнего источника и того, что на основе его можно добиться 75% точности классфикации твитов, наибольшую ценность представляют первые два источника в силу того, что они были предварительно вручную помечены людьми как положительные, негативные или нейтральные. Кажется логичным предположить, что верхней границей точности классификации твитов алгоритмом можно считать точность ручной классификации людьми.

Тестируемые гипотезы

Как следует из названия работы и из того, что было описано выше, целью данной работы является выявления связи между настроениями в социальной сети Twitter и поведением цены акций. В целом, необходимо установить, возможно ли получить абнормальную доходность на рынке ценных бумаг, если использовать настроения в Твиттере как фактор при принятии инвестиционных решений. Для ответа на этот вопрос следует протестировать две гипотезы:

Гипотеза 1: настроения в сети Твиттер являются прокси для поведения участников рынка, следовательно, на пиках настроений можно получать доходность/убыток, превышающий нормальный.

Гипотеза 2: использование индекса настроений в сети Твиттер позволяет увеличить точность предсказания направления цены акции по сравнению с базовой моделью.