Результаты прогнозирования. 
Событийный анализ. 
Выбор предсказательной модели

Индивидуальные предсказательные модели для компаний

В данном разделе будет применен методологический план, описанный в предыдущем разделе. Глава будет разделена на две части:

• · Построение индивидуальных моделей для компаний из выборки
• · Объединение компаний в группы по индустриям, по которым и будут построены предсказательные регрессионные модели.

Необходимо определить, какую спецификацию следует исследовать. Для этого, в соответствии с планом, будет проведен графический анализ переменных. В силу того, что количество потенциальных переменных велико, на рисунке снизу будут отображены не все, а предварительно определенные как наиболее вероятные кандидаты в финальную спецификацию.

Рисунок 3. Попарное распределение переменных.

На рисунке 3 представлены попарные распределения переменных, однако цвет наблюдений закодирован в соответствии с соответствующим значением предсказываемой переменной Direction: синий цвет — Down, коралловый цвет — Up. Исходя из представленного графика можно сделать вывод: наиболее важными объясняющими переменными для модели будут моментум и доходность с лагом (т.к. наиболее явное разделение по цветам). Среди различных модификаций использованных моментумов, моментум с лагом 3 оказался наиболее значимым и именно он отражен на графике. По остальным переменным сделать однозначных выводов невозможно, необходим дальнейший анализ.

В первую очередь, будет использован тест Best subset selection, описанный ранее. Ниже будут представлены графики проведенных тестов для различных компаний. Черный цвет на графике обозначает включение в спецификацию переменной, белый — отсутствие в модели переменной. Модель с минимальным Cp будет считаться лучшей моделью.

Рисунок 5 Выбор спецификации для компании Walmart.

Как можно заметить, в случае компании Google ни один из факторов, так или иначе отражающий настроения в социальной сети Твиттер не попал в лучшую спецификацию по методу Best subset selection.

Рисунок 6 Выбор спецификации для компании T-Mobile US.

Однако, следует заметить, что для большинства компаний переменная полярности настроений с лагом в 1 день входит в лучшую модель. На рисунках 5 и 6 будут представлены результаты выбора спецификации для телекоммуникационной компании T-Mobile US и крупнейшего ритейлера в США — Walmart. Видно, что для обеих компаний полярность значима, а для Walmart следует использовать и общее количество твитов о компании.

Рисунок 7. Выбор спецификации для компании Facebook.

В большинстве случаев, когда полярность включалась в модель, помимо неё ожидаемо включались моментум с лагом 3 и доходности с однодневным лагом. Модель, состоящая из этих трех факторов, встречалась как лучшая среди компаний чаще всего.

Рисунок 8 Выбор спецификации для компании Facebook.

Похожие результаты были достигнуты и с помощью метода Backward stepwise selection. Именно эти три фактора встречались чаще всего. Более того, часто эти два метода согласовывались в том, какая спецификация для данной компании является лучшей. Для примера, на рисунках представлены графики обоих методов для компании Facebook. Как можно заметить, для обоих методов графики идентичны.

Последним шагом при выборе оптимальной модели стало использование кросс-валидации для определения спецификации модели с наименьшей ошибкой кросс-валидации, и, следовательно, наиболее оптимальной спецификации. Применение данного метода показало, что наиболее часто среди компаний наилучшей спецификацией оказывались две спецификации: модель с Momentum, lag1, lagPol и модель, состоящая только из Momentum, lag1. То, что все три метода предлагают для многих компаний спецификации с индексом полярности настроений в Твиттере в качестве оптимальной, указывает на то, что данный фактор действительно влияет на динамику курса акции.

После использования всех методов выбора оптимальной классификации, можно построить предиктивную модель. Для каждой компании была использована модель, которая предлагалась как оптимальная одним или несколькими из предыдущих методов выбора спецификации. Далее, после построения модели заданной спецификации, был высчитан показатель точности предсказания. Последним этапом стал подсчет точности предсказания аналогичной модели, но без того или иного индекса (почти во всех случаях lagPol — индекс полярности настроений с лагом в один день), для того, чтобы определить, насколько улучшается прогноз при добавлении индекса настроений. Для примера, ниже будет представлена таблица посчитанных значений для 4 компаний. Примечательно, что для некоторых компаний, например, как в представленном ниже случае для Chevron, точность прогноза по обеим моделям совпала. Тем не менее это может быть связано с относительно маленьким размером выборки.

Таблица 2 Точность прогноза для различных компаний

В среднем по общей выборке компаний, среднее значение точности прогноза для моделей с индексом полярности — 0.8 351 839, а для моделей без полярности — 0.8 310 201. Таким образом, в среднем по выборке, включение индекса улучшает прогноз на 0.4%.

Ниже представлены две метрики ROC и AUC для компании Facebook, соответствующий AUC составил 0.9. Несмотря на то, что на основе этих метрик можно сделать вывод о высоком качестве прогноза, следует относиться с осторожностью к результатам, как уже отмечалось не раз, по причине размера выборки.

Рисунок 9 ROC кривая для Facebook.

Предсказательные модели для групп компаний

Далее, аналогичные расчеты и действия были применены для различных групп компаний. Компании были собраны в группы по индустрии, всего получилось три группы:

• 1. IT компании: Apple, Amazon, Facebook, Microsoft. Тренировочной выборкой послужили первые три компании, а тестовой — Microsoft.
• 2. Финансовые компании: Bank of America, Wells Fargo, JPMorgan Chase, Citibank. Тренировочной выборкой послужили первые три компании, а тестовой — Citibank.
• 3. Телекоммуникационные компании: Sprint, AT&T, Verizon, T-Mobile US. Тренировочной выборкой послужили первые три компании, а тестовой — T-Mobile US.

Рисунок 10 Выбор спецификации модели для финансовой индустрии

По результатам всех трех используемых методов выбора спецификации оказалось, что для обозначенных групп полярность настроений в сети Твиттер входит в лучшую спецификацию у компаний IT и Телекоммуникационной индустрии. Справа представлен график Backward Stepwise Selection для финансовой индустрии. Для компаний IT и Телекоммуникационной индустрии были построены соответствующие модели, а также посчитаны метрики, отражающие точность прогноза.

Таблица 3. Точность прогноза для индустрий.

Примечательно, что AUC для индустрии IT так же составил близкое к 0.9 значение, AUC = 0.907. Соответствующая ROC кривая представлена ниже.

Рисунок 11 ROC кривая для IT индустрии.

В итоге, основываясь на имеющихся данных, можно заключить, что в большинстве случаев включение в предсказательную модель индекса полярности настроений в сети Твиттер действительно увеличивает предсказательную силу модели, но не для всех компаний и не для всех индустрий. Можно заметить, что для компаний, о которых часто идут обсуждения в сети, в частности о качестве продуктов компании или услуг, либо в целом о компании, увеличение предсказательной силы наблюдается чаще, чем для компаний, о которых пишут редко и/или только новости. Это наталкивает на вывод, что с дальнейшим развитием социальных сетей, а также с более обширным применением инвесторами различных индексов, основанных на социальных сетях типа Twitter, эта связь будет усиливаться. На данный же момент, можно сделать вывод, что индексы настроений надежнее применять для компаний, которые так или иначе связаны с интернетом: IT компании, телекоммуникационные компании, компании, активные в социальных сетях (чаще всего, оказывающие разного рода услуги).