Технологии сбора и обработки макроэкономических показателей регионов России

Реализация технологии ETL на базе табличной структуры

Для разработки приложения необходимо сделать схему, в соответствии с которой оно будет реализовываться. В ней должны быть отражены все основные этапы проектирования сайта, предоставляющего пользователям возможности проведения аналитической работы с экономическими показателями. Всего в нее будет входить четыре основных этапа: определение источника данных, разработка табличной структуры, опираясь на технологии ETL, разработка хранилища данных и проектирование самого web-приложения. Выглядит эта схема следующим образом:

Рис 2.1 Этапы разработки приложения

Описание источника данных было произведено в предыдущей главе, поэтому теперь необходимо перейти к разработке таблиц на основе технологии ETL.

ETL — один из основных процессов по работе с хранилищами данных. Аббревиатура ETL получена по первым трем буквам основных этапов данного процесса — extract, transform, load. Три перечисленные стадии процесса ETL: извлечение данных из внешних источников, их трансформация и очистка и последующая загрузка в хранилище данных. С точки зрения данного процесса архитектуру создаваемого хранилища данных также можно описать в виде трех компонентов: источник данных, промежуточная область (вспомогательные таблицы, временно созданные для организации процесса выгрузки) и само хранилище данных, в которое они и будут в итоге помещены.

Источник данных был проанализирован в Главе 1. Данные, выложенные на сайте федеральной службы государственной статистики, были крайне востребованы в данной работе. Однако форматы, в которых они там были выложены, заметно отличались друг от друга. Изначально они вообще предоставлялись ведомством в печатном виде, однако с середины прошлого десятилетия начали выкладываться в интернете. В 2014 году выпуск печатных изданий прекратился, и теперь всю статистику можно найти только на их сайте. На сегодняшний день данные предоставляются в текстовых файлах (MS Word), в таблицах (MS Excel) или списком на сайте.

Все они для наглядности будут приведены в Приложениях № 1−3 к данной работе.

Ввиду того, что форматов с исходными данными несколько, появляется необходимость в реализации второго этапа ETL — создании вспомогательных таблиц, в которых данные будут приводиться в формализованном виде, готовые к дальнейшей загрузке в хранилище. Именно об этом этапе и пойдет речь далее.

Первым делом вся необходимая информация была отображена в таблицах Microsoft Excel, поскольку изначально они были представлены в неудобном для обработки виде. Загрузка данных в Excel позволяет проводить экономико-статистические расчеты и использовать графические инструменты.

Аналогично была сформирована и таблица с показателями за два других года — 2014 и 2015.

Далее хотелось бы несколько слов сказать о формировании строк в данной таблице. Как видно из рисунка 2.2, каждая отдельная строка представляет в таблице показатели по каждому региону России. Всего в нашей стране на сегодняшний день насчитывается 85 субъектов федерации. Отдельно стоит отметить, что Крым и Севастополь вошли в состав России только в 2014;м году, поэтому для них показатели были приведены только для последнего года.

Каждый регион в свою очередь входит с состав одного из 8 федеральных округов: Центрального, Северо-Западного, Южного, Северо-Кавказского, Приволжского, Уральского, Сибирского и Дальневосточного. Отдельно на сегодняшний день выделяют Крымский федеральный округ, который по своим размерам, числу жителей и количеству входящих в него субъектов федерации уступает всем остальным округам в несколько раз.

Необходимо также отметить, что отдельно были просчитаны показатели для 4-х автономных округов, входящих в состав России. Несмотря на то, что каждый из них в свою очередь входит в состав другого субъекта федерации, их доля в экономике региона довольно значима. Для городов федерального значения Москва и Санкт-Петербург все показатели также были просчитаны. Некоторые из показателей в официальной статистике по этим городам отсутствовали, в таких случаях в соответствующих ячейках ставился прочерк.

Представив все экономические показатели, которые будут задействованы в разработке приложения, можно для наглядности сформировать таблицу с их перечнем. На рисунке 2.4 изображен фрагмент таблицы «Показатели», которая была создана отдельно для отображения непосредственно перечня экономических показателей, используемых в работе.:

Рис 2.4 Фрагмент таблицы Показатели

В общей таблице «Регионы», фрагмент которой был приведен на рисунке 1.1, экономические показатели были размещены в столбцах, в отличие от таблицы «Показатели». Это было сделано с той целью, чтобы пользователю было удобнее их просматривать, информация отображалась нагляднее, и не приходилось долго искать необходимое значение. Для каждого субъекта федерации были приведены значения по каждому из экономических показателей.

Те показатели, которые использовались при разработке данного приложения, очень важны для полноценного проведения анализа. Конечно, они не единственные определяют экономическое благосостояние регионов. Есть еще огромное множество различных макроэкономических показателей, которые после проведения специальных расчетов могут показать, как функционирует экономика. Однако здесь необходимо отметить, что в данную работу были включены самые основные экономические показатели. На основании многих из них рассчитываются более сложные формулы, выводятся специальные значения. Имея информацию по приведенным в таблице показателям, экономист может приступить к проведению анализа экономической деятельности за тот или иной период, спрогнозировать, на чем необходимо будет в будущем сделать акцент и дальнейшие направления для развития экономики в регионе.

Показатели, приведенные в таблицах, могут пригодиться для работы специалистов не только общего плана. Их можно использовать для проведения различных типов анализа: территориального, финансового, динамики населения, использования природных ресурсов и многих других.

Все представленные выше таблицы были сохранены в общей книге в Microsoft Excel. Каждая из таблиц представлена на отдельном листе с соответствующим названием, поэтому при работе найти необходимую не составит какого-либо труда.

После проектирования всех необходимых таблиц в Microsoft Excel можно перейти к третьему этапу процесса ETL — разработке хранилища данных. пользовательский интерфейс хранилище сайт.