Система подготовки принятия решения Deductor. Учебно-методическое пособие. Кафедра информационных технологий в бизнесе. НИУ ВШЭ ПФ, 2011 г. С. 13) инструменты визуализации. Это могут быть инструменты общего или специального назначения, бесплатное или коммерческое программное обеспечение. В качестве наиболее распространенных коммерческих программных средств интеллектуального анализа следует выделить: Polyanalyst. Обладает набором инструментов, обеспечивающих всесторонний DataMining, анализ текстов и связей;SASEnterpriseMiner.
Содержит интегрированный набор инструментов, который обеспечивает дружественное взаимодействиес другими пакетами;SPSS. Является одним из наиболее популярным программным средством в своем сегменте, поддерживает множество методов DataMining;StatisticaDataMinerобеспечивает всесторонний, интегрированный статистический анализ данных, имеет мощные графические возможности, управление базами данных, а также приложение разработки систем. Одним из основных недостатков указанных программных средств является их коммерческая составляющая, а также требования к специальной подготовке пользователей, что затрудняет выполнение анализа неподготовленным специалистам. В связи с этим следует отметить класс свободно распространяемого программного обеспечения, который имеет полный функционал инструментов для проведения анализа и визуализации данных. Так программный пакет Weka, являясь свободно распространяемым, представляет собой набор алгоритмов машинного обучения и позволяет решать широкий круг задач DataMining. Особое место в сегменте программного обеспечения DataMining отводится аналитическим платформам, которые представляют собой «специализированное программное решение (или набор решений), которые содержат в себе все инструменты для извлечения закономерностей из сырых данных: средства консолидации информации в едином источнике (хранилище данных), извлечения, преобразования, трансформации данных, алгоритмы DataMining, средства визуализации и распространения результатов среди пользователей, а также возможности конвейерной обработки данных».В частности к такой платформе относится DeductorAcademic, которая позволяет проводить многомерный анализ данных с возможностью визуализации результатов и экспорта в офисные приложения, базы данных и внешние сервисы. Данное аналитическое решение обладает развитыми инструментами кластеризации и классификации, реализует механизмы поиска и устранения аномальных значений, дубликатов, пропусков данных и противоречий. Deductor состоит из пяти компонентов: DeductorWarehouse — многомерное кросс-платформенное хранилище данных, аккумулирующее всю информацию, предназначенную для анализа предметной области.
Данная компонента оптимизирована для решения аналитических задач, что положительно сказывается на скорости доступа к данным;DeductorStudio предназначена для анализа информации из различных источников данных. Она реализует функции импорта, обработки, визуализации и экспорта данных;DeductorViewer является облегченной версией DeductorStudio, предназначенной для отображения построенных в DeductorStudio отчетов;DeductorServer является сервером удаленной аналитической обработки и позволяет выполнять операции «прогона» данных через существующие сценарии и переобучение моделей;DeductorClient представляет собой клиент доступа в DeductorServer. Обеспечивает обмен данными и управление сервером. На базе Deductor в полном объеме можно реализовать визуальный анализ, прогнозное моделирование и извлечение данных, алгоритмы ассоциации, кластеризации и классификации данных, что в совокупностями с вышеуказанными особенностями позволяет определить данный инструмент, как наиболее эффективный для создания хранилища данных и последующей их обработки. В таблице 7представлена сводная информация по программному обеспечению интеллектуального анализа с указанием основных особенностей программных продуктов. Программное обеспечение анализа DataMining№ п/пПрограммный продукт.
Особенности и возможности1Polyanalystвсесторонний DataMining, анализ текстов и связей (коммерческое ПО)2SASEnterpriseMinerинтегрированный набор инструментов, обеспечивающих дружественную интеграцию в другие пакеты (коммерческое ПО)3StatisticaDataMinerвсесторонний, интегрированный статистический анализ данных, имеет мощные графические возможности, управление базами данных, а также приложение разработки систем (коммерческое ПО)4Wekaнабор алгоритмов машинного обучения и позволяет решать широкий круг задач DataMining (свободно распространяемое ПО ПО)5DeductorAcademicпозволяет проводить многомерный анализ данных с возможностью визуализации результатов и экспорта в офисные приложения, базы данных и внешние сервисы (свободно распространяемое ПО ПО) Источник: сост. авт. На основе проведенного анализа в качестве инструмента для разработки структуры хранилища данных и проведения кластеризации регионов для оценки информационного потенциала считаем целесообразным использовать платформу DeductorAcademic, обладающую наиболее понятным интуитивным, дружественным интерфейсом, широким инструментарием для интеллектуальной многомерной обработки данных и, что не менее важно, являющуюся программным обеспечением свободного распространения. Таким образом, в результате анализа технологического и программного обеспечения средств проектирования и разработки хранилищ данных, в третьей главе данного исследования, на наш взгляд, целесообразно:
представить подробное описание процесса проектирования структуры хранилища данных «Показатели информационного потенциала регионов Южного федерального округа»;провести кластерный анализ показателей информационного потенциала регионов РФ в программном средстве DeductorAcademic;интерпретировать полученные результаты. ПРОЕКТИРОВАНИЕ ХРАНИЛИЩА ДАННЫХ И КЛАСТЕРИЗАЦИЯ ПОКАЗАТЕЛЕЙ ИНФОРМАЦИОННОГО РЕГИОНАЛЬНОЙ ХОЗЯЙСТВЕННОЙ СИСТЕМЫ В DEDUCTORACADEMICПроектирование структуры хранилища данных «Показатели информационного потенциала региональной хозяйственной системы России"Современные условия глобализации формируются под существенным влияние информационных инструментов, которые, формируясь на уровне хозяйствующих субъектов, оказывают значительное влияние на социально-экономическое развитие страны в целом. При этом эффективность управления любой хозяйственной системой напрямую зависит от рациональности использования информационных ресурсов. В связи с этим оперативность в получении информации, ее полнота и актуальность повышают эффективность принятия управленческих решений. Кроме того, определенное значение имеет открытость экономики России и связанная с ней конкуренция с высокоразвитыми экономическими субъектами, в которых высокий уровень развития рыночной экономики достигается, в том числе, посредством реализации сложной аналитической работы с использованием новейших достижений науки: математики, информационных технологий (IT).Таким образом, для выработки и принятия эффективных управленческих решений необходимыми элементами являются информация и знания, удовлетворяющие требованиям полноты, достоверности, актуальности и полезности. Данный факт определяет одну из первостепенных задач, которая заключается в анализе имеющейся информации. Данная функция эффективно реализуется на базе информационно-аналитических системы (ИАС), которые определяются, как комплекс аппаратных, программных средств, информационных ресурсов, методик, которые используются для обеспечения автоматизации аналитических работ в целях обоснования принятия управленческих решений и других возможных применений. В рамках данного определения следует выделить основные аспекты аналитической подготовки принятия решений, среди которых:
извлечение информации из многих источников разнородных данных, которые представлены в различных форматах и приведение их к единому формату и единой структуре; эффективная организация хранения и предоставления информации пользователям необходимой для принятия решений;
оперативный и интеллектуальный анализ;
подготовка результатов оперативного и интеллектуального анализа для принятия на ее основе адекватных решений. Функциональный состав информационно-аналитической системы представлен на рисунке 18. Функциональный состав ИАС (Белов В.С. Информационно-аналитические системы. Основы проектирования и применения: учебное пособие, руководство, практикум / Московский государственный университет экономики, статистики и информатики. — М., 2011. — 116 с.)Таким образом, одним из основных элементов ИАС является информационное хранилище данных, которое должно обеспечивать накопление и хранение исторических данных по показателям социально-экономического развития и финансового состояния региона и его муниципальных образований. Данные являются динамическими и подвергаются интенсивной обработке большим количеством пользователей функциональных приложений. Хранилище данных должно обладать следующими свойствами:
возможность интеграции данных различных источников;
поддержка всевозможных территориальных декомпозиций;
возможность трансформации единиц измерения параметров;
возможность хранения расчетных показателей для ускорения их представления пользователям;
возможность предоставления данных различной периодичности (месяц, квартал, год).Централизованное хранилище данных (ЦХД) должно обеспечивать решение следующих задач:
создание информационного ресурса для обеспечения комплексного анализа социально-экономического развития субъекта РФ;обеспечение непосредственного доступа специалистов к актуализируемой информации из каждого источника аналитической информации, формируемой различными министерствами и ведомствами;
повышение оперативности и качества управленческих решений на основе использования данных ЦХД;обеспечение эффективного информационно-аналитического обслуживания специалистов на основе современных информационных технологий. Обновление информации в ЦХД должно осуществляться в соответствии с регламентами загрузки информации, которые определяют периодичность и номенклатуру информации, поступающей в хранилище. Регламенты загрузки информации должны определять: показатель; разрезность показателя; источник представления исходных отчетных форм;
наименование исходной отчетной формы, в которой представлен показатель;
формат представления исходных отчетных форм; периодичность представления исходных отчетных форм. Структуру хранилища данных для реализации мониторинга показателей информационного потенциал ФО предполагается реализовать на основе следующих основных компонентов:
модель данных;
база данных;ETL-приложение;BI-приложение.Кроме того, архитектура области хранения разрабатывается посредством реализации следующих областей:
временного хранения данных (StagingArea). Реализует временное хранение данных, извлеченных из источников, в качестве которых рассматриваются данные Федеральной службы государственной статистики, Территориального органа государственной статистики, данные министерст и ведомств федерального и регионального уровней;
постоянного хранения данных на основе:
Детальныхданных (System of records).Агрегатов (Summaryarea). Группируются по времени. Витрин данных (DataMarts), которые представлены тематическим набором данных, хранящихся в виде пригодном для их анализа. Интерфейсов обмена данными с другими системами (DataExchangeInterfaceилиFeedbackArea). Чаще всего, это таблицы БД, в которые реализуют хранение подготовленных для передачи данных в другие информационные системы. Метаданных (Metadata). Данная область является важной частью архитектуры хранилища данных и представляет собой данные, посредством которых описываются правила функционирования хранилища данных (структур таблиц, взаимосвязей, правил секционирования). На рисунке 19 представлена структурная схема взаимодействия областей хранилища данных. Организация областей хранения данных в ХД (сост. автором) Разработку структуры хранилища данных «Показатели информационного потенциала регионов России» реализуем на базе платформы DeductorAcademic, которая позволяет проводить многомерный анализ данных с возможностью визуализации результатов и экспорта в офисные приложения, базы данных и внешние сервисы. Данное аналитическое решение обладает развитыми инструментами кластеризации и классификации, реализует механизмы поиска и устранения аномальных значений, дубликатов, пропусков данных и противоречий. Работа с аналитической системой DeductorAcademic сводится к визуальному построению сценариев, которые представляют собой последовательность действий, которые позволяют получить из данных знания. Работа в системе сводится к выполнению пяти операций:
подключение при необходимости взаимодействия со сторонними системами;
импорт данных при помощи мастера импорта; обработка данных, их преобразование. При этом в системе реализована поддержка множества методов обработки: очистка, трансформация, DataMining. Кроме того, в DeductorAcademicсуществует возможность комбинирования механизмов обработки произвольным образом;
визуализация данных на любом этапе обработки в форме OLAP-кубов, таблиц, графиков, деревьев, карт;
экспорт результатов. На основе системы показателей, отобранных для реализации оценки информационного потенциала региональных хозяйственных систем РФ, в рамках данного исследования выполненаих кластеризацияв DeductorAcademic. Кластерный анализ применяется для автоматического разбиения элементов некоторого множества на группы в зависимости от схожести их свойств. На основе кластерного анализа появляется возможность выполнить предварительную подготовку данных для дальнейшего анализа выявленных групп в отдельности. Кроме того, кластерный анализ позволяет сократить объем хранимых данных посредством выбора наиболее индивидуальных представителей, а также выявления аномальных значений. Сформированные подгруппы по результатам кластеризации используются в задачах классификации и прогнозирования. В качестве одного из наиболее распространенных и простых алгоритмов кластеризации на практике рассматривается алгоритм k-means, который основан на оптимизации суммы квадратов взвешенных отклонений координат объектов от центров искомых кластеров.
В DeductorStudio для автоматизации данного процесса используется инструмент «Кластеризация». В то же время следует отметить, что подход, связанный с использованием метода k-means имеет ряд недостатков. Использование данного алгоритма целесообразно только в случае, когда данные образуют скопления, хорошо отличимые друг от друга. В случае присутствия вложенных форм использование данного метода затруднительно. В этом случае оценка объективности полученных результатов возможна на основе кластерного анализа с использованием нейронной сети Кохонена. В рамках данного исследования рассмотрен механизм кластеризации реализованный на алгоритме k-means на основе системы индикаторов концептуальной модели оценки информационного потенциала региональных хозяйственных систем. Информационный массив сформирован на основе данных Федеральной службы государственной статистики и территориальных служб государственной статистики РФ за 2015 г. Таким образом, основная задача состоит в распределении регионов на функциональные группы по уровню информационного потенциала и выявления скрытых закономерностей. Для реализации основной задачи кластеризации на первом этапе необходимо спроектировать структуру хранилища данныхинформационного потенциала региональных хозяйственных систем России (см. рис.
20).Структура хранилища данных (сост. авт.) Информационная база исследования сформирована в четырех таблицах, фрагменты которых представлены ниже (см. таблица 8−11.).Федеральные округа Код.Округ.
Округ1Центральный федеральный округ2Северо-Западный федеральный округ3Южный федеральный округ4Северо-Кавказский федеральный округ5Приволжский федеральный округ6Уральский федеральный округ7Сибирский федеральный округ8Дальневосточный федеральный округ.
Источник: сост. авт. Регионы (фрагмент)Код.Регион.
РегионКод.Округ1Белгородская область12Брянская область13Владимирская область14Воронежская область1…119Республика Карелия220Республика Коми221Архангельская область222Вологодская область2…230Республика Адыгея331Республика Калмыкия332Астраханская область333Волгоградская область3…338Республика Дагестан439Республика Ингушетия440Чеченская республика441Ставропольский край4…45Республика Башкортостан546Республика Марий Эл547Республика Мордовия548Республика Татарстан5…559Курганская область660Свердловская область661Тюменская область662Челябинская область6…665Республика Алтай766Республика Бурятия767Республика Тыва768Республика Хакасия7…777Республика Саха (Якутия).
878Камчатский край879Приморский край880Хабаровский край8…8Источник: сост. авт.Показатели.
ИП (фрагмент)Код.Показателя.
Показатель8доля студентов, обучающихся по программам бакалавриата, специалитета, магистратуры в общей численности населения12число организаций, выполняющих научные исследования и разработки13выдача патентных заявок17доля студентов, обучающихся по программам бакалавриата, специалитета, магистратуры в общей численности населения22наличие Концепции и Программы информатизации региона23количество региональных программ информатизации27количество предприятий, задействованных в бизнес-инкубаторах, центрах трансфера технологий28объем инновационных товаров, работ, услуг29удельный вес инновационных предприятий в структуре экономики региона.
Источник: сост. авт. Изменение ИП (фрагмент)Код.Показателя.
Код.Округ.
Код.Регион.
ГодЗначение11 120 131 192,3911120141392,311 120 151 740,3011220131518,211 220 141 348,211220151193,9 811 320 131 526,311320141946,311 320 152 068,9011420132237,1 211 420 142 782,311420153013,9 011 520 132 349,111520141928,211 520 151 170,1011620131238,211 620 141 525,211620151730,60Источник: сост. авт. В 12 представлено распределение данных по принадлежности к типу (измерение, атрибуты, факты).Распределение данных по принадлежности к типу.
Расположение данных.
ИзмерениеАтрибут.
ФактФедеральные округа.
Код.Округ.
Округ-Регионы.
Код.Регион.
Регион-Показатели.
ИПКод Показателя.
Показатель-Изменение НПГод.
Код Округ, Код Регион, Код Показателя.
ЗначенияТаким образом, таблица «Изменение ИП» представляет собой описание динамики изменения показателей информационного потенциала по субъектам РФ. При такой структуре ХД предполагается, что уникальность точки в пространстве определяется совокупностью измерений Год + Код Региона/Округа + Код показателя. Взаимоотношение измерений, атрибутов и фактов внутри процесса изменений научного потенциала регионов показано на рисунке (см. рис. 21). В связи с тем, что визуально можно представить только трехмерное пространство, на рисунке показано взаимодействие трех измерений (Год, Код Региона/Округа и Код показателя).Измерения, атрибуты и факты внутри процесса изменения ИП регионов (сост. авт.)Для создания хранилища данных выполним запуск программы DeductorStudioAcademic и перейдем на вкладку Подключения меню Вид, щелчком правой кнопки мыши и запустим.
Мастер подключений (см. рис. 22).Создание (подключение) хранилища данных (сост. авт.).
На первом шаге мастера следует выбрать тип источника (приемника) — DeductorWarehouse (см. рис. 23.).Окно выбора типа подключения (сост. авт.) На следующем шаге из единственно доступного и списке типа базы данных необходимо выбрать Firebird и задать параметры базы данных, в которой будет создана физическая и логическая структура хранилища данных (см. рис. 24.):база данных — Science. gdb (любой путь);логин — sysdba, пароль — отсутсвует (см. рис.
25).Установка параметров базы данных (сост. авт.) Установка логина/пароля (сост. авт.) На следующей вкладке идет выбор версии для работы с ХД, на текущий момент это — DeductorWarehouse 6 (предыдущие версии необходимы для совместимости с предыдущими хранилищами). Нажмите кнопку.
Создать файл базы данных с необходимой структурой метаданных, и по указанному ранее пути будет создан файл Ershova. gdb (появится сообщение о его успешном создании). Это и есть пустое хранилище данных. Осталось выбрать визуализатор для подключения (здесь это Сведения и Метаданные) и задать имя, метку и описание нового хранилища (см. рис. 26).Имя хранилища может быть введено только латинскими буквами. Настройка семантики имен для узла подключения (сост. авт.)В результате проведенных действий в дереве узлов появится ветка хранилища (см. рис.
27).Результат создания хранилища данных «Показатели информационного потенциала регионов России» (сост. авт.)Таким образом, создано пустое хранилище, в котором нет ни одного объекта (процесса, измерения, факта). Ранее мы спроектировали структуру хранилища данных показателей информационного потенциала регионов России. Осталось отразить ее в хранилище. Для этого предназначен Редактор метаданных, который вызывается нажатием. С помощью редактора метаданных создадим используемые измерения с необходимыми параметрами (см. таблица 12.).Параметры измерений.
ИзмерениеИмя.
МеткаТип данных.
Код округаDistrict_IDКод.Округ.
ЦелыйКод регионаRegion_IDКод.Регион.
ЦелыйКод показателяIndicator_IDКод.Показателя.
ЦелыйГодYearДата.
ЦелыйИсточник: сост. авт. В результате структура метаданных хранилища будет содержать четыре измерения. Ко всем измерениям, кроме Года, также добавляются текстовые атрибуты (см. рис. 28.).Структура метаданных хранилища (сост. авт.).
Каждое измерение может ссылаться на другое измерение, реализуя тем самым иерархию измерений. В нашем случае измерение Код. Регионссылается на Код.Округ. (см. рис. 29.).Формирование ссылки на измерение (сост. авт.) Основной куб (процесс) в текущей работе называется Изменение показателей и содержит четыре существующих измерения: Год, Код. Округ, Код. Регион, Код.Показателя. Кроме них, в процессе участвует один факт: значение показателя (см. рис.
30.).Создание метаданных процесса (сост. авт.) На этом проектирование структуры и метаданных ХД закончено. Перейдем к следующей части, наполнению хранилища данных. После создания структуры хранилища данных оно представляет с собой пустой файл с настроенным семантическим слоем. В таком виде ХД готово к загрузке в него данных из внешних структурированных источников. Для этого необходимо написать соответствующий сценарий в DeductorStudio. Он должен выполнять следующие функции:
импорт данных в DeductorStudio из базы данных, учетной системы или предопределенных файлов;
опциональную предобработку данных, например очистку или преобразование формата;
загрузку данных в измерения и процессы хранилища DeductorWarehouse. В нашем примере исходными данными для ХД служат четыре текстовых файла: Показатели ИП. txt, Округ. txt, Регионы. txt, Изменение ИП.txt. Поэтому сценарий загрузки должен быть настроен на использование этих файлов в качестве источников данных (см. рис. 31.).Схема сценария загрузки (сост. авт.)При создании сценария необходимо строго придерживаться следующих правил:
первыми загружаются все измерения, имеющие атрибуты. Только после загрузки всех измерений загружаются данные в процесс (ы).измерения нужно загружать, начиная с самого верхнего уровня иерархии и спускаясь ниже. Это крайне важно: в противном случае иерархия не будет создана.
допускается не загружать отдельно измерения, не имеющие атрибутов и не состоящие в иерархии измерений. Значения таких измерений можно создавать во время загрузки в процесс с помощью специальной опции (см. рис. 32.).Сценарий в Deductor (сост. авт.) Покажем последовательность загрузки данных в измерение на примере первого измерения Округ.Код.
Встав на первом узле, вызовите Мастер экспорта (контекстное меню или клавиша F8). Из списка типа приемников выберите DeductorWarehouse (см. рис. 33.).Экспорт в хранилище данных (сост.
авт.) На следующей вкладке из списка доступных хранилищ необходимо выбрать нужное под названием «Science». Далее требуется указать, в какое именно измерение будет загружаться информация. Это Код. Округ (см. рис.
34.).Выбор объекта для экспорта (сост. авт.) Осталось установить соответствие элементов объекта в хранилище данных с полями входного источника данных (то есть таблицы Округ. txt). В случае, когда имена полей и (или) метки в семантическом слое хранилища данных совпадают, делать ничего не нужно (см. рис.
35.).Настройка соответствия полей (сост. авт.) Нажатие кнопки Пуск на следующем шаге загрузит в измерение данные. При этом старые данные, если они были, обновятся. Проделав аналогичные действия для остальных измерений, получим следующий сценарий (см.
рис. 36.).Результаты загрузки данных в измерение.
На следующем этапе для получения корректных данных кластеризации необходимо выполнить проверку качества данных. Результаты проверки сценария Округ представлены на рисунке 37. Результаты проверки сценария Округ на качество данных.
Анализ показывает, что данные пригодны для обработки. Аналогичные результаты получены и при проверки сценариев Регион и Показатели. При проверке сценария Изменение показателя обнаружены выбросы и экстремальные значения (см. рис. 38).Результаты проверки сценария Изменение Показателя на качество данных.
Для редактирования выбросов и экстремальных значений необходимо применить соответствующий инструмент. В качестве метода обработки выберем «Заменять наиболее вероятным».Проверка показала, что все данные сценария пригодны для обработки (см. рис. 39).Результаты повторной проверки сценария Изменение Показателя на качество данных.
Таким образом, в результате проведенных операций создано хранилище данных, которое может использоваться для дальнейшего анализа и оценки информационного потенциала региональных хозяйствующих субъектов и их кластеризации. Кластерный анализ показателей информационного потенциала региональных хозяйственных систем РФ в DeductorAcademicДля проведения кластерного анализа используется Мастер обработки «Кластеризация», при запуске которого необходимо выбрать свойства, по которым будет происходить группировка объектов. Для измерений Код.
Показателя, Код.
Округ, Код.
Регион и Год указано назначение «Входное», а для Значения — «Выходное» (см. рис.
40).Назначение измерений для проведения кластеризации методом k-meansНа следующем шаге Мастера необходимо настроить способ разделения исходного множества данных на тестовое и обучающее, а также количество примеров в том и другом множестве. Укажем, что данные множеств определяются случайным образом, и определим все множество как обучающее (см. рис.
41).Разбиение исходного набора данных на подмножества.
Для визуализациия полученных групп кластеров выберем в обработчике способы отображения данных: «Что-если» для решения задачи классификации, отнесение региона к одному из кластеров, «Профили кластеров» для определения структуры формирования группы кластеров и «Куб» для наглядного просмотра полученных результатов (рисунок 28).Определение способов отображения.
Общая структура сформированных алгоритмом кластеров может быть просмотрена в визуализаторе «Профили кластеров», в котором представлены рассматриваемые свойства вместе с характером влияния их на состав кластера. Определяющим состав кластера фактором является значимость свойств, выраженная в процентах. Общая значимость рассматриваемого поля определяется вариабельностью ее рассматриваемых параметров. Значимость для непрерывных и дискретных полей определяется по-разному.
Значимость для непрерывных полей устанавливается в зависимости от отклонения среднего значения рассматриваемой группы кластеров от общего среднего всей выборки, чем больше выражено данное отклонение тем больше его значимость. Значимость для дискретных полей определяется наличием индивидуальных различий, между рассматриваемыми группами, чем больше выражены различия, тем больше значимость. Для каждого рассматриваемого свойства в кластере вычисляется: доверительный интервал, среднее, стандартное отклонение и стандартная ошибка. На рисунке 43 представлены результаты кластеризации регионов по методу k-means.Результаты кластерного анализа по методу k-meansВ результате реализации метода k-means региональные хозяйственные системы были разбиты на семь кластера с разной поддержкой и разными процентами значимости свойств. В четвертом кластере сгруппировано максимальное количество региональных хозяйственных систем, поэтому данный кластер целесообразно определить, как показатель информационного потенциала страны.
В данный кластер вошли регионы, демонстрирующие наиболее высокие показатели по основной части финансовых индикаторов: инвестиции в основной капитал отрасли связи, расходы консолидированного бюджета на транспорт, связь и информатику и т. д.Выполним построение самоорганизующейся карты Кохонена. Для этого используем соответствующий инструмент в мастере обработки (см. рис. 44).Выбор инструмента самоорганизующаяся карта Кохонена.
В качестве входных измерений выберем Код.
Показателя, Год и значения. Показателю Код.
Округ зададим информационное назначение (см. рис. 45).Определение назначений На следующем этапе определим вариант разбиения на подмножества (см. рис. 46).Вариант разбиения данных на подмножества.
Настройки карты оставим по умолчанию (см. рис. 47).Настройка параметров карты Кохонена.
В качестве способа начальной инициализации определим «Из обучающего подмножества», а в качества функции соседства «Гауссова», т.к. при использовании Гауссовой функции соседства обучение проходит более плавно и равномерно, так как одновременно изменяются веса всех нейронов, что может дать немного лучший результат в отличии от ступенчатой функции (см. рис. 48).Настройка параметров обучения.
Выполним запуск процесса инициализации (см. рис. 49).Запуск процесса инициализации.
Результаты построения карт Кохонена представлены на рисунке 50. Карты Кохонена.
Таким образом, максимальное количество сгруппировано по коду показателя 15 «Число организаций, выполняющих научные исследования и разработки» в 2014 году. При этом максимальное число сгруппировано в кластере 2 по показателю «Доля организаций, использующих программное обеспечение» в 2014 году (см. рис. 51).Кластер 2Выполним повторное построение карт, но для Код.
Регион зададим информационное назначение, а для Код.
Регион — входное. Результаты построения карт представлены на рисунке 52. Результаты построения карт Кохонена.
Таким образом, 52 региона сгруппированы в кластер 3 по показателю «Затраты организаций на обучение сотрудников ИКТ» 2015 г. Максимальным же значением по плотности попадания характеризуется кластер 1 с количеством регионов в 2014 году по показателю «Объем инновационных товаров, работ, услуг» (см. рис. 53).Анализ матрицы плотности попадания.
В целом по результатам построения карт можно сделать вывод о том, что наибольшие значения по плотности группировки демонстрируют показатели «затраты организаций на обучение сотрудников ИКТ», «расходы консолидированных бюджетов субъектов РФ на транспорт, связь и информатику», «объем инновационных товаров, работ, услуг», «наличие законодательных актов по информатизации региона».В рамках исследования целесообразно выполнить кластеризацию федеральных округов по блокам показателей концептуальной модели. Для этой цели используем метод k-means. Результат кластеризации представим в виде диаграммы размещения, которая представлена на рисунке 54. Диаграмма размещения федеральных округов России по блокам показателей.
В целом, по результатам анализа можно сделать вывод о том, что основная часть федеральных округов находится в кластере № 3, что свидетельствует о низком уровне показателей, характеризующих информационный потенциал регионов. При указанной особенности наиболее равномерное распределение наблюдается по финансовому и техническому блокам, а также информационной и инновационной составляющей. Наихудшая ситуация наблюдается по показателям, которые формируют кадровый, научный, организационный и институциональный блоки. Так по научному блоку в кластерах со средним уровнем показателей зафиксированы только регионы Центрального, Южного и Приволжского федеральных округов. Таким образом, значительной корректировке и реализации мер, направленных на повышение уровня информационного потенциала федеральных округов, должны быть подвергнуты показатели, характеризующие кадровую, научную и организационную составляющую.
ЗАКЛЮЧЕНИЕ
Современные условия глобализации формируются под существенным влияние информационных инструментов, которые, формируясь на уровне хозяйствующих субъектов, оказывают значительное влияние на социально-экономическое развитие страны в целом. При этом эффективность управления любой хозяйственной системой напрямую зависит от рациональности использования информационных ресурсов. В связи с этим оперативность в получении информации, ее полнота и актуальность повышают эффективность принятия управленческих решений. Кроме того, определенное значение имеет открытость экономики России и связанная с ней конкуренция с высокоразвитыми экономическими субъектами, в которых высокий уровень развития рыночной экономики достигается, в том числе, посредством реализации сложной аналитической работы с использованием новейших достижений науки: математики, информационных технологий (IT).Таким образом, для выработки и принятия эффективных управленческих решений необходимыми элементами являются информация и знания, удовлетворяющие требованиям полноты, достоверности, актуальности и полезности. Данный факт определяет одну из первостепенных задач, которая заключается в анализе имеющейся информации. Согласно цели и задачам в рамках данного исследования был выполнен анализ подходов к определению понятия информационный потенциал, изучена его структура и подходы к формированию индикаторов, составляющих систему факторных признаков, оказывающих значительное влияние на эффективность, актуальность и качество мониторинга информационного потенциала регионов. На основе анализа существующих подходов разработана концептуальная модель структуры показателей для оценки информационного потенциала региона, на основе 8 блоков показателей:
финансовый блок;
технический блок;
кадровый блок;
научный блок;
организационный блок;
институциональный блок;
информационный блок;
инновационный блок. Каждый из указанных блоков сформирован на основе индикаторов, анализ динамики и структуры которых позволяет, на наш взгляд, наиболее полно охарактеризовать современный уровень информационного потенциала регионов и выявить тенденции в его развитии. С целью дальнейшего анализа в исследовании:
дана оценка текущему состоянию и развитию процессов, характеризующих современное состояние и индикаторы информационного потенциала на примере региональных хозяйственных систем России;
выполнен анализ технологического и программного обеспечения средств проектирования и разработки хранилищ данных, как эффективного инструмента сбора, хранения и обработки информации о современном состоянии индикаторов развития регионов в данном направлении;
обоснована целесообразность использования технологии DataMining, как наиболее эффективно сочетающей в себе широкий математический инструментарий и гармонично объединяющей строго формализованные методы и методы неформального анализа, т. е. количественный и качественный анализ данных. Кроме того, на основе данной технологии эффективно реализуется метод кластерного анализа, который может использоваться для построения иерархии регионов по уровню информационного потенциала. На основании проведенного анализа, в рамках исследования, сделан вывод о том, что одним из наиболее эффективных программных средств построения хранилища данных для дальнейшей обработки информации является платформа DeductorAcademic, которая обладает наиболее понятным интуитивным, дружественным интерфейсом, широким инструментарием для интеллектуальной многомерной обработки данных и, что не менее важно, является программным обеспечением свободного распространения. СПИСОК ИСПОЛЬЗУЕМОЙ ЛИТЕРАТУРЫАбашкин, В. Л. Кластерная политика в России: от теории к практике/ В. Л. Абашкин, А. Д. Бояров, Е. С. Куценко //Форсайт. — 2012. — № 3. — С.
17.Абрамов, Р. Н. Сетевые структуры и формирование информационного общества // СОЦИС. — 2012. — № 3Базы данных Oracle [Электронный ресурс]. — Режим доступа:
http://www.oracle.com/technetwork/ru/database/express-edition/overview/index.htmlБершадский, А. М. Мониторинг социально-экономических систем с использованием многомерных баз данных (МБД) и технологии OLAP / А. М. Бершадский, Е. И. Косникова, В. В. Эпп // Спрос и предложение на рынке труда и рынке образовательных услуг в регионах России: сборник докладов VIII Всероссийской научно-практ. Интернет-конференции — Петрозаводск: Изд-во Петр
ГУ, 2011. — Кн. I. — С.96−103.Гранберг, А.
Г. Основы региональной экономики: Учебник для вузов. — 3-е изд. М: ГУ ВШЭ, 2011.-495 с. Горинов, М. Н — Экономический потенциал региона: социально-экономическая сущность и модель оценки. / Муфтахутдинова, Х.Р. // Вестник ИжГТУ. -&#.
160;2007. -&# 160;№ 4. — С. 30−36.Гутман, Г. В. Управление региональной экономикой. /.
Мироедов А.А., Федин С. В. М.: Финансы и статистика, 2011. — 176 с. Дейнека, О. С. Атрибутивная картина наркотической зависимости в информационном обществе / О. С. Дейнека, Е. В. Боброва // Технологии информационного общества. Интернет и современное общество: тр. V Всерос. объединенной конф. ;
СПб.: Изд-во СПбГУ, 2002. — С. 27−30.Евсюков, А. А. Средства оперативного геомоделирования в информационно-аналитических системах: автореферат диссертации кандидата технических наук: 05.
13.11. — Красноярск: ИВМ СО РАН, 2007. — 123 с. Емельянов, О. О. Концептуальная модель оценки эффективности инновационной деятельности // Фундаментальные исследования. — 2014.- С. 1604−1608.
Еркин, А. В. Понятия «информация» и «информационная безопасность»: от индустриального общества к информационному / А. В. Еркин // Информационное общество. — 2012. — №.
1. — С. 68−74.Ершов, Ю. М. Информационный потенциал регионов/ Ю. М. Ершов // Электронный научный журнал факультета журналистики МГУ им. Ломоносова [Электронный ресурс]. — Москва: МГУ им.
Ломоносова, 2008. — № 2. — 420 800 082/0050. — Режим доступа:
http://www.mediascope.ru/?q=node/221Иншаков, О.В. «Ядро развития» в контексте новой теории факторов производства /О.В. Иншаков//Экономическая наука современной России. — 2003. — № 1. — С.11−25.Индекс развития ИКТ (ICTDevelopmentIndex — IDI) [Электронный ресурс] - Режим доступа:
http://www.itu.int/ITU-D/ict/publications/idi/Индекс готовности к сетевому обществу (NetworkedReadinessIndex — NRI) [Электронный ресурс] - Режим доступа:
http://reports.weforum.org/global-information-technology-2011/Индекс экономики знаний (KnowledgeEconomyIndex — KEI) [Электронный ресурс] - Режим доступа:
http://info.worldbank.org/etools/kam2/KAM_page5.aspСахаровA.A. Интегрированные хранилища данных Teradata [Электронный ресурс]. — Режим доступа:
http://www.teradata.com.ru/Russian/Teradata_Database/?LangType=1049&LangSelect=trueИшенин, П. П. Инструментальные средства построения комплексов моделей и аналитических приложений в OLAP-технологии: автореферат диссертации кандидата технических наук: 05.
13.11. — Красноярск: ИВМ СО РАН, 2011. — 24 с. Исследовательскийцентр «The Economist Intelligence Unit». [Электронный ресурс] Режим доступа:
http://www.eiu.com/home.aspxКайшева, Л. И. Кластерный механизм управления региональным развитием и налогообложение кластерных структур / Л. И. Кайшева, Р. А. Кулик, Н. Н. Волкова, М. И. Левкивский, Е. М. Козаченко, Т. В. Сахно. Кадочников, А. А. Технологии и программное обеспечение информационно-аналитических систем на основе геоинформационного интернет-сервера: Дис… канд. техн. наук: 05.
13.11. — Красноярск, 2006. — 173 с. Казакова, Н. А. Методология статистического мониторинга и анализа инвестиционного развития региона: диссертация…
доктора экономических наук: 08.
00.12. — Москва, 2008. 285 с. Казарин, С. В. Совершенствование системы управления информатизацией региона: дис… канд. эконом.
наук. — Самара, 2015. — 126 с. Калинникова, И. О. Управление социально-экономическим потенциалом региона: Учебное пособие. —.
СПб.: Питер, 2009. — 240 с. Концепции построения и реализации информационных систем, ориентированных на анализ данных. [Электронный ресурс] Режим доступа:
http://www.olap.ru/basic/saharov.asp"Концепция формирования и развития единого информационного пространства России и соответствующих государственных информационных ресурсов" [Электронный ресурс]. — Режим доступа:
http://www.sbras.ru/win/laws/russ_kon.htmКорсукова, С. А. Информационный потенциал как ресурс экономического развития России в современных условиях. — Электронный ресурс. — Режим доступа:
http://www.dslib.net/ekonomsociologia/informacionnyj-potencial-kak-resursjekonomicheskogo-razvitija-rossii-v-sovremennyhКостюк, В. Н. Информация как социальный и экономический ресурс /В. Н. Костюк, Ин-т «Открытое общество». — М.: Магистр, 1997. — 48 с. Ковалев, С. В. Методическая база оценки затрат на внедрение информационных технологий / С. В. Ковалев // Информационные технологии моделирования и управления.
— 2012. — № 1(60). -.
С. 87−95.Кудрявцев, Ю.П. OLAP-технологии: обзор решаемых задач и исследований// Бизнес-информатика. — 2012. — № 1.
— С. 66−80Лайчук, О. В Интеллектуально-информационный потенциал: вопросы теории и практики: монография./ Николаева Л. А. — Иркутск: Изд-во БГУЭП, 2009. -.
140 с. Лебедев, В. В. Информационные технологии бизнес-аналитики. Система подготовки принятия решения Deductor. Учебно-методическое пособие. Кафедра информационных технологий в бизнесе. НИУ ВШЭ ПФ, 2011 г. С. 14Мартинович, В. Г. Ключевые характеристики и приоритетные исследования информационного потенциала региона // Материалы III Международной научно-практической конференции. — [.
Электронный ресурс]. — Режим доступа:
http://mns2013.
3dn.ru/publ/sekcija1/kljuchevye_kharakteristiki_i_prioritetnye_issledovanija_informacionnogo_potenciala_regiona/2−1-0−7 Мироедов, А. А. Информационное обеспечение механизмов управления регионом /А.А. Мироедов.
М.:Финансы и статистика, 2011.-128с.Некрасов, В. OLAP-анализ посещаемости Web-сайта / PC Week/КБ. 2002. № 3Обзор возможностей применения ведущих СУБД для построения хранилищ данных (DataWarehouse) [Электронный ресурс] Режим доступа:
http://www.olap.ru/basic/dbms.aspПаклин, Н.Б. Бизнес-аналитика: от данных к знаниям: Учеб.
пособие. 2-е изд., испр. — СПб.: Питер, / Орешков В. И. 2013. С. 78. Петрова, Е. А. Информационное развитие региональных хозяйственных систем: дис… доктора. эконом. наук: 08.
00.05. — Волгоград, 2009. —.
398 с. Петрова Е. А. Информационное развитие региональных хозяйственных систем: теория, методология и практика / Е. А. Петрова // Приоритеты России. — 2011. — №.
31. — С. 16−21Полубояров, В. В. Использование MS SQL ServerAnalysisServices 2008 для построения хранилищ данных / В.
В. Полубояров. — М.: Интуит, 2010.
— 487 с. Пилясов, А. Н. Синергия пространства: региональные инновационные системы, кластеры и перетоки знания // Смоленск: Ойкумена. — 2012. — 490 с. Приказ Минрегиона РФ от 27.
02.2007 N 14 «Об утверждении Требований к стратегии социально-экономического развития субъекта Российской Федерации» Постановление Правительства РФ от 15.
04.2014 N 313 (ред. от 21.
10.2016) «Об утверждении государственной программы Российской Федерации «Информационное общество (2011 — 2020 годы)» Программные решения компании IBM [Электронный ресурс] Режим доступа:
http://www-03.ibm.com/software/products/ru/retailРейтинг развития электронного правительства (E-governmentdevelopmentrank) [Электронный ресурс] - Режим доступа:
http://www.unpan.org/Сахаров, A.A. Концепции построения и реализации информационных систем, ориентированных на анализ данных. [Электронный ресурс]. — Режим доступа:
http://www.olap.ru/basic/saharov.aspСтратегия Microsoft в области создания хранилищ данных: платформа для совершенствования процессов принятия решений за счет облегчения доступа и анализа данных [Электронный ресурс] Режим доступа:
http://www.olap.ru/desc/microsoft/SQL7_dwa.aspТехнология анализа данных. D ataMining, VisualMining, TextMining, OLAP/ А. А. Барсегян, M. С. Куприянов, В.
В. Степаненко, И. И. Холод. СПб.: БХВ-Петербург, 2007. — 59 с. Третьякова, Ю.Н. О практических аспектах OLAP — технологии // Актуальные проблемы прикладной математики, информатики и механики. /.
Золотарев С. В. Материалы Международной научно — технической конференции, 2015. — 271 — 272с. Федеральный закон от 27.
07.2006 N 149-ФЗ (ред. от 06.
07.2016) «Об информации, информационных технологиях и о защите информации» Федин, Ф. О. Анализ данных. Часть 2: Инструменты DataMining: учебное пособие. /.
Федин Ф. Ф.- М.: MillУ, 2012. — 308 с. Финансово-кредитный энциклопедический словарь / Коллектив авторов; Под общей редакцией А. Г. Грязновой.
— М.: Финансы и статистика, 2010. — 327с. Цильковский, И. А. Методы анализа знаний и данных: конспект лекций / И. А. Цильковский, В. М. Волкова.
— Новосибирск: Изд-во НГТУ, 2012. — 48 с. Чернышова И. Г. Методика оценки организационно-информационного потенциала предприятия // Вестник Брянского государственного технического университета.
-&# 160;2012. — 166−17 с. Чугунов, А. В. Социальная информатика: Учебное пособие. -.
СПб.: НИУ ИТМО. 2012. — 223 с. Чубукова, И.А. DataMining [Электронный ресурс] - Электрон.
текстовые данные.— М.: Интернет-Университет Информационных Технологий (ИНТУИТ), / Чубукова И. А. 2016.— 470 cШиляев, А. А. Эффективность инвестиций в информационные технологии: подходы к измерению и оценке / А. А. Шиляев // Бизнес-образование. — 2003. — №.
2 (15). — С. 155−172.Hakansson, N. and Arrow, K. (1972).
E ssays in the Theory of Risk-Bearing.TheJournalofFinance, 27(5), p.1193Inmon, W. and Krishnan, K. (2011). Building the unstructured data warehouse. 1st ed. B radleyBeach, NJ: TechnicsPublications. Kimball, R.
and Ross, M. (2013). The data warehouse toolkit. 1st ed. H oboken: Wiley. Polyanalyst [Электронный ресурс]. — Режим доступа:
http://www.megaputer.com/SASEnterpriseMiner [Электронный ресурс]. — Режим доступа:
http://www.sas.com/SPSS [Электронный ресурс]. — Режим доступа:
http://www.spss.com/clementine/StatisticaDataMiner [Электронный ресурс]. — Режим доступа:
http://www.StatSoft.com/Weka [Электронный ресурс]. — Режим доступа:
http://www.cs.waikato.ac.nz/ml/weka/index.htmlWorldWideWebFoundation [Электронный ресурс] Режим доступа:
http://webfoundation.org/ Ysander, B. and Arrow, K. (1975).The Limits of Organization. The Swedish Journal of Economics, 77(2), p.
275.
