Основные виды информационных технологий обработки данных и знаний

Из большого многообразия ИТ для изучения выбраны ИТ обработки данных и знаний, используемых для предприятий — производителей реальной материальной продукции и услуг. Это ИТ обработки данных и управления, ИТ автоматизации офиса, ИТ поддержки принятия решений, технология экспертных систем, технология автоматизации аналитических исследований.

ИТ обработки данных предназначена для решения хорошо структурированных задач, по которым имеются необходимые входные данные и известны процедуры (алгоритм) их обработки. Эта технология применяется для операционной (исполнительской) деятельности персонала в целях автоматизации некоторых рутинных постоянно повторяющихся операций управленческого труда. Поэтому внедрение ИТ на этом уровне повышает производительность труда персонала, освобождает его от рутинных операций, возможно, даже приведет к сокращению численности работников.

Рисунок 1.1. — Основные компоненты ИТ обработки данных.

ИТ управления подчинены задаче удовлетворения информационных потребностей всех без исключения сотрудников фирмы, имеющих дело с принятием решений на любом уровне управления. Эта технология используется при худшей структурированности решаемых задач. ИТ управления идеально подходят для удовлетворения сходных информационных потребностей работников различных функциональных подразделений управления фирмой. Поставляемая ими информация содержит сведения о прошлом, настоящем и вероятном будущем фирмы. Эта информация имеет вид регулярных или иных управленческих отчетов. На этом этапе решаются следующие задачи обработки данных: оценка планируемого состояния объекта управления, оценка отклонений от планируемого состояния, выявление причин отклонений.

ИТ управления направлена на создание различных видов отчетов.

Основные компоненты ИТ управления показаны на рисунке 1.2.

Рисунок 1.2. — Основные компоненты ИТ управления Исторически автоматизация началась на производстве и затем распространилась на офис, где вначале целью была лишь автоматизация рутинной секретарской работы. Очевидно, что по мере развития коммуникаций автоматизация офисных технологий дает возможность повысить производительность труда любого персонала.

Автоматизация офиса (рисунок 1.3.) не призвана заменить существующую традиционную коммуникационную систему персонала (с ее совещаниями, телефонными звонками и приказами), а лишь дополнить ее. Совместное использование этих систем обеспечит рациональную автоматизацию управленческого труда и наилучшее снабжение управленцев информацией.

Рисунок 1.3. — Основные компоненты ИТ автоматизации офиса Автоматизированный офис привлекателен для менеджеров всех уровней управления фирмы потому, что поддерживает внутрифирменную связь персонала и предоставляет им новые средства коммуникации с внешним окружением на базе компьютерных сетей и других средств передачи и обработки данных.

Системы поддержки принятия решений (СППР) и соответствующая им ИТ появились в конце 70-х — начале 80-х годов XX века, чему способствовали широкое распространение персональных компьютеров, пакетов прикладных программ, а также успехи в создании систем искусственного интеллекта.

Главной особенностью ИТ поддержки решений является качественно новый метод организации взаимодействия человека и компьютера. Выработка решения, что является основной целью этой технологии, происходит в результате операционного процесса (рисунок 1.4.), в котором участвуют СППР в роли вычислительного звена и объектов управления и человек как управляющее звено, задающее входные данные и оценивающее полученный результат вычислений на компьютере. Окончание итерационного процесса происходит по воле человека. В этом случае можно говорить о способности информационной системы совместно с пользователем создавать новую информацию для принятия решений.

Рисунок 1.4. — ИТ поддержки принятия решений как итерационный процесс.

Структура СППР, а также функции ее блоков, которые определяют основные технологические операции, приведена на рисунке 1.5. и по тексту ниже.

Рисунок 1.5. — Основные компоненты ИТ поддержки принятия решений В состав СППР входят три главных компонента: база моделей и программная подсистема, которая состоит из СУБД, системы управления базой моделей (СУБМ) и системы управления между пользователем и компьютером.

Экспертные системы (ЭС) основаны на использовании искусственного интеллекта. ЭС дают возможность менеджеру или специалисту получать консультации экспертов по любым проблемам, о которых этими системами накоплены знания.

Под искусственным интеллектом обычно понимают способности компьютерных систем к таким действиям, которые назывались бы интеллектуальными, если бы исходили от человека. Чаще всего здесь имеются в виду способности, связанные с человеческим мышлением. Работы в области искусственного интеллекта не ограничиваются экспертными системами. Они также включают в себя создание роботов, систем, моделирующих нервную систему человека, его слух, зрение, обоняние, способность к обучению.

Решение специальных задач требует специальных знаний. Однако не каждая компания может себе позволить держать в своем штате экспертов по всем связанным с ее деятельностью проблемам или даже приглашать их каждый раз, когда проблема возникла.

Идея использования технологии ЭС заключается в том, чтобы получить от эксперта его знания и, загрузив их в память компьютера, использовать всякий раз, когда в этом возникнет необходимость. ЭС трансформируют опыт экспертов в какой-либо области знаний в форму эвристических правил (эвристик). Эвристики не гарантируют получения оптимального результата с уверенностью, как обычные алгоритмы технологии поддержки принятия решении. Однако часто они дают приемлемые решения для их практики.

Сходство ИТ, используемых в ЭС и СППР, состоит в том, что обе они обеспечивают высокий уровень поддержки принятия решений. Однако имеются три существенных различия. Первое связано с тем, что решение проблемы в рамках систем поддержки принятия решений отражаёт уровень ее понимания пользователем и его возможности получить и применить решение. Технология ЭС, наоборот, предлагает пользователю решение, превосходящее его возможности. Второе отличие указанных технологий в способности ЭС пояснять свои рассуждения в процессе принятия решения. Очень часто эти пояснения оказываются более важными для пользователя, чем само решение. Третье отличие — использование нового компонента ИТ — знаний. информационный технология логистика инфраструктура Основными компонентами ЭС, являются: интерфейс пользователя, база знаний, интерпретатор, модули, созданные системой (рисунок 1.6.).

Рисунок 1.6. Основные компоненты ИТ экспертных систем Для представления базы знаний используют языки Лисп и Пролог, хотя можно использовать и любой известный алгоритмический язык.

Оболочка ЭС представляет собой готовую программную среду, которая может быть приспособлена к решению определенной проблемы путем создания соответствующей базы знаний. В большинстве случаев использование оболочек позволяет создавать ЭС быстрее и легче в сравнении с их разработкой и программированием.

Технология автоматизации аналитических исследований. Управление направлено на обеспечение предприятия различными ресурсами в необходимых объемах, в нужное время и в нужном месте с целью получения максимального эффекта от их использования путем оптимального распределения. Сейчас на предприятиях типична парадоксальная ситуация: информация есть, ее даже слишком много. Но она неструктурированна, несогласованна, разрознена, не всегда достоверна, часто ошибочна, ее трудно найти и получить. Производится бесполезная генерация гор отчетности, которая неудобна для анализа, трудна для восприятия, так как создается не для внутреннего управления, а для предоставления внешним контролирующим органам.

Типична ситуация, когда на предприятии существуют оперативные системы, с помощью которых регистрируются факты определенных операций и осуществляется их хранение в БД. Для извлечения данных из баз для аналитических целей построена система запросов данных. Но такой способ поддержки принятия решений лишен гибкости и имеет много недостатков:

используется ничтожно малое количество данных, которые могут быть полезны для принятия решений;

создаются сложные многостраничные отчеты, из которых реально используются 1−2 строчки, т. е. возникает информационная перегрузка;

медленная реакция на изменения — если необходимо новое представление данных, то запрос должен быть формально описан, закодирован программистом и затем выполнен (значительно время ожидания);

отчеты по запросам представляются в одномерном формате, а проблемы бизнеса обычно многомерные и многогранные, т. е. если требуется анализировать данные в различных разрезах.

Многие компании используют БД, идеально разложив по полочкам горы неиспользуемой информации, которая сама по себе не обеспечивает ни быстрой, ни достаточно грамотной реакции на рыночные события. Реляционные БД были, есть и будут наиболее подходящей технологией для хранения корпоративных данных. Речь идет об инструментальных средствах анализа, дополняющих функции существующих СУБД и достаточно гибких, чтобы предусмотреть и автоматизировать разные виды интеллектуального анализа.

По результатам исследования, проведенного фирмой Reuters среди 1300 международных менеджеров, 38% опрошенных утверждают, что тратят много времени, пытаясь найти нужную информацию. Квалифицированный специалист тратит высокооплачиваемое время не на анализ данных, а на сбор, поиск и систематизацию необходимой для этого анализа информации. Для современного бизнеса ценная информация, ее систематическое приобретение, синтез, обмен, использование — это своего рода валюта, но для того, чтобы ее получать, необходимо управлять информацией, как и любым бизнес-процессом.

Ключом к управлению является доставка нужной информации в надлежащем виде заинтересованным лицам в пределах организации в конкретное время. Цель такого управления заключается в том, чтобы помочь людям лучше работать вместе, используя возрастающие объемы информации. ИТ в данном случае выступают средством, позволяющим систематизировать информацию на предприятии, предоставить определенным пользователям к ней доступ и дать им инструментальные средства для превращения этой информации в знания.

Интеллектуальные технологии являются универсальным аналитическим инструментом, который может быть использован в любой прикладной области, где требуется анализ данных различными методами и где управленческое решение возникает как результат определенных аналитических процедур. Данные технологии представляют: развитые инструменты доступа к данным хранилища; динамическое интерактивное манипулирование данными (вращения, консолидации или детализации); наглядное визуальное отображение данных; оперативность — анализ осуществляется в реальном режиме времени; многомерное представление данных — одновременный анализ ряда показателей по нескольким измерениям.

Для получения эффекта от использования этих технологий необходимо понимать их сущность, возможности и четко определиться, какие процессы необходимо анализировать, какими показателями они будут характеризоваться и в каких измерениях их целесообразно видеть, т. е. создать модель анализа Весна Т. А. OLAP в финансовом управлении //Материалы конференции «Теория и практика управления предприятием» 29−31 октября 2002 г.

Согласно классификации компании IDC http://www.idc.com, рынок технологий автоматизации аналитических исследований состоит из 5 сегментов: 1) OLAP От англ. On-Line Analytical Processing — оперативная аналитическая обработка-продуктов, 2) инструментов добычи данных. 3) средств построения хранилищ и витрин данных, 4) управленческих информационных систем и приложений, 5) инструментов конечного пользователя для выполнения запросов и построения отчетов.

В зависимости от способа хранения данных различают многомерные OLAP (MOLAP — Multidimensional OLAP), реляционные OLAP (ROLAP — Relational OLAP) и гибридные OLAP-продукты ((HOLAP — Hybrid OLAP).

Многомерные OLAP-продукты. Исходные данные хранятся в многомерной БД или в многомерном локальном кубе. Это обеспечивает высокую скорость выполнения OLAP-операций. Но многомерная база чаще всего избыточна. Куб, построенный на ее основе, будет зависеть от числа измерений, при увеличении которых объем куба будет экспоненциально расти. Это может привести к росту объема данных, замедляющему скорость выполнения запросов пользователей.

Реляционные OLAP-продукты. Исходные данные хранятся в реляционных БД или в плоских локальных таблицах на сервере. Агрегатные данные помещаются в служебные таблицы в той же БД. Преобразование данных из реляционной БД в многомерные кубы происходит по запросу OLAP-средства. При этом скорость построения куба будет находиться в зависимости от типа источника данных и приводить к увеличению времени отклика системы.

Гибридные OLAP. Исходные данные остаются в реляционной базе, а агрегаты размещаются в многомерной. Построение OLAP-куба выполняется по запросу OLAP-средства на основе реляционных и многомерных данных. Это позволяет избежать взрывного роста данных и обеспечить минимизацию времени выполнения клиентских запросов.

В зависимости от места размещения OLAP-машины различают OLAP-серверы и OLAP-клиенты. В первом случае вычисления и хранение агрегатных данных выполняются сервером. Клиентское приложение получает результаты запросов к многомерным кубам, хранящимся на сервере. Некоторые ОLAP-сервера поддерживают три способа хранения данных: МОLAP, ROLAP и HOLAP. Часто применяется OLAP-сервер корпорации Microsoft. Во втором случае построение многомерного куба и OLAP-вычисления выполняются в памяти клиентского компьютера. При этом OLAP-клиенты могут поддерживать три способа хранения (ROLAP, MOLAP и HOLAP).

По степени готовности к применению OLAP-продукты подразделяют на OLAP-компоненты, инструментальные OLAP-системы и конечные OLAP-приложения.

С помощью OLAP-компонентов разрабатываются клиентские программы двух типов: MOLAP-компоненты, как инструменты генерации запросов к OLAP-серверу и обеспечения визуализации полученных данных, и ROLAP-компоненты, содержащие собственную OLAP-машину для построения OLAP-кубов в оперативной памяти и отображения их на экране.

Инструментальные OLAP-системы предназначены для создания аналитических приложений и бывают системами для программирования (средой разработчика) и системами для быстрой настройки, содержащие визуальный интерфейс создания OLAP-приложений без программирования.

Конечные OLAP-приложения являются готовыми прикладными решениями, требующими только установки и настройки для анализа данных в различных отраслях и для решения различных аналитических задач.

Разведка данных (data mining) представляет собой процесс обнаружения корреляции, тенденций, шаблонов, связей и категорий. Самойленко А. В. Data mining: учебный курс. // СПб: Питер, 2001 Она выполняется путем тщательного исследования данных с использованием технологий распознавания шаблонов, а также статистических и математических методов. При разведке данных многократно выполняются различные операции и преобразования над сырыми данными (отбор признаков, стратификация, кластеризация, визуализация и регрессия).

В отличие от использования OLAP разведка данных в значительно меньшей степени направляется пользователем, вместо этого полагается на специализированные алгоритмы, которые устанавливают соотношение информации и помогают распознать важные (и ранее неизвестные) тенденции, свободные от предвзятости и предположений пользователя.

Методы добычи данных (Data Mining) являются составной частью процесса поиска полезных знаний в разрозненных данных (KDDKnowledge Discovery in Databases). KDD состоит из подготовки данных, выбора информативных признаков, очистки данных, применения методов Data Mining, обработки и интерпретации полученных результатов. Первый элемент добычи данных — фильтрация, которая позволяет отделить полезную информацию от искажающего его шума за счет сглаживания, очистки, редактирования аномальных значений, устранения незначащих факторов, понижения размерности информации. Эта первичная обработка данных позволяет повысить качество исходных данных и точность результата анализа.

Дерево решений позволяет представлять правила в иерархической структуре, где каждому объекту соответствует единственный узел, дающий решение. Это может быть логическая конструкция «если…, то…». Элемент применяется поиска оптимальных решений на основе описанной модели поведения.

Ассоциативные правила позволяют находить закономерности между связанными событиями. Например, если произошло событие А, то произойдет и событие В с вероятностью С. Впервые эта задача была предложена для нахождения типичных шаблонов покупок, совершаемых в супермаркетах, поэтому ее называют анализом рыночной корзины (market basket analysis).

Генетические алгоритмы применяются при решении задач оптимизации, в которых можно составить описание возможных вариантов решения в виде вектора параметров, и известен критерий, определяющий эффективность каждого варианта, например, для составления расписаний, выбора маршрутов движения, конфигурации оборудования заполнения контейнеров при перевозке грузов.

Нейронные сети реализуют алгоритмы обратного распространения ошибки, самоорганизующихся карт Кохонена, RBF-ceтей, сетей Хэмминга и других алгоритмов анализа данных. Они применяются для восстановления пропусков в данных, прогнозирования и поиска закономерностей.

Построение хранилищ и витрин данных осуществляется с помощью следующих средств.

Средства проектирования хранилищ данных. Они входят в состав реляционных и многомерных СУБД Microsoft, Oracle, IBM и Sybase. После описания структур хранения данных специальными системными утилитами выполняется их генерация, что позволяет быстро построить индивидуальное хранилище или витрину.

Средства извлечения, преобразования и загрузки данных (ETL-extraction, transformation, loading). Они обеспечивают процессы при переносе данных из одного приложения или системы в другие. Пример ETL-системы — Ascential DataStage компании Ascential Software.

Готовые предметно-ориентированные хранилища данных. В них уже имеются механизмы построения хранилищ и витрин данных: процедуры извлечения, преобразования, очистки и загрузки данных, функции генерации баз данных и процедур обработки, механизмы построения выборок данных, интерфейсы просмотра и анализа данных. Однако их нельзя использовать в другой предметной области.

Инструменты конечного пользователя для выполнения запросов и построения отчетов включают следующие инструменты.

Инструменты выполнения запросов и построения отчетов (Query &Reporting) предназначены для формирования запросов к ИС в пользовательских терминах, их исполнения, просмотра полноценных отчетов. Эти системы могут быть встроены в состав OLAP-систем.

Инструменты в виде специализированных систем Query & Reporting, когда пользователь составляет запрос к источнику данных, используя заранее подготовленный программистом каталог терминов, получая плоские или многомерные таблицы, графики, диаграммы на экран или в виде распечатки.