Обзор информационных технологий, применяемых в аналитической работе

Предназначение информационных технологий — усиливать возможности анализировать и делать выводы, снижать временные издержки. В современных условиях фактор оперативности имеет большое конкурентное значение. Бурное развитие Интернет-ресурса и средств информационных технологий стимулирует аналитические структуры к более полному использованию новых возможностей, периодическому апгрейду «перевооружению» технических и программных средств.

Важной особенностью современного рынка программных продуктов является «ускоренный» темп поглощений лидерами сектора высоких технологий Например, в 2005 году IBM среди прочих купила FileNet Corp., Internet Security Systems Inc., Micromuse company, в 2006 году активность поглощения IBM концентрировалась в секторе программного обеспечения, в частности была приобретена компания FileNet, в 2009 году IBM поглотила известную американскую компанию SPSS, выпускающую программные продукты для серьёзной аналитики. других IT-компаний, появление инкапсулированных мощных средств, расширяющих диапазон решаемых задач. Стало возможным решение ранее «неразрешимых» задач. Например, построение системы математических моделей на ЭВМ, в частности, имитирующих функционирование биосферы. Анализ поведения подобной системы в зависимости от определённых сценариев человеческой деятельности позволит сформулировать цели стратегии управления и развития, дать информацию для определения понятия коэволюции. Других средств получения такой информации нет, так как любой эксперимент с биосферой в целом может привести к общечеловеческой катастрофе. Моисеев Н. Н., «Алгоритмы развития», 1987.

Развитие социальных сетей — ещё одно направление, набирающее силу в информационных технологиях, прежде всего в Интернете. Социальная сеть предоставляет группе пользователей автоматизированную социальную среду, позволяющую им общаться, создавать общий информационный ресурс, принимать консолидированные решения. С 12 апреля 2010 года в Российской Федерации в тестовом режиме начала функционировать социальная сеть для сотрудников отрасли информационных технологий. «Создание социальной сети позволит внедрять решения на новом уровне», — заявил министр связи и массовых коммуникаций Российской Федерации И. О. Щёголев на Всероссийском совещании «Приоритетные задачи по переходу на оказание государственных и муниципальных услуг в электронном виде» (11 марта 2010 года, Москва). Сеть предназначена для экспертов в сфере информатизации органов государственной власти всех уровней — от федерального, до муниципального. В настоящее время в сети зарегистрировано более 350 человек из 79 регионов.

Информационный поиск Информационно-поисковые системы, вследствие их универсальности, образуют самый широкий класс программных продуктов. Информационно-поисковые системы собирают документальную информацию из разнородных источников: папок файловых систем; баз данных; сайтов Интернета и других. Сбор информации может производиться автоматически в режиме мониторинга Традиционно мониторинг объектов и ситуаций сводится к периодическому отслеживанию результатов сигнальных запросов, информирующих о новых поступлениях по заданной в запросе теме. и с использованием специальных сценариев. Основными критериями качества информационно-поисковых систем являются релевантность найденных документов, простота задания запроса Ряд поисковиков позволяют использовать фрагмент текста на естественном языке. В этом случае будут отобраны документы, в которых термины находятся в той же синтаксической взаимосвязи, что и в тексте запроса, также могут использоваться тезаурусные отношения между терминами и темами., способ вывода результата. Информационно-поисковые системы при поиске могут учитывать морфологические модификации ключевых слов запроса, использовать маски «*» и «?» для уточнения запросов. Ряд систем допускают задание более «тонкой» формулировки запроса — расстояния между ключевыми словами, частоты встречаемости термина. Для ограничения поиска могут использоваться тематический рубрикатор, реквизиты документа (дата публикации, автор, источник, формат и т. д.). Результат поиска обычно отображается в виде списка ссылок на документы, ряд систем выдают ссылки с аннотациями, отсортированные по дате или релевантности.

Часть информационно-поисковых систем, доступная в Интернете, содержит закрытый информационный ресурс: Артефакт (www.integrum.ru) В базах Интегрум хранится более 400 млн. документов из 6 тыс. источников. Ежедневно добавляются более 50 тыс. новых документов, в среднем два источника.; Медиалогия (www.mlg.ru) В базу данных системы круглосуточно поступает около 4 тыс. публикаций из информационных агентств, газет, журналов, радио, Интернет и блоги. Также доступны текстовые версии основных телепередач федеральных каналов.; система Парк (www.park.ru) База данных содержит более 3,5 тыс. источников, постоянно пополняется. электронными версиями газет, журналов, материалы информационных агентств, отраслевых порталов, расшифровки телеи радиоэфиров (транскрипты), сообщения государственных органов. В формировании каталога приоритет имеют следующие направления: деловая пресса, бизнес аналитика, специализированные отраслевые издания, источники правовой и финансовой информации.; УИС РОССИЯ (www.uisrussia.msu.ru); Паблик.ру (www.public.ru). Другая часть — открытый информационный ресурс, например, каталог СМИ (www.smi.ru).

Самыми популярными открытыми универсальными интернет-поисковиками, работающими с русскоязычным контентом, являются www.yandex.ru В Яндексе есть дополнительные сервисы, например, slovari.yandex.ru — справочники, энциклопедии, словари. и www.google.ru В Google есть возможность проведения специализированного поиска, например, сервис Google Book Search для поиска и даже прочтения интересующей книги., в некоторых случаях целесообразно воспользоваться поисковиками: Rambler; Yahoo; Bing.com; Ask.com; Cuil.com; Mail.ru, AltaVista и др.

Существуют информационно-поисковые системы, которые для обработки поискового запроса используют другие поисковые системы, например, портал Dogpile (www.dogpile.com) — позволяет пользователю на один запрос получать результаты из Google, Yahoo, Big.

Среди профессиональных поисковых инструментов следует отметить DEVONAgent (www.devon_technologies.com), поисковик системы Аналитический курьер (www.i-teco.ru), информационно-мониторинговую систему Web-Observer (www.webobserver.ru), информационно-аналитическую систему Internet Analyst (www.iqmen.ru).

Обработка информации Программные средства анализа текстовой информации преобразуют неструктурированную текстовую информацию Неструктурированная текстовая информация — сообщения информационных агентств, сводки, статьи, иные документы, представленные в различных форматах (TXT, HTML, DOC, PDF и т. д.). в структурированную, выделяют объекты предметной области — время, даты, числа, деньги, географические названия и др., их характеристики и связи. Такие средства применяются при отборе похожих и связанных документов, автоматической классификации и кластеризации документов, выявлении заимствованных фрагментов, а также при аннотировании, определении тональности текста по отношению к исследуемому объекту, могут использоваться для повышения релевантности поиска и достоверности аналитической обработки.

Ряд систем, например, Аналитический курьер (www.i-teco.ru), Астарта (www.metric.ru), SmartWare (www.smartware.ru), выполняют глубокую статистическую обработку текстов на уровне терминов и их взаимосвязей для проведения тематического поиска и анализа документов, кластеризации и классификации, определения близких тем. Близкие функции выполняют RCO Fact Extractor (www.rco.ru), Арион-Лингво (www.sytech.ru), ClaraBridge Document Analitics (www. clarabridge.com).

Наиболее известными производителями систем, которые автоматизируют процедуры рубрицирования (авторубрицирование), являются канадская фирма Hummingbird (программный продукт «Hummingbird Knowledge Management»), а также российские компании Media Lingva («Классификатор») и Гарант-Парк-Интернет («TopSOM») Использованы технологии американской компании InterMedia.

В результате анализа текстовой информации некоторые системы прогнозируют и выявляют «аномалии» активности источников по заданной тематике относительно усреднённых показателей потока документов (Public.ru).

Замечено, что в условиях кризиса (и не только) происходит ухудшение качества данных и снижение их достоверности, это может приводить к неконтролируемому накоплению ошибок при обработке данных и потере контроля над ситуацией. Для решения таких проблем предназначены пакеты CubiCalc (компания HyperLogic) и FuziCalc (компания FuziWare), которые реализуют методы работы с неточными, неполными, зашумленными, противоречивыми и искаженными данными Для обработки неполных и неточных данных применяют аппарат нечеткой логики и нечеткой алгебры.

Системы визуализации структурированной информации традиционно представляют её в виде семантической сети, узлы сети могут содержать дополнительные сведения. Системы Visual Links (www.spi2.ru), ONTOS (www.anbr), Семантический архив (www.anbr.ru) применяются для визуального редактирования, атрибутивного поиска объектов, анализа связей объекта, построения досье, отображения ситуации в виде схем, таблиц, когнитивных карт, диаграмм.

Автоматическое выявление логических зависимостей между объектами предметной области и ситуациями могут выполнять системы X_Files (www.i-teco.ru), Арион (www.sytech.ru), TAIS/ONTOS (www.avicomp.ru).

Технологии OLAP OLAP (online analytical processing) — составление и динамическая генерация отчётов. OLAP быстро выполняет сложные запросы, делая мгновенный «снимок» БД, структурированный в пространственную модель, для запросов. Время выполнения запроса в OLAP составляет примерно 0,1% от традиционных в реляционной БД. Технология OLAP применяется при оперативной аналитической обработки данных, в основе которой заложена традиционная математическая статистика. и Data Mining Data Mining — технология обнаружения в разнородных и неограниченного объёма данных нетривиальных, практически полезных и доступных интерпретации знаний. Требования к программам, реализующих эту технологию, — простота в использовании, их результаты должны быть конкретны и понятны. В основу Data Mining заложена концепция шаблонов-закономерностей, отражающих фрагменты многоаспектных взаимоотношений в данных. Нахождение таких шаблонов не ограничивается рамками оприорных предположений о структуре выборки. связаны с обработкой структурированных Структурированная информация может быть получена из реляционных баз данных (Microsoft Office Access, Microsoft SQL Server, др.) или выделена из потока неструктурированной текстовой информации. данных для выявления последовательностей, ассоциаций, деревьев решений с помощью динамического изменения уровней агрегации, срезов данных. Эти технологии в той или иной степени реализованы в Microsoft SQL Server Analysis Services, Oracle’s Hyperion Essbase, IBM Cognos и в продуктах компаний Business Objects SA, MicroStrategy Inc., наиболее полно в продукте Megaputer — PolyAnalyst.

Необходимо различать «физический» и «виртуальный» OLAP. В первом случае для обеспечения быстрого извлечения информации создаётся специальная многомерная база данных с предварительно рассчитанными агрегатами (Microsoft SQL Server Analysis Services). Во втором — данные хранятся в реляционных базах данных, а агрегаты могут создаваться по первому запросу (продукты BusinessObjects SA, MicroStrategy Inc.). В первом случае достигается значительно лучшее время отклика на запросы, во втором — большая масштабируемость в плане поддержки очень больших объёмов данных.

Популярными программными продуктами для интеллектуального анализа являются — Enterprise Miner (SAS Institute, www.sas.com), Angoss Analytics Software (Angoss Software Corporation, www.angoss.com), NeuralWorks Predict (NeuralWare, www.neuralware.com).

Моделирование Работа с имитационными моделями позволяет выявить основные факторы, определяющие свойства изучаемого объекта и его поведения при изменении внутренних и внешних параметров модели, начальных условий. В основе систем имитационного моделирования лежит методология системной динамики, разработанная для изучения поведения сложных систем. Программные продукты, реализующие системную динамику, позволяют:

строить «сложные» модели как совокупность «простых»;

определять механизмы взаимодействия компонентов системы в терминах её основных характеристик;

использовать «заготовки» и разрабатывать новые процедуры имитации поведенческих функций;

получать статистические оценки.

При составлении модели могут быть учтены причинно-следственные связи, петли обратных связей, задержки реакции, влияние внешней среды.

С помощью систем динамического моделирования можно увидеть поведение модели во времени при движении в прошлое (для получения исторического результата) и в будущее (для выявления возможных исходов). При изменении параметров модели можно наблюдать причины успеха или неудачи, находить оптимальные решения. Различают аналитическое и имитационное моделирование. При аналитическом моделировании изучаются математические (абстрактные) модели реального объекта в виде алгебраических, дифференциальных и других уравнений, а также предусматривающих осуществление однозначной вычислительной процедуры, приводящей к их точному решению. При имитационном моделировании исследуются математические модели в виде алгоритмов, воспроизводящих функционирование исследуемой системы путем последовательного выполнения большого количества элементарных операций.

Наиболее популярными программными продуктами, которые реализуют этот метод, являются Powersim Studio компании Powersim Software AS (www.powersim.com) Powersim Studio была разработана в Массачусетском технологическом институте (Massachusetts Institute of Technology) в 1950 году. Система разрабатывалась для менеджеров, но сразу после создания получила широкое распространение в академической среде. Учёные и студенты применяли систему для решения сложных задач в широком диапазоне предметных областей — от истории, литературы, социологии до биологии, физики и экономики. и iThink Analys (iSee systems, www.iseesystems.com). Также следует отметить пакеты Process Charter (Scitor Corp.), Extend+BPR (Imagine That!), Pilgrim (МЭСИ, Россия), Ensim (Ventana Systems), DYNAMO, PROCESS MODEL (PROMODEL Corporation), SIMUL8 (Visual Thinking International), EXTEND (Imagine That, Inc.).

Прогнозирование Метод Анализа Иерархий Метод Анализа Иерархий разработан американским ученым Томасом Л. Саати в 1970 году, с тех пор он активно развивается и широко используется на практике. В основе метода заложена не только математика, но и аспекты психологии — эксперт должен дать количественную оценку достаточно большому числу парных комбинаций. Метод универсален, он применим для решения любых задач, связанных с принятием решения. Существует множество реализаций этого метода, например, Expert Choice (www. expertchoice.com), СППР «Выбор» (www.cirtas.ru).

Другие методы — нейронные сети, MESA (Maximum Entropy Spectral Analysis) Метод спектрального анализа максимальной энтропии Джона Эхлера., фрактальные, стохастики, интегрированные. Среди программ этой категории следует отметить Brain Maker Pro, The AI Trilogy (компонент NeuroShell), MESA-96, Meta Stock, Super Charts, T-CHOICE, первый профессиональный пакет для оценки рисков — @RISK и российский аналог Альфа-Риск.

Социальные сети Социальная сеть — интерактивный веб-сайт, содержание которого наполняется участниками сети. В России функционируют большое число сетей научно-образовательного направления, среди них:

RBnet — межведомственная опорная сеть, построенная в рамках государственной программы «Создание национальной сети компьютерных телекоммуникаций для науки и высшей школы»);

RUNnet — федеральная университетская сеть, построенная в рамках ряда Федеральных целевых программ;

RASnet — корпоративная сеть Российской академии наук;

FREEnet — открытая сеть науки и образования, изначально построенная в рамках инициативы Института органической химии Российской академии наук;

Радио-МГУ — специализированная сеть по физике высоких энергий;

RSSI — специализированная сеть по космическим исследованиям;

региональные сети Уральского отделения Российской академии наук и Сибирского отделения Российской академии наук;

корпоративные сети крупных организаций науки и образования (Московский государственный университет имени М. В. Ломоносова, Объединенный институт ядерных исследований, Ногинский научный центр Российской академии наук). По данным Министерства связи и массовых коммуникаций Российской Федерации.

Заключение

. В приложении приводится краткий перечень программных продуктов, которые могут использоваться в аналитической работе. Перечень разбит по категориям: для оперативных подготовительных работ; для извлечения новых знания, определения закономерностей; для проведения стратегических исследований.

Приложение

Каталог программных продуктов

1. Информационно-поисковые системы.

Convera RetrievalWare — продукт компании Convera Technologies (www.convera.com), адаптированный компанией «Весть-МетаТехнология» к работе с русскоязычными документами, предназначен для полнотекстового и атрибутивного поиска не только в текстовых архивах, но и в массивах графической и видеоинформации. Система включает модуль преобразования речи в текст, который позволяет в реальном времени индексировать входной аудиопоток для дальнейшего анализа и поиска.

Интернет-библиотека СМИ Public.Ru (www.public.ru) В фондах Public.Ru более 40 млн. документов из газет, журналов, информационных агентствах, телеканалов, радиостанций и интернет-изданий, представлены все регионы России, страны СНГ и более 10 зарубежных государств. Доступ к свежим материалам центральных СМИ возможен с 9 часов утра (производится сканирование более 400 центральных зданий). предоставляет доступ к электронным архивам публикаций и тематическим обзорам русскоязычных СМИ. В рамках проекта возможны индивидуальный мониторинг, проведение специализированных аналитических исследований, автоматизированная подготовка обзоров прессы и оперативный анализ информационных потоков. Базовый поиск в системе реализован на технологиях Hummingbird Search Server.

«МЕДИАЛОГИЯ» (www.mlg.ru) Система осуществляет мониторинг более чем 24 тыс. объектов, фиксируя статистическую и аналитическую информацию из тысячи источников (центральная и региональная бумажная пресса, информационные агентства, транскрипты и оригиналы теле-, радиопередач, Интернет-источники. — система мониторинга и анализа СМИ, позволяющая проводить экспресс-анализ, предварительно обработанных по множеству параметров сообщений СМИ, и выдавать результаты в интерактивном формате в виде графиков, диаграмм, таблиц. Система использует смешанный подход к оценке входных документов база данных СМИ — часть черновой работы выполняется автоматически, тонкие оценки при индексировании документов делают специалисты.

DEVONAgent (продукт DEVON technologies, www. devon-technologies.com) DEVONAgent (интеллектуальный помощник при работе в Интернете), являясь полноценным Web-браузером, позволяет пользователям формулировать максимально сложные запросы, включая булевские операции, различные фильтры. общается с поисковиками Интернета, суммирует накопленные знания, и выдаёт только те документы, которые «действительно стоит читать».

«Текст Аналитик» совместно с блоком «Интернет-мониторинг» (от ЗАО Институт ситуационного анализа) обеспечивают пополнение внутренних информационных баз, поиск в них, сохранение результата поиска в виде аннотированных ссылок.

Web-Observer (Finport Technologies Inc., официальный дистрибьютер «Р-Техно», www.webobserver.ru) информационно-мониторинговая система, которая кроме автоматического сбора осуществляет структурирование и первичную обработку информационных сообщений, публикуемых в Интернет, а также приходящих по E-mail (электронные рассылки). В функциональность Web-Observer входят — определение тональности публикаций по отношению к интересующим объектам и формирование статистики упоминания интересующих объектов в публикациях.

Internet Analyst (ЗАО «Айкумена», www.iqmen.ru) использует технологии обучаемых программных агентов. Действуя в Интернет-сети автономно, программные агенты просеивают «гигабайты информации» (из Интернет сайтов, электронных версий СМИ, открытых баз данных), отбирают нужную, пополняют внутреннюю базу данных. Internet Analyst обеспечивает оперативный поиск во внутренней базе данных, составление аналитических отчетов.

2. Системы обработки информации.

Hummingbird Enterprise — семейство интегрированных решений, включая:

многомерный анализ данных;

интеграцию данных для создания единой системы управления корпоративной информацией;

управление знаниями;

среду коллективной работы для организации взаимодействия проектных групп и создания «виртуальных команд», включающих внешних пользователей;

средства построения запросов и отчетов по движению, исполнению и использованию документов;

универсальный сервер обмена данными, используемый для интеграции с другими информационными системами и сбора информации для бизнес-анализа.

Oracle Essbase Visual Explorer (опция для Oracle Essbase) — инструмент визуализации многомерных данных, обеспечивает анализ данных по выявлению трендов, исключений и взаимосвязей, оказывающих влияние на исследуемый объект.

Галактика-Zoom (корпорация «Галактика») может собирать информацию в режиме мониторинга из Интернет-сайтов, подключённых баз данных, проводить быстрый поиск и контент-анализ отобранной информации, уточнять «на лету» тематический рубрикатор, проводить аналитическую обработку текстовых неструктурированных документов (выделять наиболее значимые факторы, идентифицирующие объект), проводить экспресс-анализ предметных областей с выделением ключевых объектов, понятий, их связей и признаков.

Астарта (компания Cognitive Technologies, www.cognetive.ru) — экспертный рубрикатор для сбора, хранения и семантического анализа текстовых материалов (автоматическое рубрицирование и группировка, а также интеллектуальная выборка информации по заданной теме). Пополнение информационного ресурса системы производится из разнородных источников, ими могут быть бумажные периодические издания, e-газеты, Интернет ресурсы, IP каналы, ftp каналы, электронная почта.

RCO Fact Extractor (компания «Гарант-Парк-Интернет», www.rco.ru) — анализатор русскоязычных текстов. Программа выделяет, классифицирует и упорядочивает факты, например, «встречи», «договорённости», «приобретения». Результатом работы программы является таблица фактов, связанных с исследуемым объектом.

Аналитический курьер (продукт компании «АйТеко», www. i-teko.ru) предоставляет возможность аннотирования и автоматического рубрицирования документов, также позволяет автоматически определять наличие определенных тем в документе, тональности публикации по отношению к определенным объектам (лицам, организациям и др.), проводить кластерный анализ подборки документов (кластеры пронумерованы и названы ключевыми словами, выявленными из подборки), создавать и визуализировать семантические карты связей объектов, проводить частотный анализ сообщений СМИ в том числе на основе анализа контента сообщений.

КРИТ (Коллектор рассеянной информации в текстах) (разработана компанией Smartware, www.smartware.ru). Система позволяет производить мониторинг информационного пространства, выделять из текстов объекты, события и отношения между ними и представлять их в форме ассоциативной семантической сети, проводить автоматическое реферирование и рубрицирование набора документов.

TextAnalyst (НПИЦ «МикроСистемы» На рынке США программа называется Megaputer’s TextAnalyst, дистрибутор — Megaputer Intelligence, Inc., www.analyst.ru) — инструмент для анализа содержания текстов, смыслового поиска информации, формирования электронных архивов (использована нейросетевая технология обработки текстовой информации). Программа строит смысловой портрет текста (семантическую сеть) — совокупность ключевых понятий в их взаимосвязях (так, как они даны в тексте).Программа способна строить семантические деревья по отдельным статьям, создавать смысловой портрет текста на основе количества упоминаний и близости встречаемости различно значащих слов. TextAnalyst может автоматически создавать реферат, состоящий из наиболее значимых предложений текста, определять степень релевантности текста запросу или рубрики (авторубрицирование).

TopSOM (компания «Гарант-Парк-Интернет», www.metric.ru) проводит интеллектуальный поиск и тематический анализ текстовых документов. Программа TopSOM базируется на технологии нейронной сети Кохонена. Все множество документов разбивается на небольшое количество классов, схожих по содержанию документов. Эти классы отображаются на плоскость таким образом, что близкие классы соответствуют близким областям плоскости. Задача нелинейного отображения многомерного семантического пространства в пространство малой размерности решается нейросетевым алгоритмом. Такое отображение позволяет наглядно представить тематический состав большой (десятки тысяч текстов) коллекции документов в целом и помочь пользователю сориентироваться в океане информации.

IntellSoft Vision (компания IntellSoft, www.intellsoft.ru) обеспечивает интеллектуальный анализ данных, интерактивный поиск решений на базе моделирования, маневрирование ресурсами, оценку тенденций материалов СМИ, интеграцию с внешними информационными ресурсами. Решение, созданное для Министерства культуры РФ с помощью инструментария IntellSoft Vision, является надстройкой над индустриальными OLAP-хранилищами, консолидирующими информацию, поступающую от ведомственных структур и из многочисленных независимых внешних источников.

ВААЛ (www.vaal.ru) — это проект, в рамках которого созданы ВААЛ-2000 для психолингвистического исследования русскоязычных текстов и Vaal Toolbox для англоязычных источников информации. ВААЛ-2000 использует методику психоанализа — оценивается наличие в тексте слов, относимых к символике по З. Фрейду, архетипам по К. Юнгу, выражению агрессивности. Эмоционально-лексический анализ выявляет эмоциональную насыщенность прямой речи по 15 наиболее значимым для российской культуры критериям.

3. Системы моделирования и прогнозирования.

iThink Analyst (компания iSee systems www.iseesystems.com) — объектно-ориентированный пакет программ, обеспечивающий графическую, вычислительную и информационную поддержку процедурам системного анализа сложных процессов. iThink позволяет описывать модели разнообразных систем.

Pilgrim (МЭСИ, Россия) — интегрированная объектно-ориентированная система имитационного моделирования. Система использует возможности системной динамики, а также стохастического дискретного и пространственного моделирования.

Expert Choice (www. expertchoice.com) — диалоговая система, предназначенная для поддержки принятия решений в слабоструктурированных ситуациях (метод анализа иерархий Саати). Система содержит огромную библиотеку стандартных решений и визуальных возможностей для оценки значимости показателей.