Предметно-ориентированные аналитические системы

В настоящее время на рынке представлено множество программных инструментов, включающих различные методы интеллектуального анализа данных и Data Mining. Рынок программных средств продолжает формироваться по сей день, однако в этой области уже можно выделить некоторые стандарты де-факто. Системы Data Mining применяются по трем основным направлениям: 1) как массовый продукт для бизнес-приложений; 2) как корпоративная среда для построения информационных СППР; 3) как инструменты для проведения уникальных исследований (генетика, химия, медицина и пр.). Можно предложить следующую классификацию продуктов и инструментов для ИЛД (рис. 8.2).

Рис. 8.2. Вариант классификации ПО в области ИАД.

Расширения для статистических пакетов

Последние версии почти всех известных статистических пакетов включают наряду с традиционными статистическими методами также элементы Data Mining. Но основное внимание в них уделяется все же классическим методикам — корреляционному, регрессионному, факторному анализу и др. Отметим, что современные статистические пакеты являются слишком «тяжеловесными» для массового применения аналитиками, а из-за использования пакетов на локальных рабочих станциях обработка больших объемов данных затруднена. К тому же часто эти системы весьма дороги. В качестве примеров распространенных статистических пакетов можно назвать: SAS (компания SAS Institute), IBM SPSS STATISTICS (компания IBM), STATISTICA Data Mine?' (компания Statsoft).

Автономные настольные пакеты программ для Data Mining

Это очень широкий класс программных инструментов, которые могут быть ориентированы на решение всех классов задач Data Mining или какого-либо одного, например кластеризации или классификации. Вместе с тем эти пакеты предоставляют богатые возможности в плане алгоритмов, что достаточно для решения исследовательских задач, не требуют от пользователя такого уровня квалификации, как статистические пакеты.

В последние годы динамично развивается сегмент настольных пакетов Data Mining с открытыми исходными кодами (пакет R, WEKA, KNIME, RapidMiner и др.).

Часто можно встретить программное обеспечение, которое посвящено какому-либо одному методу, например нейронным сетям. Нейронные сети — это большой класс интеллектуальных систем, архитектура которых имеет аналогию (как теперь известно, довольно слабую) с построением нервной ткани из нейронов. В одной из наиболее распространенных архитектур, многослойном перцептроне с обратным распространением ошибки, имитируется работа нейронов в составе иерархической сети, где каждый нейрон более высокого уровня соединен своими входами с выходами нейронов нижележащего слоя. На нейроны самого нижнего слоя подаются значения входных параметров, па основе которых нужно принимать какие-то решения, прогнозировать развитие ситуации и т. д. Эти значения рассматриваются как сигналы, передающиеся в следующий слой, ослабляясь или усиливаясь в зависимости от числовых значений (весов), приписываемых межнейронным связям. В результате па выходе нейрона самого верхнего слоя вырабатывается некоторое значение, которое рассматривается как ответ — реакция всей сети на введенные значения входных параметров. Для того чтобы сеть можно было применять в дальнейшем, ее прежде надо «натренировать» на полученных ранее данных, для которых известны и значения входных параметров, и правильные ответы на них. Тренировка состоит в подборе весов межнейронных связей, обеспечивающих наибольшую близость ответов сети к известным правильным ответам.

Основным недостатком нейросетевой парадигмы является необходимость иметь очень большой объем обучающей выборки. Другой существенный недостаток заключается в том, что даже натренированная нейронная сеть представляет собой черный ящик. Знания, зафиксированные как веса нескольких сотен межнейронных связей, совершенно не поддаются анализу и интерпретации человеком. В то же время нейросетевые системы хорошо себя зарекомендовали при построении систем принятия решений для финансовых рынков (пакет Neuroshell Trader компании Ward Systems).

Следующий пример — системы рассуждений на основе аналогичных случаев (CBR). Их идея на первый взгляд крайне проста. Для того чтобы сделать прогноз на будущее или выбрать правильное решение, эти системы находят в прошлом близкие аналоги наличной ситуации и выбирают тот же ответ, который был для них правильным. Поэтому этот метод еще называют методом «ближайшего соседа» (Nearest Neighbour).

Системы CBR показывают неплохие результаты в самых разнообразных задачах. Главным их минусом считают то, что они вообще не создают каких-либо моделей или правил, обобщающих предыдущий опыт, — в выборе решения они основываются на всем массиве доступных исторических данных, поэтому невозможно сказать, на основе каких конкретно факторов СВ/с-системы строят свои ответы. Примеры систем, основанных на CBR: Edgle Platform (компания Verdande Tech.), jColibri (GAIA).

Деревья и леса решений (Decision Trees, Random Forests) являются одним из наиболее популярных подходов к решению задач Data Mining, и число программ, посвященных им, также большое. Они из обучающих выборок создают иерархическую структуру классифицирующих правил типа «ЕСЛИ… ТО…» (if-then), имеющую вид дерева. Для принятия решения, к какому классу отнести некоторый объект или ситуацию, требуется ответить на вопросы, стоящие в узлах этого дерева, начиная с его корня. Вопросы имеют вид «значение параметра А больше х?» . Если ответ положительный, осуществляется переход к правому узлу следующего уровня, если отрицательный — то к левому узлу; затем снова следует вопрос, связанный с соответствующим узлом.

Популярность подхода связана с наглядностью и интерпретируемостью. Сегодня разработано множество модификаций базового алгоритма деревьев решений, которые позволяют эффективно и с высокой предсказательной способностью решать задачи классификации и регрессии. Самыми известным и функциональным пакетом является Salford Predictive Miner (компания Salford Systems).

Алгоритмы ограниченного перебора были предложены в середине 1960;х гг. М. М. Бонгардом для поиска логических закономерностей в данных. С тех пор они продемонстрировали свою эффективность при решении множества задач из самых различных областей. Эти алгоритмы вычисляют частоты комбинаций простых логических событий в подгруппах данных. Примеры простых логических событий: X = а; X < а; X а; а < X < b и др., где X — какой либо параметр, а и b — константы. Ограничением служит длина комбинации простых логических событий (у М. Бонгарда она была равна 3). На основании анализа вычисленных частот делается заключение о полезности той или иной комбинации для установления ассоциации в данных, для классификации, прогнозирования и пр.

Наиболее ярким современным представителем этого подхода являются системы WizWhy, WizRule и WizSame компании WizSoft. Хотя разработчики этих систем не раскрывают специфик их алгоритмов, по результатам тщательного тестирования системы были сделаны выводы о наличии здесь ограниченного перебора (изучались результаты, зависимости времени их получения от числа анализируемых параметров и др.).