Теоретическая информация. 
Применение методов интеллектуального анализа данных для решения задач классификации в программной среде RapidMainer

Задачи Data Mining:

Для практического изучения технологий интеллектуального анализа данных необходимо выбрать задачи для решения. Data Mining занимается решением следующих типов задач:

Классификация. Наиболее простая и распространённая задача Data Mining. В результате решения задачи классификации обнаруживаются признаки, которые характеризуют группы объектов исследуемого набор данных — классы; по этим признакам объект можно отнести к тому или иному классу;

Кластеризация. Особенность заключается в том, что классы объекта изначально не предопределены. Результатом кластеризации является разбиение объектов на группы;

Ассоциация. В ходе решения задачи поиска ассоциативных правил отыскиваются закономерности между связанными событиями в наборе данных. Отличие ассоциации заключается в том, что поиск закономерностей осуществляется не на основе свойств анализируемого объекта, а между несколькими событиями, которые происходят одновременно;

Последовательность (последовательная ассоциация). Позволяет найти временные закономерности между транзакциями. Задача последовательности подобна ассоциации, но её целью является установления закономерностей не между одновременно наступающими событиями, а между событиями, связанными во времени. Правило последовательности: после события X через определённое время произойдёт событие Y;

Прогнозирование. В результате решения задачи прогнозирования на основе особенностей исторических данных оцениваются пропущенные или же будущие значения целевых численных показателей;

Определение отклонений или выбросов. Цель решение данной задачи — обнаружение и анализ данных, наиболее отличающихся от общего множества данных, выявление так называемых нехарактерных шаблонов;

Оценивание. Задача оценивания сводится к предсказанию непрерывных значений признака;

Анализ связей. Задача нахождения зависимостей в наборе данных;

Визуализация. В результате визуализации создается графический образ анализируемых данных. Для решения задачи визуализации используются графические методы, показывающие наличие закономерностей в данных. [1, стр. 1].

После ознакомления была выбрана задача классификации, которая представляется тремя базами данных:

Проверка подлинности банкнот (Banknote authentication Data Set);

Обнаружение кишечной палочки (Ecoli Data Set);

Определение типа вина (Wine Quality).

Технологии Data Mining:

В программной системе Rapidminer реализовано большое количество технологий, при помощи которых можно достаточно эффективно решать задачи Data Mining. Ниже приведены основные из них:

искусственные нейронные сети;

деревья решений, символьные правила;

методы ближайшего соседа и k-ближайшего соседа;

метод опорных векторов;

байесовские сети;

линейная регрессия;

корреляционно-регрессионный анализ;

иерархические методы кластерного анализа;

неиерархические методы кластерного анализа, в том числе алгоритмы k-средних и k-медианы;

методы поиска ассоциативных правил, в том числе алгоритм Apriori;

метод ограниченного перебора;

эволюционное программирование и генетические алгоритмы;

разнообразные методы визуализации данных и множество других методов. [2, стр. 1].

Из всего многообразия методов и алгоритмов необходимо выбрать пять для более детального изучения и применения на практике:

искусственные нейронные сети — метод, который позволяет за счет нелинейности решать задачи большой размерности (часто справляется с ними даже быстрее, чем с задачами малой размерности);

метод k-ближайших соседей — метрической метод классификации, в основе которого лежит оценивание сходства объектов классификации. Позволяет классифицировать новые объекты, основываясь на уже имеющихся данных;

деревья принятия решений — метод, позволяющий принимать решения на основании правил, представленных в виде иерархической структуры;

наивный байесовский классификатор — метод, в основе которого лежит теорема Байеса. Способен хорошо обучаться в зависимости от природы вероятностной модели;

линейная регрессия — метод, позволяющий найти решение в виде линейной комбинации значений признаков. [3].

Rapidminer:

Программная система Rapidminer [4] позволяет проводить интеллектуальный анализ данных при помощи встроенных операторов, которые составляются в необходимом порядке в схему, у них настраиваются параметры и производится запуск алгоритма, полученного в схеме.

Основные операторы:

Оператор Read CSV. Используется для считывания данных из файла формата .csv.

Оператор Replace Missing Values. Этот оператор заменяет пропущенные значения в примерах выбранных атрибутов по заданной замене.

Оператор Normalize. Этот оператор нормализует значения выборки.

Оператор Apply Model. Этот оператор применяет уже изученную или обученную модель на типовом наборе данных.

Оператор Performance (Classification). Этот оператор используется для статистической оценки эффективности задач классификации Оператор Multiply. Этот оператор копирует его входной объект ко всем связанным выходным портам.

Оператор Optimize Parameters (Evolutionary). Этот оператор находит оптимальные значения выбранных параметров операторов в подпроцессе. Использует эволюционный подход вычисления.

Оператор Set Parameters. Этот оператор применяет набор параметров для указанных операторов Оператор Neural Net. Этот оператор изучает модель посредством прямого канала нейронной сети, обученной алгоритмом обратного распространения (многоуровневый персептрон).

Оператор K-NN. Этот оператор создает модель K-NN из входного типового набора. Эта модель может быть моделью классификации или регрессии в зависимости от входного типового набора.

Оператор Decision Tree. Генерирует дерево решений для классификации, номинальных и числовых данных.

Оператор Naive Bayes. Этот оператор производит наивную модель классификации Бейеса.

Оператор T-Test. Этот оператор используется для сравнения исполнительных векторов. T-тест оператор определяет, истинна ли нулевая гипотеза (все фактические средние значения совпадают) для данных исполнительных векторов.

Оператор Write Model. Этот оператор записывает модель в файл.

Оператор Split Data. Этот оператор производит необходимое количество подмножеств данного типового набора Оператор Subprocess. Этот оператор вводит подпроцесс в рамках процесса.

Оператор X-Validation. Этот оператор выполняет кросс-проверки для оценки статистической характеристики оператора обучения. [5].