Методы классификации. 
Параллельный конкорданс: поиск и ранжирование переводных контекстов для иллюстрации переводов

Несмотря на детальную разметку обучающей выборки, были произведены эксперименты с бинарной классификаций методом случайного леса и с помощью нейронной сети прямого распространения с одним скрытым слоем. Для предсказания оценки от 1 до 5 использовался набор бинарных классификаторов (также основанных на методе случайного леса). Рассмотрим указанные методы классификации подробнее.

Случайный лес (Random forest).

Метод случайного леса — алгоритм машинного обучения, предложенный в [Breiman 2001]. Классификатор представляет собой ансамбль решающих деревьев (отсюда и название). Алгоритм классификации таков:

1. Построим некоторое количество решающих деревьев следующим образом.

a. Сгенерируем случайную подвыборку с повторами размера исходной выборки.

b. Построим решающее дерево, классифицирующее примеры данной подвыборки, причём при создании нового узла дерева будем выбирать признак, на основе которого производится разбиение, не из всех признаков, а лишь из случайно выбранных. Выбор наилучшего из этих признаков может осуществляться различными способами. В оригинальной статье используется критерий Джини, применяющийся также в алгоритме построения решающих деревьев CART — это мера, которая показывает, насколько часто случайный элемент из множества будет помечен неправильно, если следовать распределению классов в подмножестве элементов. Она вычисляется как сумма произведений вероятности выбора каждого элемента на вероятность ошибки при его классификации. Для элементов мера Джини вычисляется следующим образом при условии, что — доля элементов, размеченных как i-ый элемент множества:

c. Построение прекращается, когда заканчиваются элементы подвыборки.

• 2. Классификация каждого элемента производится затем с учётом решений всех деревьев: выбирается тот класс, к которому элемент относит большинство.
• 3. Количество деревьев определяется таким образом, чтобы минимизировать ошибку классификатора на тестовой выборке.

Одним из важных свойств метода случайного леса является возможность оценки значимости каждого признака. Для этого каждому элементу на этапе построения решающих деревьев приписывается так называемая ошибка out-of-bag: средняя вероятность ошибки на данном элементе, если не учитывать деревья, в которые входит данный элемент. Затем на всём тренировочном наборе перемешиваются (меняются по элементам) значения признака, который оценивается. Значимостью параметра будет среднее значение разности ошибки out-of-bag по всем элементам набора до и после перемешивания.

Возможность оценки вероятной ошибки с использованием только обучающего набора (out-of-bag) — одно из основных достоинств метода случайного леса. Можно также упомянуть нечувствительность к масштабированию значений признаков, возможность одновременной работы с дискретными и непрерывными значениями без потери в качестве.

В нашей работе использовались параметры из оригинальной статьи Бреймана (критерий Джини, оценка с помощью out-of-bag) в реализации библиотеки scikit-learn (http://scikit-learn.org, [Pedregosa и др. 2011]).

Нейронная сеть прямого распространения.

Искусственные нейронные сети изначально создавались как модель биологической нервной системы. Именно поэтому в этой области многие термины заимствованы из нейрофизиологии. Основной единицей этой модели является нейрон, состоящий из следующих частей:

· определённое количество входных сигналов;

• · сумматор, складывающий входные сигналы с определенными весами в значение ;
• · сеть синапсов (связей) соединяющая входные сигналы с сумматором, при этом у каждого ребра-синапса есть вес;

· функция активации, преобразующая результат суммирования в выходной сигнал — обычно в диапазоне ;

Обычно используются следующие функции активации:

· пороговая функция (модель Мак-Каллока — Питца).

· кусочно-линейная функция.

· сигмоидальная функция.

где — параметр наклона.

Множество таких нейронов составляет слой нейронной сети. Самая простая сеть будет состоять из трёх слоёв нейронов: входного, скрытого и выходного. Для входного и выходного слоя известны некоторые параметры: какой сигнал подаётся на вход и какой оказывается на выходе. В скрытом слое, как следует из названия, производятся неявные преобразования сигналов. Многослойные сети позволяют находить более сложные зависимости, особенно когда размер входного слоя достаточно велик.

Архитектура нейронной сети предполагает возможность обратной связи, когда выходной сигнал оказывает влияние на новый входной. В зависимости от наличия в сети обратной связи выделяют сети прямого распространения и рекуррентные сети. В первых информация из входного слоя передаётся на выходной слой нейронов; в случае многослойной сети — через один или несколько слоёв скрытых нейронов. Рекуррентные нейронные сети отличает наличие хотя бы одной обратной связи.

Математическая модель нейронной сети может применяться в обучении как с учителем, так и без него. Одним из наиболее распространённых алгоритмов обучения сети является метод обратного распространения ошибки. Он позволяет вычислить синаптические веса (веса связей) таким образом, что значение функции потерь (величина ошибки) стабилизируется и становится достаточно небольшим. При этом каждый новый обучающий пример вносит свой вклад в изменение весов, когда на каждом этапе выходное значение сравнивается с желаемым, и веса пересчитываются в обратном направлении — от выходного слоя к входному.

В экспериментах использовалась сеть прямого распространения с одним скрытым слоем. Такое решение было принято, с одной стороны, чтобы сократить вычислительные затраты, а с другой, поскольку множество признаков, которыми описываются входные данные, сравнительно невелико. Размер скрытого слоя составляет 10 элементов, а максимальное количество итераций — 150 (если сходимость не достигается раньше). Параметры были подобраны эмпирически для достижения наилучших показателей качества.

Оценка мультиклассификации.

Оценка примеров с использованием пятибалльной шкалы полезна, когда необходимо выделить наиболее релевантные примеры. Однако, классификация на более чем два класса — довольно сложная задача для одного классификатора. Поэтому были объединены бинарные классификаторы на основе метода случайного леса для каждого класса. Кроме того, при обучении каждого из них из обучающего набора удалялись примеры с ближайшей оценкой: например, при обучении классификатора, определяющего принадлежность примера к 5 классу, из выборки удалялись примеры с оценкой 4. При предсказании оценки на тестовом наборе выбиралась оценка, соответствующая классификатору с наибольшим значением. Кроме того, вычислялась надёжность такой оценки по формуле:

где — предсказание i-го классификатора.