Экспериментальные результаты. 
Методы машинного обучения в задаче распознавания символов

Эксперименты проводились на обучающей (около 9000 символов) и тестовой (около 300 000 символов) выборках, принятых в ABBYY OCR Technologies. Все описанные результаты получены на омнифонтовых признаках (73 числовых признака), но их проверка на контурных признаках (74 числовых признака) значительных расхождений не выявила.

Способ построения дерева решений

Дерево решений может быть построено несколькими способами. Данные могут быть дискретизированы (с применением той или иной меры качества разбиения), и к ним может быть применён алгоритм C4.5 для дискретных признаков. Кроме того, может быть применена модификация C4.5 для числовых данных (подбор точки разбиения оси значений признака непосредственно в вершине). Наконец, возможен выигрыш от применения решётки формальных понятий вместо дерева решений. Поэтому перед дальнейшими экспериментами было произведено сравнение данных алгоритмов (табл. 1).

Табл. 1.

Таким образом, лучший результат достигается деревом решений, построенным напрямую по числовым признакам. Решёточный алгоритм не обеспечивает такого выигрыша, как на малых выборках [Ицкович и др., 2008], — вероятно, потому, что среди 9000 объектов сложно выявить априорные логические связи между признаками.

Деревья решений с вариантами

Используя лучший вариант дерева из предыдущего эксперимента, сравним теперь различные способы генерации вариантов.

Сразу отметим, что аппроксимация нормальным распределением результатов не даёт (уже на 2 вариантах точность падает до 80%). Причина в том, что уверенность в середине интервала зависит от ширины интервала, что приводит к немотивированным изменениям уверенности правильного варианта в широком диапазоне.

Лучшие результаты даёт применение трапецеидальной функции, а ещё лучшие — random forest. На рисунке 2 приведена зависимость процента распознанных символов от числа гипотез (для post-fuzzification это ширина фронта лучевого поиска, для random forest — число деревьев).

Рис. 2. Сравнение способов генерации гипотез

Сравнение рассматриваемых алгоритмов

Теперь сравним лучшие варианты всех рассматриваемых алгоритмов. На рисунке 3 приведены проценты символов, для которых правильная гипотеза встречается среди первых N гипотез (N — по оси абсцисс).