Формальная постановка задачи машинного обучения

Дальнейшие рассуждения мы будем строить, предполагая, что решается задача обучения с учителем, в том числе используя соответствующую терминологию. Терминология при обучении без учителя во многом схожа и не требует дополнительных пояснений.

Дадим формальную постановку задачи машинного обучения. Пусть дано некоторое множество объектов X и для него сформировано множество ответов У, а также обучающая выборка {Лф х₂,…, x_Lj d X и множество известных ответов y_t = y'(Xj), i е [1, …, L|, где ух) — это некоторая неизвестная заранее зависимость, функция, генерирующая правильный ответ для переданного ей объекта. В этом смысле ух) — это то самое знание, которое и необходимо найти. Множество объектов относится к обучающей выборке так же, как генеральная совокупность — к выборке в математической статистике.

Для данных входных значений необходимо найти модель (или алгоритм):

где а (х) — это решающее правило (decision function)^[1] — приближение, аппроксимация у'(х) на всем множестве X. Это и есть результат индуктивного вывода, то, что позволит на новых данных получать некоторые предположения относительно ответов для них.

Объект — это сущность, представленная набором признаков. Таким образом, объект может быть представлен вектором:

Все признаки можно поделить на несколько групп, но типу их значения:

• 1) булевые, область значений которых — {0, 1};
• 2) номинальные, область значений которых — конечное подмножество N;
• 3) порядковые, представляющие собой номинальные признаки, для которых определен линейный порядок;
• 4) количественные, значение которых — вещественное число.

Примером булевого признака в задаче классификации спама может служить наличие слова «продажи» в тексте письма. Номинальный признак, без линейного порядка, задает некоторый класс, например язык текста письма — для языка заранее известно его представление в виде натурального числа, а число языков ограничено. В качестве примера порядкового признака можно привести положение слова «продажи» в тексте письма — в начале, в середине или в конце, где для каждого такого положения есть представляющее его число из множества значений, на котором определено отношение порядка «позициях ниже позиции у». Количественный признак — доля слова «продажи» в письме от общего числа слов в тексте.

Обучающая выборка, представленная в следующем виде, называется матрицей «объекты — признаки»^[2].

где L — размер обучающей выборки; п — общее число признаков в объекте. Матрица «объекты — признаки» является центральным объектом машинного обучения.

Чтобы окончательно определить задачу машинного обучения, необходимо ответить на вопрос: какими же могут быть ответы. На рис. 4.1 дана классификация возможных ответов с соответствующим названием задачи машинного обучения в зависимости от типа ответа.

Дадим определение методу обучения. Метод обучения — это отображение вида:

которое для обучающей выборки X_L = {x_ry_t) ставит в соответствие некоторый алгоритм, модель а е А. При этом А = {а (х, 0)|0Е0} — это параметрическое семейство отображений, где (c) — это множество допустимых значений параметра 9, являющегося вектором параметров модели. Именно 0 и служит вектором весов в примере с задачей классификации спама. Таким образом, метод обучения {learning algorithm) — это алгоритм, который подбирает значения параметров для заранее известного набора алгоритмов, строя таким образом модель.

Рис. 4.1. Классификация задач машинного обучения по типам ответов.

Таким образом, мы кратко рассмотрели большую часть проблем, касающихся машинного обучения, — от постановки задачи машинного обучения и выделения признаков до сведения исходной задачи к модели. К сожалению, в чистом виде задача машинного обучения и ее решение не содержат ответов на вопросы «Откуда брать признаки?» и «В каком они должны быть формате?». В следующем разделе нам предстоит рассмотреть такую важную задачу, как выбор признаков и их чистка, так как редко когда входные данные, например подвергаемые классификации, имеют удобное представление для решения этой задачи.

• [1] См.: Журавлев /О. И., Рязанов В. В., Сенько О. В. Распознавание. Математические методы. Программная система. Практические применения. М.: Фазис, 2005.
• [2] См.: Журавлев 10. И., Рязанов В. В., Сенько О. В. Распознавание. Математические методы…