Рекомендации к выбору признаков

РефератПомощь в написанииУзнать стоимостьмоей работы

Очевидно, что признаки в задаче совершенно не похожи друг на друга. Разработка признаков {feature engineering) является своего рода искусством1, которое дается после достаточно сильного погружения в задачу (т.е. в проблемную среду), а также при наличии достаточно большого опыта в решении задач машинного обучения. И все же можно дать несколько теоретических рекомендаций к выбору признаков {feature… Читать ещё >

Рекомендации к выбору признаков (реферат, курсовая, диплом, контрольная)

После того как был настроен процесс сбора и чистки данных, для задачи машинного обучения встает вопрос: какие же признаки использовать далее при составлении матрицы «объекты — признаки»? Четких рекомендаций для ответа на этот вопрос дать невозможно, так как выбор признаков сильно зависит от исходной задачи. Приведем несколько примеров задач с различными признаками для иллюстрации этой проблемы.

Определение исхода болезни пациента. Задача бинарной классификации — пациент выживет или не выживет в текущем состоянии. Объектом задачи является госпитализированный пациент.

Признаки в задаче:

1) булевые — пол, наличие головной боли, слабости, тошноты и т. д.;
2) порядковые — тяжесть состояния, желтушность и т. д.;
3) количественные: давление, температура, дозы принимаемых препаратов, содержание эритроцитов в крови, возраст.

Задача ранжирования докуметов — классическая задача, возникающая в более-менее серьезной поисковой системе. Объектом в данной задаче является пара «запрос пользователя — документ».

Признаки в задаче:

1) количественные — средняя частота появления слов запроса в документе, среднее расстояние между словами из запроса в документе, количество ссылок из других источников на данный документ;
2) булевы — источник документа является доверенным, документ пришел с агрегатора и т. п.

Очевидно, что признаки в задаче совершенно не похожи друг на друга. Разработка признаков {feature engineering) является своего рода искусством¹, которое дается после достаточно сильного погружения в задачу (т.е. в проблемную среду), а также при наличии достаточно большого опыта в решении задач машинного обучения. И все же можно дать несколько теоретических рекомендаций к выбору признаков {feature selection) — этапу, следующему за разработкой признаков:

1) признаки должны быть коррелированы с ответом в обучающей выборке. Очевидно, что если ответ никак не зависит от признака, то на основе этого признака невозможно принять какое бы то ни было решение по входному объекту в задаче;
2) признаки не должны быть функционально зависимы между собой.

Существует несколько методов, позволяющих принять решение о том, какое подмножество признаков следует оставить при решении задачи, а какое исключить. Все эти методы можно поделить на три группы: статистическая фильтрация признаков, методыобертки, встроенные методы.

Статистическая фильтрация признаков позволяет ранжировать признаки по значимости, за которую принимается величина корреляции признака и ответа в обучающей выборке. В качестве примера приведем один из таких методов: информативность признака (information gain). Данный метод связан с понятием энтропии^[1]^[2]. Формула энтропии:

где p (Xj) — вероятность того, что переменная X примет значение х_г При наличии выборки это значение считается как статистическая вероятность для данного значения, т. е. число случаев X = x_i9 разделенное на количество примеров в выборке. Как известно, энтропия характеризует степень равномерности распределения исследуемой величины. В случае с оценкой полезности признака нам необходимо оценить так называемую относительную энтропию:

где Y — это переменная-ответ в задаче. Сама же мера информационной полезности признака вычисляется как разность между энтропией У и относительной энтропией, рассчитанной по целевому признаку:

Понять смысл данного выражения совсем нетрудно — разница между соответствующими значениями энтропии (по переменной Y и относительной энтропией) будет говорить об уменьшении степени неупорядоченности (равномерности, неопределенности) переменной Y при использовании признака X. Чем больше значение IG_y тем выше корреляция между признаком и ответом. Так можно упорядочить все признаки по убыванию IG и выбросить наименее информативные.

Статистические методы легко вычислимы, и их расчет выполняется быстрей, чем во всех других методах, однако эти методы рассматривают признаки независимо друг от друга, и в случае если признаки по отдельности не коррелируют с ответом, а вместе коррелируют, статистические методы такую особенность не обнаружат.

Методы-обертки (wrapper method) лишены такого недостатка и в их основе лежит метод выделения некоторого подмножества признаков^[3], обучения модели на этом подмножестве с последующим пересчетом метрики качества получаемой модели. Существует два класса таких методов: с исключением признаков из исходного множества и с включением признаков, в котором алгоритм стартует с пустого множества признаков и постепенно добавляет новые. На каждом шаге алгоритма добавляется (или удаляется) признак, пересчитывается метрика на тестовой выборке, которая не участвует в процессе переобучения на новом наборе признаков, и в зависимости от изменения значения целевой метрики выбирается то или иное новое подмножество признаков. Очевидно, что у данного метода основной проблемой является то, что вычисления занимают много времени.

Особенность встроенных методов заключается в том, что они позволяют внедрить алгоритм выбора оптимального подмножества признаков непосредственно в алгоритм обучения модели. Базовым методом в данной группе алгоритмов выбора признаков является метод регуляризации (regularization). Суть его заключается в том, что в целевую функцию, оптимизируемую при обучении модели (см. параграф 4.3) внедряется так называемый регуляризатор — функция, независимая от объектов обучающей выборки, но зависимая от весовых коэффициентов при признаках объектов.

При оптимизации такого функционала будут по возможности автоматически минимизированы веса признаков, так что бесполезный признак может получить нулевой вес, что эквивалентно исключению его из матрицы «объекты — признаки». Например, для решения задачи линейной регрессии нам необходимо минимизировать среднеквадратичную ошибку на обучающей выборке (см. параграф 5.1). При включении регуляризации целевая функция будет выглядеть следующим образом:

где А, • | w |² — регуляризатор.

Таким образом, с вычислительной точки зрения более оптимальны встроенные методы, так как они позволяют оценить признаки непосредственно в процессе обучения модели (что мы и так делаем). Однако этот метод менее нагляден, чем все остальные.

Выбор того или иного метода отбора признаков зависит от потребностей задачи, и в каких-то случаях необходимо видеть явно лишние (или, наоборот, наиболее полезные) признаки для анализа задачи. Однако в любом случае проблема выбора оптимального набора признаков встает в любой задаче машинного обучения как с точки зрения избегания проблем переобучения (см. параграф 4.4), так и с вычислительной точки зрения — слишком большое количество признаков необходимо сначала вычислить, а затем передать их все в модель, временная трудоемкость которой как минимум линейно зависит от количества признаков.

[1] Hsiang-Fu Y. t Hung-Yi L, Hsun-Ping H. Feature Engineering and ClassifierEnsemble for KDD Cup // Proceedings of the KDD Cup 2010 Workshop. 2010.
[2] Cm.: Feature Selection Based on Information Theory Filters / W. Dush, J. Biesiada, T. Winiarski [et al. J // Neural Networks and Soft Computing / ed. byL. Rutkowski, J. Kacprzyk. Zakopane: Springer-Vcrlag, 2003.
[3] См.: Kohavi R., John G. Wrappers for Feature Subset Selection // ArtificialIntelligence. 1997. № 12.

Показать весь текст

Заполнить форму текущей работой