Сведение задачи оптимизации коэффициентов модели к задаче машинного обучения

Одним из способов оптимизации коэффициентов функции релевантности является использование обучающей выборки правильно упорядоченных предложений, связанных с некоторым запросом. Данные получаются при помощи поиска Yahoo, через поисковый API Yahoo.

В рамках модели предложенной выше, на выборке отсортированной и отфильтрованной вручную из запросов на тему налогов, было произведено обучение с использованием метода опорных векторов, в частности пакета svm_rank (часть пакета svm_light, оптимизированного для обучения по наборам упорядоченных величин).

Результаты оцениваются по следующей мере: среднее отклонение верного порядка от порядка, получаемого при сортировке по функции релевантности. Отклонения порядков считаются как расстояния тау кендала между списками, которое определяется, как отношение количества пар элементов стоящих в неверном порядке, к общему числу пар элементов списка. Расстояние, таким образом, лежит в интервале [0; 1].

Компьютерный эксперимент и обсуждение результатов

Экспериментальные расчеты производились для данных, полученных из 200 предложений (запросов и ответов в сумме), состоящих из примерно 1000 неравенств в обучающей выборке и 500 в тестовой.

Вычисления производились на персональном компьютере с процессором Intel Core 2DUO T8100 (2.1GHz) и 2Гб оперативной памяти под управлением ОС Ubuntu linux. Время, затраченное на обучение, зависело от параметров обучения и составляло от ~100 мс до ~100 с.

В таблице 1 приведены экспериментальные значения ошибок для некоторых обучающей и тестовой выборок, параметр «с» отвечает за соотношение важности ошибки обучения и зазора. Больший параметр «c» приводит к переобученности.

Ошибку следует сравнивать с ошибкой случайно упорядоченного списка, которая составляет примерно 0,5 (примерно, так как для части элементов списка функция релевантности будет совпадать, что будет считаться за неверный порядок).

Для обучающей выборки ошибка считается для тех же значений, по которым проводилось обучение.

Таблиця 1.

Используемая модель оценки сходства структур предложений позволяет среди поисковых ответов на заданный запрос частично восстановить верный порядок, отвечающий пользовательскому ранжированию релевантности ответов. Важно заметить, что ранжирование происходит среди уже отфильтрованных поисковой машиной по релевантности первых 30 отрывках документа (с удалением дубликатов), то есть среди отрывков, которые имеют большую оценку поискового движка схожести с запросом. Эта схожесть обычно выражается в наличии в отрывках документа слов запроса, в соответствии с моделью «Bag of words».