Проблемы создания метапоисковых систем

Объединить достоинства нескольких поисковых систем позволяют метапоисковые системы. Как правило, эти системы не имеют собственных индексных баз данных, поэтому перенаправляют запросы пользователей другим поисковым системам, в том числе метапоисковым. Такого рода системы решают следующие задачи:

обработка запроса пользователя с целью приведения его к соответствующей для поисковых систем форме. При этом возможно как приведение запроса к нормальной морфологической форме, так расширение запроса, путем добавления к нему наиболее распространенных морфологических форм термов запроса;

отправка запросов в различные поисковые системы. В этом случае пользователю предлагается задать поисковую стратегию, т. е. указать, в каких поисковых системах, по его мнению, наиболее вероятно обнаружение релевантных документов.

обработка результатов поиска и приведение их к единому виду; многие системы на данном этапе осуществляют фильтрацию полученных ссылок на документы, отсеивая те из них, которые пользователь считает нежелательными;

кластеризация документов. Некоторые поисковые системы производят разбиение документов на группы на основе их содержания;

ранжирование итогового списка документов и предоставление его пользователю.

Каждая поисковая система выдает список найденных документов, отсортированный в порядке убывания релевантности. Списки документов, полученные от различных поисковых систем, могут пересекаться, поскольку некоторый документ может быть найден одновременно несколькими системами, и наиболее важная задача метапоисковой системы — объединение этих списков и сортировка их по релевантности. Релевантность при этом может оцениваться либо путем анализа документов и присвоения рангов пользователем, либо на основе рангов, присвоенных данному документу в исходных поисковых системах.

В случае оценки на основе ранжирования поисковых систем возможно как прямое суммирование рангов, так и их взвешивание в зависимости от ранга самой поисковой системы. Ранг поисковой системы может также оцениваться: самим пользователем, экспертами (несколькими наиболее квалифицированными пользователями), путем анализа оценок большого количества пользователей. Например, в поисковой системе Nigma для ранжирования документов применяется нейронная сеть, обученная на основе оценок работы поисковых машин группой экспертов.

Однако интересы каждого пользователя индивидуальны. Существует группа пользователей, которых интересует специфическая информация, представленная только в узкоспециализированных поисковых системах. При оценке ранга такой системой на основе усреднения оценок различных пользователей полученные документы окажутся в конце списка и могут быть не проанализированы. Поэтому необходима разработка метапоисковой системы, ориентированной на пользователя, которая позволит ему самостоятельно оценить ранг каждой из поисковых систем.

К сожалению, большинство пользователей не обладают достаточной квалификацией для правильного распределения рангов поисковых систем. Как правило, заранее неизвестно, какая из поисковых систем окажется более эффективной для конкретного запроса. Кроме того, даже у одного пользователя круг интересов со временем может значительно меняться. Поэтому целесообразно применение адаптивной системы, которая на основе пользовательской оценки полученных документов будет изменять ранг поисковых систем. Если пользователь оценивает документ как релевантный, то ранг всех поисковых систем, которые его предоставили, должен быть увеличен; если документ оценен как нерелевантный, поисковые системы, которые его нашли, штрафуются. В настоящее время наиболее перспективным подходом к созданию адаптивных интеллектуальных систем является использование нейросетевой технологии и генетических алгоритмов.

Исследование нейросетевых и гибридных технологий для создания адаптивной метапоисковой системы Синтез нейронной сети для решения конкретных задач является сложной процедурой и определяется такими критериями, как точность решения, количество ошибок классификации, время обучения, время классификации и т. д. В процессе синтеза сети необходимо выбрать тип сети, архитектуру (топологию), алгоритм обучения и другие параметры, влияющие на значение критерия. В результате синтеза должна быть сформирована НС, обладающая заданными свойствами и позволяющая решать поставленную задачу. Главными проблемами синтеза НС являются следующие:

отсутствие формальных методов выбора типа НС, адекватной решаемому классу задач;

слабая проработка вопросов, связанных с автоматическим формированием топологии НС, что во многих случаях не позволяет создавать НС минимальной сложности;

недостаточная обоснованность выбора методов оптимизации в процедуре обучения НС, что приводит к большим ошибкам прогноза.

В результате создаваемые НС не всегда отвечают предъявляемым к ним требованиям. Необходимо исследовать различные методы оптимизации в процедуре обучения НС, от характеристик и свойств которых зависит качество адаптации НС к прикладной решаемой задаче.

Наиболее известным методом обучения многослойных персептронов (МНС) является Back Propagation (BP), обладающий рядом недостатков: медленной скоростью сходимости, возможностью блокировки сети, нахождением обычно локального, а не глобального экстремума функции ошибки сети E_О и др. В стандартном варианте реализации BP используется алгоритм оптимизации на основе градиентного спуска. Для повышения скорости и точности обучения МНС целесообразно рассмотреть и исследовать другие градиентные методы оптимизации, а также комбинированные методы, дающие лучшие результаты.

Наиболее широко используемыми методами локальной оптимизации являются методы Дэвидона — Флетчера — Пауэлла (Davidon, Fletcher, Pauel — DFP) и Бройдена — Флетчера — Гольдфарба — Шанно (Broyden,, Goldfarb, Shanno — BFGS). Основное достоинство рассматриваемых методов — устойчивость получаемых результатов Экспериментальное исследование рассмотренных градиентных алгоритмов проводилось на достаточно представительном наборе тестовых функций (минимум которых известен), характеризующихся различной размерностью, количеством экстремумов, а также сложностью ландшафта изменений значений функций. Сравнение эффективности исследуемых алгоритмов выполнялось по двум показателям: сходимости (соотношению количества схождений к глобальному и к локальным минимумам) и вычислительной сложности (количеству вычислений значений оптимизируемой функции). В качестве тестовых функций использовались функции Роджерса, Жилинскаса, Химмельблау, Розенброка [Гилл, Мюррей., Райт, 1985]. Результаты экспериментов представлены в табл1.

Анализ полученных результатов позволяет сделать вывод, что наилучшим по совокупности показателей сходимости и вычислительной сложности является оптимизация на основе Девидона-Флетчера-Пауэлла.

Табл. 1.

Именно этот метод был положен в основу алгоритма обучения МНС в метапоисковой системе. Для выбора топологии МНС использовался модифицированный конструктивный метод динамического наращивания узлов, предложенный в [Ash, 1989].

Ниже приводятся результаты экспериментов с НС, используемой в качестве адаптивного блока в разработанной метапоисковой системе, способной перенаправлять поисковые запросы пользователей в следующие известные поисковые системы: Яндекс, Рамблер. Google, Mail.ru, Yahoo, Апорт, MSN, Altaviststa. В экспериментах участвовали 8 независимых пользователей из различных областей бизнеса.

Параметры МНС: топология: 4-х слойный персептрон (13−20−8); обучение: метод DFP в процедуре BP; коэффициент обучаемости: 0.35; логистическая функция: суммирование; активационная функция: сигмоидная.

Входами сети являются: ранги поисковых систем, установленные пользователем — 8; количество термов в запросе; количество символов в запросе; время суток; время обработки последнего запроса. Выход — ранги поисковых систем Нейронная сеть обрабатывает входные данные и выдает обобщенные для данного пользователя оценки ранга поисковых систем. На основе рангов, которые документ имел в обнаружившей его поисковой системе, и ранга самой поисковой системы вычисляется ранг документа в итоговом списке. Если документ был найден несколькими поисковыми системами, то ранги, полученные от каждой из них, суммируются. Пользователь производит анализ документов и оценивает их релевантность по 10-бальной шкале. С учетом оценок пользователей и ранга систем осуществляется формирование обучающей выборки для нейронной сети, на основе которой обучается НС.

Табл. 2.

В таблице 2 приведены итоговые распределения рангов поисковых систем для группы пользователей. Из результатов видно, что в результате обучения нейронная сеть адаптируется к предпочтениям отдельных пользователей и системы, которые чаще других находят релевантные документы, имеют больший ранг, а системы, не предоставляющие оцененных документов или предоставляющие нерелевантные — меньший. Отдельные системы (Яндекс и Google) были эффективны для большинства пользователей. А такие системы, как MSN, Yahoo система оценила как неудобные, возможно это связано со слабой ориентацией данных систем на русскоязычную часть Интернета.

Современные поисковые машины, как правило, имеют функциональные возможности для дополнительной фильтрации результатов запроса в виде web интерфейса расширенного поиска или языка запросов. Однако количество пользователей, которые знают о таких возможностях и умеют ими пользоваться, крайне мало.

В связи с этим встает вопрос о создании автоматизированной системы, позволяющей проверить различные варианты настроек фильтров поисковых машин, и, в зависимости от предпочтений пользователя, выбрать их оптимальное сочетание. Для проведения экспериментов была разработана система, позволяющая применять к запросу пользователя различные варианты операторов языка запросов поисковой системы Яндекс. Система позволяет проводить пользовательскую оценку релевантности документов, полученных с помощью различных операторов. В зависимости от суммы оценок документов, полученных с помощью фильтра, для него вычисляется коэффициент эффективности. Для хранения коэффициентов эффективности применяется нейронная сеть, что позволяет их адаптивно подстраивать, учитывая результаты не только текущего, но и серии предыдущих запросов. При поиске следующего документа ранг найденного документа будет зависеть от коэффициентов эффективности операторов, с помощью которых он был найден.

Для реализации алгоритма настройки фильтра необходимо более строго подойти к решению проблемы обучения НС, поскольку величина ошибки распознавания в значительной степени определяет эффективность работы системы. Целесообразно исследовать алгоритмы обучения НС с использованием методов глобального поиска минимума ошибки обучения на основе генетических алгоритмов (ГА). Исследования, проведенные в [Комарцова, Максимов, 2004], [Комарцова, Воеводин, 2005], показали, что ГА обладает способностью быстро локализовать зону существования экстремума, но не позволяет получить точное решение с высокой вероятностью. Поэтому целесообразно проводить оптимизацию в два этапа. На первом с помощью генетического алгоритма находится точка, лежащая в окрестности глобального минимума, а на втором из этой точки производится оптимизация одним из градиентных методов для получения уточненных значений экстремума.

Экспериментальное исследование двухэтапного алгоритма оптимизации осуществлялось на тех же тестовых функциях, что и алгоритмы BFGS и DFP. Результаты представлены в таблице 3.

Табл. 3.

Анализ полученных результатов позволяет сделать вывод, что наилучшим по совокупности показателей сходимости и вычислительной сложности является оптимизация на основе генетического алгоритма на первом этапе и методом Девидона-Флетчера-Пауэлла на втором. Этот метод был использован для обучения МНС в автоматизированной метапоисковой системе.

Параметры нейронной сети: топология: персептрон (10−15−10слоев); обучение: последовательный генетический алгоритм; логистическая функция-суммирование; активационная функция: сигмоидная. Параметры генетического алгоритма: размер популяции- 4000; кросинговермноготочечный; процент скрещивание: 10%; процент мутации: 10%. Функция фитнеса: среднеквадратичное отклонение вектора оценок пользователей для различных фильтров и вектора выходных значений персептрона. Результаты эксперимента представлены в таблице 4.

Табл.4.

В таблице приведены значения коэффициентов эффективности для различных операторов, полученные на тестовой группе из 8-ми пользователей. Начальные весовые коэффициенты нейронной сети были заданы случайным образом, вследствие этого рассчитанные на их основе исходные коэффициенты эффективности были равны 10%. На основе приведенных данных видно, что после обработки достаточного количества запросов нейронная сеть обучается и становится способна компенсировать возможные ошибки пользователей в выборе эффективных поисковых операторов.

Настройки обученной нейронной сети являются индивидуальными для каждого пользователя и ориентированы на его уровень квалификации и предпочтения. Однако сравнение итоговых настроек полученных различными пользователями позволяет выявить тенденцию ориентации всех пользователей на определенные типы операторов. Например, эффективность таких операторов, как «Не исключая стоп-слова», «В тексте ссылок», «В заголовке», «Любое из слов» большинством пользователей была оценена низко. С другой стороны, такие операторы, как «Слова идут подряд», «Слова в одном предложении», «Только на русском языке» были популярны у большинства пользователей.

Проведенное исследование показало, что предложенный подход к поиску релевантной информации в сети Интернет на основе нейросетевых технологий является эффективным не только для адаптивной подстройки рангов поисковых систем, но и для адаптивной автоматизации настроек поисковых запросов с учетом предпочтений пользователей. Это позволяет сократить время поиска необходимой информации и повысить уровень сервисного обслуживания пользователя.