Введение. 
Метапоисковые системы

Во Всемирной Сети, содержится постоянно растущий огромный объем динамически изменяющейся информации, для того, чтобы как-то упорядочить этот непрерывный поток данных, были созданы поисковые системы (ПС). К сожалению, пока ни одна из подобных систем не может в одиночку охватить все бесконечные ресурсы интернета, тем более даже алгоритмы поиска в уже проиндексированных документах у различных ПС существенно различаются. Для решения данной проблемы и расширения возможностей поиска за счет агрегирования результатов поиска лучших ПС были созданы системы, названные метапоисковыми.

Метапоисковые системы

Метапоисковая система — это поисковый инструмент, посылающий ваш запрос одновременно на несколько поисковых систем, каталогов и иногда, в так называемую невидимую (скрытую) паутину — собрание онлайновой информации, не проиндексированной традиционными поисковыми системами. Собрав результаты, метапоисковая система удаляет дублированные ссылки и, в соответствии со своим алгоритмом, объединяет/ранжирует результаты в общем списке.

Каждая поисковая система имеет только свое собственное, ограниченное ее ресурсами, множество документов, которые доступны для поиска. Ни одна из подобных систем не сможет охватить всех ресурсов Интернета, поэтому в любой момент может возникнуть ситуация, когда информационные потребности пользователя не смогут быть удовлетворены. Как правило, в этом случае пользователь пытается воспользоваться другой поисковой системой, третьей, четвертой и т. д.

Для решения данной проблемы и расширения возможностей поиска, были созданы системы, называемые метапоисковыми (metasearch engines). Они не имеют собственных поисковых баз данных, не содержат никаких индексов и при поиске используют ресурсы других поисковых систем. За счет этого вероятность нахождения нужной информации возрастает.

При проектировании метапоисковой системы необходимо решить ряд проблем.

Во-первых, к каким ИПС будет переадресовываться запрос пользователя? Этот список может быть фиксирован жестко или же право выбора нужных систем из списка может быть предоставлено пользователю. Такой подход позволяет уменьшить используемые вычислительные ресурсы метапоискового сервера, не перегружая его слишком большим объемом ненужной информации. В любой системе метапоиска наиболее узким местом в основном является пропускная способность канала передачи данных, так как обработка страниц с результатами поиска, полученными от нескольких десятков поисковых серверов не является слишком трудоемкой операцией, потому что затраты времени на обработку информации на порядки меньше времени прихода страниц, запрошенных у разных поисковых серверов. Как примеры систем, имеющих подобную организацию, можно назвать Internet Sleuth, Profusion, Ixquick, SawySearch, MetaPing³⁸. Также проектируются ИПС с возможностью автоматического выбора тех поисковых систем, в которых следует проводить поиск.

В некоторых метапоисковых системах существует возможность выбора категории интересующей информации с последующим выбором поисковых систем по заданной категории. Иными словами, система помогает отыскать лучшие по профилю поисковые системы. Этот режим позволяет избежать неудачных попыток обращения к тем системам, которые не располагают полезными сведениями.

Следует упомянуть, что существуют особо «дружелюбные» пользователю метапоисковые системы, которые сами предлагают поисковый HTML-код, который можно скопировать и вставить на свою веб-страницу для выполнения метапоиска прямо с нее.

Во-вторых, в каком виде будут предоставляться результаты поиска? Здесь различают два основных типа систем: синтегрированными результатами поиска и с объединенными результатами. В первом случае пользователь получает единую сводную выдачу (иногда, с возможностью сортировки по тому или иному критерию — так, система MetaCrawler упорядочивает результаты поиска или по релевантности, или по сайтам, или по системам, от которых получены результаты). Подобно MetaCrawler, Profusion, метапоисковая система Канзасского университета, позволяет вести поиск через несколько крупных поисковых систем (из которых можно выбрать только интересующие пользователя), результаты поиска также объединяются, устраняются повторы и подсчитывается коэффициент релевантности. Дополнительная возможность данного сайта — персонализованная служба поиска, в которой можно зарегистрировать свои регулярно повторяющиеся запросы с тем, чтобы Profusion периодически производила по ним поиск и сообщала, если будут получены новые результаты.

В 2001 г. обратила на себя внимание система Vivissimo, которая классифицирует документы, найденные одной из девяти поисковых систем (среди них Alta Vista, Google, Fast, Lycos, каталог Open Directory и новостные сайты Altavista News и CNN). Найденные результаты (можно задать ограничение объема выдачи в 100,200 или 300 документов) раскладываются по каталогам (папкам), которые видны на левой панели окна броузера. В правой части показываются адреса найденных документов. Раскрыв нужную папку, мы увидим новые папки или отдельные документы. Выбранный документ будет показан в правой части экрана.

Второй тип систем выдает результаты отдельно по каждой системе, с помощью которой они были получены (например, All4One, SuperSearch).

Далее, существует проблема унификации критериев вычисления релевантности. Как правило, критерии смыслового соответствия и способы вычисления релевантности отличаются в разных системах. В большинстве метапоисковых систем анализ полученных описаний документов не производится, что может поставить нерелевантные документы, идущие первыми в одной поисковой системе, выше релевантных в другой, что существенно понизит качество самого поиска.

Еще одна проблема — возможности языков запросов метапоисковых систем. Обычно они предельно упрощены. Но в этом случае возможности промежуточных систем с развитыми языками запросов будут использоваться плохо. С другой стороны, усложнение языка запросов метапоисковых систем не позволит адекватно транслировать запрос в разные системы.

При всей привлекательности пользования метапоисковыми системами следует помнить и об их недостатках. Отсутствие единого для всех поисковых систем стандарта языка запросов не позволяет несовершенным пока еще метапоисковым системам добиваться от поисковых систем, включенных в их список, такого же результата, какого может добиться опытный пользователь при работе с каждой системой по отдельности. Иными словами, пользователь, который работает, например, с ИПС Google, теоретически может получить документы из всего объема базы данных этой системы, пользователь же, который работает с метасистемой, передающей запросы в Google, не располагает всеми возможностями доступа к документам Google, и чем проще язык метасистемы, тем ниже возможности получить максимальный объем информации. «К сожалению, для предметного и тонкого поиска метасистемы пока еще плохо применимы.

Проблема заключается в том, что язык запросов меташлюза располагает лишь самыми общими для большинства ИПС и поэтому крайне скромными возможностями. Появление проекта стандарта поисковых систем SESP в этом отношении откроет новые перспективы в развитии метасистем, поскольку стандартизация ИПС существенно расширит возможности шлюзования".

Чаще всего, работая с несколькими ИПС, метапоисковые системы оказываются неспособными правильно обработать полученные результаты. Общий или разделенный массив документов может содержать одни и те же источники, одни и те же ссылки; на первое место могут выдвинуться отнюдь не релевантные документы, нужные же вполне рискуют оказаться отодвинутыми на задний план и остаться не прочтенными пользователем. Правда, эти недостатки встречаются и у обычных вербальных ИПС.