Метапоисковые системы: понятие, назначение, механизм работы, обзор и сравнение существующих систем

Мета-поисковая система (также называемая метакраулером или мульти-поточной системой) — это поисковый инструмент, посылающий ваш запрос одновременно на несколько поисковых систем (ПС), каталогов и, иногда, в так называемую невидимую (скрытую) паутину — собрание онлайновой информации, не проиндексированной традиционными поисковыми системами.

Мета-поисковая система (МПС) удаляет дублированные ссылки и, в соответствии со своим алгоритмом, объединяет/ранжирует результаты в общем списке.

МПС бывают четырех видов:

• — «Реальные» МПС, которые объединяют/ранжируют результаты на одной странице
• — «Псевдо» МПС первого типа, которые группируют результаты по поисковым системам на одной длинной странице
• — «Псевдо» МПС второго типа, которые открывают для каждой используемой поисковой системы новое окно
• — Поисковые утилиты — программные поисковые средства
• 1. «Реальные» МПС

Эти «реальные» МПС одновременно производят поиск в основных поисковых системах, обобщают результаты, удаляют дублированные ссылки и представляют наиболее подходящие результаты, в соответствии с алгоритмом.

Универсальная служба поиска (поисковая система) — это комплекс программ и мощных компьютеров, выполняющий следующие функции:

Специальная программа (поисковый робот, паук, spider, crawler, bot) непрерывно просматривает страницы WWW, выбирает ключевые слова и составляет базу данных индексов. В эту базу включаются ключевые слова и адреса документов, в которых эти слова обнаружены (напомним, что индекс — это упорядоченный по ключевым словам набор указателей).

Web-сервер принимает от пользователя запрос на поиск, преобразует его и передает специальной программе — поисковой машине.

Поисковая машина просматривает базу данных индексов, составляет список страниц, удовлетворяющих условиям запроса (точнее, список ссылок на эти страницы) и возвращает его Web-серверу.

Web-сервер оформляет результаты выполнения запроса в удобном для пользователя виде и передает их на машину клиента.

Среди наиболее известных и мощных поисковых систем: Alta Vista (www.altavista.com), Infoseek (www.infoseek.com), Lycos (www.lycos.com), российская система Рамблер (www.rambler.ru) и другие.

Специализированные справочные службы (классификаторы) — это тематические каталоги (subject catalogs), в которых собраны более или менее структурированные сведения об адресах серверов по той или иной тематике. В отличие от универсальных баз индексов, тематические каталоги составляются специалистами и обеспечивают клиента более строгой, достоверной и систематизированной информацией о Сети. В классификаторах используется иерархическая (древовидная) организация информации. Это дает пользователю возможность вести просмотр, перемещаясь по иерархии тематических рубрик, и, постепенно сужая поле поиска до необходимых размеров.

Кроме того, многие сайты Internet располагают собственными механизмами поиска (в пределах данного сайта). В первую очередь это механизм контекстного поиска, а также специализированный поиск по фамилиям (например, персоны компьютерного бизнеса), товарам (на рекламных сайтах), фирмам и т. д.

С точки зрения методологии стратегия работы современных поисковых серверов базируется на трех основных подходах:

• — создание Web-индексов (Web indexes),
• — создание каталогов (Web directories),
• — «гибридный» метод, сочетающий в той или иной степени два первых подхода.

Кроме того, существует ряд дополнительных подходов к классификации информации: онлайновые справочники, системы на CD-ROM, различные желтые и белые страницы Internet и т. д.

Единой оптимальной схемы поиска в Internet не существует. В зависимости от специфики необходимой вам информации, для ее поиска вы должны использовать соответствующие поисковые службы. В принципе, конечно, можно всегда пользовать какой-нибудь одной поисковой системой, например Rambler, но чем грамотнее подобраны поисковые службы и составлен запрос на поиск информации, тем качественнее будут результаты поиска.

Правильное использование информационно-поисковой системы заключается в знании языка запросов. Только применяя на практике этот язык, вам не придется разгребать кучу ссылок, никак не относящихся к тому, что вы искали, и поиск будет быстрым и эффективным. Технология поиска с помощью поисковой системы такова:

1. Проанализируйте предполагаемое содержание запрашиваемой информации и выберите ключевые слова, которые обязательно встретятся в интересующих вас материалах или их заголовках.

Необходимо получить из любого источника прецедент подробного и грамотного описания исследуемого вопроса. Таким источником вполне может стать как узко специальный справочник, так и электронная энциклопедия общего профиля. На основе изученного материала необходимо сформировать максимально широкий набор ключевых слов в виде отдельных терминов, словосочетаний, профессиональной лексики и клише, при необходимости — и на нескольких языках. Заранее стоит побеспокоиться о потенциальной возможности уточнения поискового запроса — редких словах, возможно, названий и фамилий, тесно связанных с проблемой.

2. Продумайте строку запроса информации (не более чем 5 слов), учитывая, что на каждом поисковом сервере может применяться свой собственный синтаксис запросов. В зависимости от того, построили ли вы запрос в соответствии с правилами или нет, вы можете получить то, что искали, или лавину нерелевантных ссылок.

У большинства поисковых машин есть три основных вида поиска:

• * по любому (одному) из слов,
• * по всем словам и
• * точно по фразе.

В зависимости от выбранного режима результаты поиска могут сильно различаться:

Поиск по любому слову. В результате поиска составляется список всех индексированных страниц, содержащих любое из ваших ключевых слов. Нередко число совпадений при таком поиске огромно. Однако если поисковая система хорошо сортирует результаты по тематике, то нужную страницу можно найти в верхней части списка ссылок, который вам выдала поисковая машина. Поиск по любому слову может быть удобен в случаях, когда пользователь не уверен в ключевых словах. Если вы не знаете, как правильно называется прибор для измерения кровяного давления — «sphygmomanometer» или «sphygnomanometer» , — то ищите по любому из слов, указав оба термина.

Поиск по всем словам. В этом режиме поиска формируется список всех индексированных страниц, содержащих сразу все ключевые слова, в любом порядке. При этом сохраняется вероятность получения результатов, не соответствующих теме. Поиск точно по фразе. В этом режиме поиска составляется список всех индексированных страниц, содержащих фразу, точно совпадающую с ключевой; знаки препинания игнорируются. В список не попадают узлы, посвященные одной теме, описываемой с использованием разных фраз. Даже в этом режиме поиска возможны ложные результаты.

Для составления запроса также можно использовать специальные логические операторы AND («И»), OR («ИЛИ») и AND NOT («И НЕ») или их сокращенную запись, при необходимости группируя ключевые слова с помощью круглых скобок. Как правило, эти операторы обозначаются одним из следующих способов (см. Табл.1).

Таблица 1.

Оператор «И» используется тогда, когда вам нужно найти документы, содержащие все ключевые слова из запроса. Например, по запросу рефераты AND сочинения вы найдете все документы, в которых упоминаются сразу оба слова.

Оператор «ИЛИ» обычно используется для того, чтобы найти документы, содержащие, по крайней мере, одно из содержащихся в запросе слов. Его удобно использовать при поиске синонимов. Например, по запросу рефераты OR сочинения вы найдете все документы, в которых упоминается либо слово «рефераты», либо слово «сочинения», либо сразу оба слова.

Оператор «И НЕ» используется тогда, когда требуется найти документы с предложением, в котором содержится первое слово из запроса, но отсутствует второе слово, указанное в запросе. Например, по запросу рефераты AND NOT сочинения вы найдете все документы, в которых упоминается слово «рефераты», а слово «сочинения» отсутствует.

Следует также отметить, что существуют некие приоритеты операторов. Так оператор AND NOT имеет более высокий приоритет (т.е. выполняется первым), чем AND и OR, а оператор AND имеет более высокий приоритет, чем оператор OR. Поэтому запрос из нескольких слов сначала группируется по операторам AND NOT и AND и только потом по операторам OR. Изменить порядок группировки можно с помощью скобок. Так, до сих пор наш запрос состоял только из двух слов. Теперь же попытаемся найти документы, в которых встречаются либо сразу оба слова «рефераты» и «сочинения» либо слово «курсовые». Для этого используем запрос рефераты AND сочинения OR курсовые. Чтобы найти документы, содержащие слово «рефераты» и одно из слов «сочинения» или «курсовые», воспользуемся запросом рефераты AND (сочинения OR курсовые).

• 3. Наберите ваш запрос в строке ввода на главной странице выбранной информационно-поисковой системы и нажмите (или щелкните по соответствующей кнопке, например, с названием Найти или Поиск (Search) и т. п.).
• 4. Поисковая система в результате вашего запроса сгенерирует список адресов URL с короткими описаниями. Найденные поисковыми машинами документы сортируются по величине релевантности, то есть сначала выдаются документы, в которых чаще всего встречаются искомые слова, и документы, содержащие слова наиболее близкие к искомым, а затем — все остальные.

Если в результате поиска было обнаружено слишком много ссылок, то выполните одно из следующих действий:

• * переключитесь из режима поиска «по одному из слов» в режим поиска «по всем словам» ,
• * добавьте к запросу еще одно ключевое слово и повторите поиск; на некоторых узлах есть более быстрая функция «поиск среди найденного» ,
• * переключитесь в режим расширенного поиска, обладающего дополнительными типами запросов и возможностями сортировки.

Если в результате было обнаружено слишком мало ссылок, переключитесь из режима поиска «точно по фразе» в режим поиска «по всем словам», из него — в режим поиска «по одному из слов» или используйте меньше ключевых слов.

• 5. Найдите на странице наиболее подходящую вам по смыслу ссылку, щелкните на ней правой кнопкой мыши и выберите пункт контекстного меню Открыть в новом окне (или перенесите ссылки мышью во второе окно обозревателя). Если информация по выбранному адресу оказалась ценной, не дайте ей потеряться. Сохраните ссылку на найденную страницу в папке Избранное, а еще лучше скопируйте саму информацию на жесткий диск вашего компьютера. Если же вы не обнаружили на странице ничего ценного, просто закройте текущее окно обозревателя и переходите к просмотру следующей ссылки.
• 6. Если результаты поиска с помощью данной поисковой системы вас не удовлетворили, отправляйтесь на другой поисковый сервер (см. список).

Поиск с помощью тематических каталогов Один из способов работы с тематическим каталогом — воспользоваться иерархическим деревом при поиске информации. Т. е. вы выбираете сначала общую тематику, удовлетворяющую вашему запросу информации, и далее конкретизируете, следуя подсказкам каталога. В конечном результате вы получаете список сайтов, содержащих информацию, соответствующую вашему запросу.

При работе с тематическим каталогом вы обычно также можете пойти и по другому пути. Проанализируйте предполагаемое содержание запрашиваемой информации и выберите ключевые слова, которые обязательно встретятся в интересующих вас материалах или их заголовках. Наберите эти слова через пробел в строке ввода на главной странице и нажмите клавишу. Система попытается сама подобрать интересующую вас информацию.

Поиск с помощью метапоисковых систем Наиболее популярная в мире система такого класса — Search.com (www.search.com), но если вы работаете преимущественно с русскоязычными документами, то можно воспользоваться метапоисковой системой MetaSeek. Это достаточно мощная система, отсылающая ваш запрос на 30 крупнейших поисковых машин и специализированных серверов и возвращающая вам их отчеты.

Другая российская система мета поиска — 360.Ru (www.360.ru) обрабатывается 26 поисковых систем по всему миру. Существует возможность определения региона поиска и ограничения времени поиска.

Метапоисковая система AdClick.Ru (www.adclick.ru) работает c 15 российскими и зарубежными поисковыми машинами и каталогами.

Также существуют так называемые мультипоисковые страницы: Search, БКФ Поиск, www.cmk.kirov.ru/search.htm и др. (см. список). Эти серверы не умеют посылать запросы и получать отчеты от поисковых служб как системы мета поиска. Мультипоисковые страницы загружают во множестве окон поисковые службы и передают им ваш запрос.

Метапоисковая система (метапоисковая машина) — это поисковая система, которая в отличие от классических поисковых машин не имеет собственной базы данных и собственного поискового индекса, а формирует поисковую выдачу за счет смешивания и переранжирования результатов поиска других поисковых систем.

Не является секретом тот факт, что Интернет представляет собой постоянно растущий огромными темпами массив информации. Для того, чтобы каким-то образом упорядочить этот непрерывный поток данных и, самое главное, иметь возможность находить в этом потоке необходимую информацию, были созданы знакомые нам поисковые машины. Каждый обычный (назовем его «традиционным») поисковик имеет только свой собственный, ограниченный своими ресурсами перечень (индекс) документов, которые доступны для поиска. Ни одна из подобных систем не может охватить всех ресурсов, которые существуют в Интернет. Поэтому, может возникнуть ситуация, когда пользователя не удовлетворяют результаты поисковой выдачи. Обычно, в этом случае, пользователь переходит на другой поисковик и пытается найти то, что ему нужно, там.

Когда количество проиндексированных сайтов различными поисковыми системами растет в геометрической прогрессии, но доля непроиндексированного, так называемого «невидимого» Интернета для каждой поисковой системы (даже для такой мощной, как Gooogle) возрастает с каждым месяцем.

Происходит это потому, что разные поисковые машины используют различные алгоритмы поиска и уделяют свое внимание разным участкам Сети, к которым они наиболее адаптированы. Логичным решением, в таком случае, является поиск не одним, а несколькими поисковиками, для получения более релевантного результата. Именно такую возможность и предлагают метапоисковые системы.

Следует иметь в виду, что метапоисковые машины не имеют собственных поисковых баз данных (исключение — nigma.ru), не содержат никаких индексов и для поиска используют базы данных других поисковых систем. Принцип работы метапоисковика заключается в следующем: запрос пользователя преобразуется в запросы, отформатированные синтаксически и логически в конструкции, оптимальные для каждого отдельного, «традиционного» поисковика, т. е. из одного запроса метапоисковый механизм делает ряд запросов, которые адресуются нескольким «обычным» поискам.

Таким образом, метапоисковые системы объединяют для достижения результатов индексы поисковых серверов различных специализаций. В рамках одной метапоисковой системы можно осуществлять поиск информации различного типа. Метапоисковые системы не предназначены для индексирования и накопления данных, их назначение — чистый поиск и обработка результатов поиска. Все метапоисковые системы сортируют результаты поиска таким образом, чтобы избежать дублей и одинаковых страниц в выдаче, найденных различными поисковыми системами. Рассмотрим два метапоисковых механизма — один западный, другой «наш» .

Vivisimo представляет собой метапоисковую систему, которая собирает данные, используя индексы нескольких поисковых машин одновременно. При более детальном рассмотрении можно говорить, что Vivisimo обладает набором уникальных, нигде больше не встречающихся функций.

Дело в том, что большинство метапоисковых систем отсылают запрос пользователя в несколько поисковиков одновременно, а затем результаты, попавшие в начало списков, выводят в качестве ответа на запрос. Vivisimo работает таким же образом, но кроме этого, система сортирует результаты поиска по группам со схожим смыслом. Особенно полезно это бывает, когда существуют разные варианты вводимых ключевых слов. Результаты поиска объединяются в список все более узких подразделов, что делает возможным обходиться без дополнительных поисковых запросов. Пример поискового запроса [abba] на скриншоте.

Еще одна интересная функция Vivisimo заключается в возможности предварительного просмотра содержания страницы по найденным ссылкам. При этом пользователь может открыть окно просмотра прямо посреди страницы с поисковой выдачей, что позволяет быстро просматривать результаты поиска.

Но это еще не все возможности Vivisimo, достойные внимания. Если зайти на страницу расширенного поиска advanced search, можно найти много полезных инструментов для нашего дела. К примеру, пользователь может задать поиск по новостным сайтам (CNN, USA Today, Reuters, BBC и др.) или воспользоваться специализированными поисковыми машинами, такими как поисковик официального сайта правительства США FirstGov, Business.com, Энциклопедии Британника, аукциона eBay или системой поиска патентов Delphion. Поиск Vivisimo в расширенном режиме выдает 200 результатов. Если этого недостаточно, то можно настроить машину на вывод 300 или 500 результатов.

В своей работе Vivisimo использует результаты поиска следующих машин и каталогов: MSN, Lycos, Looksmart, Wisenut, Open Directory, Overture. Сервис может корректно работать и с контентом на русском — но, к сожалению, русскоязычных сайтов, проиндексированных приведенными выше системами, не так уж и много, поэтому результаты поиска для страниц на русском оставляют желать лучшего.

NIGMA.RU.

Поисковый сервис nigma.ru позиционирует себя как «интеллектуальная поисковая система». Чтобы составить начальное представление о поисковике, обратимся к его странице в Википедии. Из описания становится понятно, что nigma.ru — универсальная поисковая машина, одновременно использующая несколько популярных поисковых движков, которые можно включать/отключать по желанию.

Принцип действия NIGMA аналогичен поиску Vivisimo: поисковая выдача группируется по различным критериям, что позволяет быстро произвести уточняющий поиск.

Мало того, что NIGMA предлагает разные варианты запросов по рейтингу их популярности на сервисе, она еще дает краткую справку (из Википедии) по теме возможного варианта. Такого пока нет даже в Google.

Над строкой поиска главной страницы можно видеть вкладки, определяющие результаты наших запросов. Жмем на вкладку «музыка» и вписываем в строку ключевые слова — название музыкального произведения, слова из песни, имя автора и т. п. Кроме того, что NIGMA выдает вполне достаточное количество ссылок, любую композицию можно прослушать здесь же, на странице поисковой выдачи!

Debriefing.

Мощная метапоисковая система Dogpile использует для метапоиска не только поисковые системы, но и FTP-серверы, а также новостные сайты, котировки фондовых бирж и даже «желтые страницы» Интернета. Дополнительные услуги, предоставляемые сервисом, дают возможность получать подробные прогнозы погоды и топографические карты интересующей местности.

Mamma.

Канадская система метапоиска Mamma Systems обеспечивает стандартный пакет услуг, принятый для подобных сервисов. Используя базы данных популярных поисковых машин, сервис Mamma отличается качественным поиском нужной информации.

MetaCrawler.

MetaCrawler, как и многие подобные системы, первоначально производит поиск необходимой информации в базах данных других поисковых сервисов. Затем запускает свой алгоритм и анализирует полученную информацию: сортирует ссылки, ищет дубликаты и, учитывая рейтинги найденных ссылок, выдает их пользователю. Система адаптирована только для англоязычного сегмента Сети.

Exactus.

Метапоисковая система Exactus — проект Института Системного Анализа РАН. Поиск информации осуществляется с учетом морфологического, синтаксического и семантического анализа поисковых запросов. Сервис использует индекс поисковых машин Google, Yandex, Rambler, Ask, MNS и Yahoo. Отличается точной выдачей ответов на конкретные завершенные фразы и вопросы.

Metabot.ru.

Сервис, который использует не только индексы ведущих поисковиков, но и базы данных многих каталогов, новостных и FTP серверов. Мощнейший российский метапоисковый сервис. Расположен на серверах хостинг-оператора в США.

Google — одна из самых интересных метапоисковых машин в Cети. Дело в том, что ее создатели справедливо считают, что популярность и достоверность информации на той или иной странице прямо пропорциональны количеству упоминаний ее адреса в других источниках, и поэтому они ведут учет внешних ссылок на данный ресурс и сортируют ответы на запрос по данному критерию. Таким образом, рейтинг страницы определяется по количеству ссылок на нее с популярных внешних сайтов и по упоминанию данного адреса в авторитетных источниках информации (впрочем, от такого метода сортировки можно и отказаться). Отображение найденных страниц сделано очень аккуратно. Google выделит на них именно тот фрагмент текста, где содержатся введенные ключевые слова. Среди дополнительных услуг можно отметить кэширование индексированных страничек (копия пригодится в том случае, если сервер в момент его следующего посещения будет недоступен).

Принципы работы метапоисковых систем При проектировании метапоисковой системы нужно решить ряд проблем.

Прежде всего, из полученного от поисковых систем множества документов необходимо выделить наиболее релевантные, то есть соответствующие запросу пользователя. Как правило, создатели метапоисковых систем не совсем оправданно надеются, что поисковые системы, которые они используют, возвращают релевантные результаты поиска, и слишком полагаются на позицию, на которой в данной поисковой системе находится документ.

Этот стандартный подход представлен на рис. 1. В таких системах анализ полученных описаний документов не производится, что может поставить нерелевантные документы, идущие первыми в одной поисковой системе, выше релевантных в другой, чем существенно понизить качество самого поиска. Этот принцип оказался хорошим при создании автором анализатора позиции сайта в поисковых системах, но в целом для систем метапоиска оказался неудовлетворительным.

Рис. 1 Стандартная метапоисковая система

При разработке следующего поколения метапоисковых систем были учтены недостатки, присущие стандартным метапоисковым системам. Были созданы системы с возможностью выбора тех поисковых машин, в которых, по мнению пользователя, он с большей вероятностью может найти то, что ему нужно (рис. 2).

Рис. 2 Следующее поколение метапоисковых систем

Кроме этого, такой подход позволяет уменьшить используемые вычислительные ресурсы метапоискового сервера, не перегружая его слишком большим объемом ненужной информации и серьезно сэкономить трафик. Здесь нужно отметить, что в любой системе метапоиска наиболее узким местом в основном является пропускная способность канала передачи данных, так как обработка страниц с результатами поиска, полученными от нескольких десятков поисковых серверов не является слишком трудоемкой операцией, потому что затраты времени на обработку информации на порядки меньше времени прихода страниц, запрошенных у поисковых серверов.

Принцип работы метапоисковой системы MetaPing, разработанной автором этой статьи, однако общие принципы будут верны и для остальных систем этого класса (см. рис. 2).

Начнем со стартовой страницы данной метапоисковой системы. Обычно интерфейс такой системы предельно упрощен и сразу же позволяет понять, что, где и как здесь можно искать. В нашем случае (MetaPing) поиск возможен по трем областям поиска: по России, по Украине и по всему миру, при этом имеется возможность искать все, отметив поиск по интернету, или сузить область поиска и искать конкретно объявления, новости, файлы и рефераты (рис. 3).

Рис. 3 Стартовая страница MetaPing

Пользователь выбирает, скажем, поиск по России, и вводит, например, такой запрос: «лучшие поисковые системы» (рис. 4).

Рис. 4 Страница MetaPing с результатами поиска

После этого запрос ретранслируется указанным российским поисковым системам (в нашем случае это Рамблер, Апорт, Lycos и Google). Следует отметить, что Google, хотя и не является российской поисковой системой, в настоящее время успешно с ними конкурирует как по полноте баз, так и по качеству поиска, и именно поэтому он здесь оказался. Кстати, внимательный читатель наверняка отметил отсутствие самой крупной российской поисковой системы Яндекс. На момент запуска MetaPing Яндекс тоже здесь тоже присутствовал, но после известного скандала его пришлось убрать.

Для передачи запроса к поисковой системе используется специальный метапоисковый агент, который отвечает не только за процесс ретрансляции запроса и приема страниц, но и за то, чтобы запрос был передан в правильной кодировке, принятой в каждой из выбранных поисковых систем, иначе будет получен совершено другой набор описаний документов или не будет получен вовсе, что негативно скажется на качестве поиска.

После обработки полученного запроса каждая система возвращает метапоисковому агенту множество описаний и ссылок на документы, которые считает релевантными данному запросу.