Возможности информационно-поисковых систем, используемых при подготовке аналитических материалов

В процессе своей деятельности аналитик для подготовки материалов использует огромное количество всевозможных информационных ресурсов. Одним из основных источников информации является Интернет.

По приблизительным оценкам, в настоящее время количество имеющихся в Сети документов Документ — содержательно законченная единица информации, представленная на каком-либо естественном языке, которая идентифицируется уникальным образом. Порция информации, которой оперируют информационно-поисковые системы. измеряется миллиардами, и каждую секунду к ним добавляется 25 новых. За ту же секунду около десятка страниц «покидают» Сеть, некоторые страницы меняют местоположение. Статистика показывает, что среднее время жизни половины страниц в Интернете не превышает 10 дней. Найти среди такого количества постоянно меняющихся страниц нужные — непростая задача.

В идеальном случае известно, что искать и где искать (например, конкретная статья в конкретной газете за известную дату). Однако, как правило, разыскиваемый документ с нужной информацией размещается на компьютере, координаты которого пользователю неизвестны. В этом случае следует прибегать к помощи поисковой системы.

Поисковые системы — это веб-сайты, позволяющие находить необходимую информацию в Интернете. Поисковые системы представляют профессиональный интерес для самых разных групп пользователей, а для аналитиков выходят на одно из первых мест.

Основой поисковых систем являются так называемые поисковые машины или автоматические индексы Специальные программы-роботы («пауки») в автоматическом режиме периодически обследуют Интернет на основе определённых алгоритмов, проводя индексацию найденных документов. Созданные индексные базы данных используются поисковыми машинами для предоставления пользователю доступа к размещенной на узлах Сети информации. Пользователь в рамках соответствующего интерфейса формулирует запрос, который обрабатывается системой, после чего получает результаты обработки запроса. Поиск ведётся на основе оригинальных и сложных алгоритмов, а его результаты анализируются и сортируются таким образом, чтобы представленная пользователю информация в наибольшей степени соответствовала его ожиданиям.

Одной из первых попыток организации доступа к информационным ресурсам Сети стало создание тематических каталогов сайтов Тематический каталог сайтов (каталог ресурсов, каталог Интернет-ресурсов, Интернет-каталог) — структурированный набор ссылок на сайты с кратким описанием. Группируют материал в соответствии с тематикой, по сути являются «правопреемниками» библиотечных каталогов.. Первым, открывшимся в апреле 1994 г, стал Yahoo. Это ещё не было поисковой системой в современном понимании, т. к. возможность поиска информации ограничивалась ресурсами, зарегистрированными в каталоге Yahoo.

Первой полноценной поисковой системой в 1994 г. стал проект WebCrawler. В 1995 г. появились поисковые системы AltaVista и Lycos.

В 1997 г. была создана поисковая система Google — одна из самых популярных в мире. Также в 1997 г. появился Yandex (Яндекс), лидер в русскоязычной части Интернета.

На данный момент основными поисковыми системами являются три международных — Google, Yahoo и MSN Search.

В Рунете (русскоязычный сегмент сети Интернет) основной поисковой системой является Яндекс — полнотекстовая информационно-поисковая система, которая обрабатывает, по различным оценкам, от 60% до 80% всех русскоязычных поисковых запросов, далее по популярности идут Rambler, Google, Mail.Ru и Aport.

Посещаемость Яндекс (www.yandex.ru) составляет около 5 млн. человек в сутки (около 65% ежедневной аудитории всего русского Интернета). В конце 2009 г. Яндекс был признан самым быстрорастущим поисковиком в мире Рейтинг составлен агентством comScope, декабрь 2009 г.

В мае 2010 г. Яндекс запустил поиск по зарубежным сайтам. Теперь пользователь, который ввёл запрос, сможет включить поиск только по мировому Интернету. При обычном поиске приоритет отдаётся локальным ресурсам. В дальнейшем разработчики намерены добавить в зарубежный поиск мультимедийные результаты.

Размер поисковой базы Яндекса составляет около 10 млрд. страниц. В зарубежном индексе, который пополнялся в течение двух последних лет, находится 4 млрд. страниц, 80% из них — англоязычных. В первую очередь индексируются ресурсы, где могут находиться ответы на самые распространённые запросы. В целом запросы на латинице составляют от 12 до 15% из ежедневных 100 млн. запросов Яндекса Данные по состоянию на май 2010 г.

Яндекс учитывает морфологию русского и английского языков, способен найти информацию в электронных текстах различной структуры и разных способов представления (форматов).

Яндекс не требует от пользователя знания специальных команд для поиска. Достаточно набрать вопрос (например, «правила дорожного движения»), и в результате пользователь получает список страниц, где встречаются эти слова.

Независимо от того, в какой форме употреблено слово в запросе, поиск учитывает все его формы по правилам русского языка.

В Яндексе имеется возможность работать не только с языковыми запросами, но и выполнять поиск только на определённых серверах или же исключить из поиска заведомо ненужные сервера, осуществлять поиск по именам файлов, поиск изображений по подписям к ним.

На странице расширенного поиска язык запросов сведён к заполнению полей в форме.

Кроме стандартной сортировки результатов — по релевантности (по степени соответствия запросу), можно отсортировать документы по дате обновления. Появилась новая функция — группировка документов по серверам.

Стала доступной новая услуга — бесплатная подписка на запросы (можно оставить свой запрос на сервере Yandex.ru, a Web-агент будет регулярно высылать абоненту по электронной почте информацию о появлении новых и (или) изменённых документов, соответствующих этому запросу).

В Яндекс присутствуют все виды поиска (текст, картинки, блоги, документы).

Некоторые дополнительные сервисы Яндекс:

yaca.yandex.ru — каталог сайтов. Сайты распределены в каталоге по категориям (СМИ; власть; законы; региональные, городские и районные порталы и многое другое);

direct.yandex.ru — реклама предприятия или интернет-ресурса;

market.yandex.ru — каталог товаров из интернет-магазинов;

slovari.yandex.ru — справочники, энциклопедии и словари;

pogoda.yandex.ru — просмотр погоды в Яндекс;

maps.yandex.ru — географические карты и снимки со спутника.

В конце 2009 г. был запущен поиск с учётом региона для 1250 городов России. При ответах на запросы, которые касаются местных реалий («областная дума», «приёмная мэра», «автосервис» и т. д.) учитывается, прежде всего, регион пользователя, местные ресурсы. Если пользователя интересует ответ для другого города, достаточно в запросе указать его название.

В 2009 г. был запущен сервис «Яндекс. Пробки», который можно использовать для GPS-навигации.

Поисковая система Рамблер (www.rambler.ru) начала своё существование в 1996 г. На сегодняшний день она является одной из самых популярных в Рунете, уступая лишь Яндексу. По различным оценкам, на долю Рамблер приходится 20−25% от всех поисковых запросов Рунета.

В июне 2003 г. была запущена новая версия поисковой машины. В новой версии возросла скорость поиска, частота обновления информации (до нескольких раз в день). Рамблер всегда находит самые свежие документы, включая последние новости.

Поисковая система понимает живой русский язык, распознаёт сокращения («б/у», «у.е.» или «а/я»). Встроенный механизм ассоциаций помогает точнее сформулировать запрос и быстрее найти искомый ресурс.

Результаты поиска в Рамблер ранжируются по релевантности и группируются по сайтам.

Поисковая машина Рамблер также имеет «расширенный поиск», что даёт возможность задавать дополнительные параметры поиска. По каждому слову запроса поиск ведётся с учётом правил словоизменения соответствующего языка. В настоящее время поиск Рамблер стал учитывать опечатки и понимать слова, введённые на английском языке в русской раскладке.

В 2009 г. Рамблер запустил обновленный механизм поиска с учётом синонимов. Теперь поиск осуществляется не только по запросу, введённому пользователем, но и параллельно по фразе, которую поисковый механизм считает полностью идентичной.

В Рамблер имеется большое количество дополнительных сервисов. Некоторые из них:

Top100 — тематический рейтинг сайтов;

RUметрика — статистика Рунета от Рамблера;

Картинки — поиск среди более двух миллиардов картинок;

Видео — поиск видеороликов;

Товары — поиск товаров;

Аптека — поиск наличия лекарств в аптеках г. Москвы;

Автоцены — все автомобили Рунета;

Rambler-ICQ — система общения;

Rambler-Plus — система онлайн-платежей;

Rambler Mass Media — крупная информационная площадка. Новости Рамблер доступны огромной аудитории. Рамблер оперативно предоставляет информацию о последних событиях в мире.

Финансы — российские и мировые рынки.

Поисковая система Google (www.google.ru) — первая по популярности в мире, появилась в 1998 г. Система обрабатывает более 40 млрд. запросов в месяц. Google может находить информацию на 186 языках Данные на конец 2009 г. Посещаемость Google составляет около 500 тыс. человек в сутки.

Создатели Google постарались сделать его механизм более гибким и расширяемым, чем у других существовавших на тот момент времени поисковых систем. Только Google, в отличие от других иностранных систем, хорошо индексирует русскоязычные ресурсы.

Google использует систему оценки качества (алгоритм расчёта авторитетности), суть которой заключается в том, что при решении о порядке выдачи пользователю списка страниц, попадающих под его запрос, во внимание принимается некий коэффициент, зависящий от количества ссылок с других сайтов на эту страницу. Предполагается, что если рассматриваемая страница действительно важная, то, скорее всего, на неё уже ссылаются другие источники.

Интерфейс Google содержит довольно сложный язык запросов, позволяющий ограничить область поиска отдельными доменами, языками, типами файлов и т. д.

В мае 2010 г. компания Google открыла для всех желающих сервис Google Wave (сервис «Волна» позиционировался как инновационное средство для коммуникации и совместной работы большого числа пользователей, могущее в перспективе заменить собою e-mail). «Волну» можно одновременно редактировать, дополнять текстом и изображениями, делить на общие и приватные части. Google Wave совмещает функции электронной почты, мгновенных сообщений, социальных сетей и работы над документами.

Кроме стандартного поисковика у Google есть ещё несколько интересных приложений:

translate.google.com — переводы текстов и сайтов Позволяет автоматически переводить веб-страницы на другие языки за считанные секунды.;

www.gmail.com — очень вместительный почтовый ящик Google;

www.blogger.com — удобный блог Google;

adwords.google.com — самый крупный в Интернете медийный сервис;

maps.google.com — снимки поверхности Земли со спутника и другие.

Alta Vista (www.altavista.com) — одна из старейших поисковых систем в Интернете. Первый Web-индекс был представлен в 1995 г.

Индекс Alta Vista содержит документы на 25 языках. В область поиска можно включить документы на всех поддерживаемых языках или только в документах на определённом языке, а на специальной странице можно указать несколько языков для поиска на всех выбранных языках одновременно.

AltaVista обладает развитым языком запросов и успешно находит в Сети как специальную информацию в определённой области, так и информацию более общего характера.

Поисковая система Апорт (www.aport.ru) действует в Интернете с 1996 г. Апорт содержит данные о большом числе современных ресурсов российского Интернета.

Апорт умеет переводить запрос и результаты поиска с русского на английский и наоборот, автоматически проверять орфографические ошибки запроса, осуществлять поиск в любой грамматической форме, объединять копии документа, находящиеся на разных серверах, имеет мощный язык расширенных запросов для профессиональных пользователей и многое другое.

Поисковая система Mail.Ru была запущена в 2007 г. Помимо поиска текстов, системой осуществляется поиск иллюстраций и видеофрагментов. Система позволяет ограничивать область поиска сайтами коммерческой направленности, информационными сайтами, а также форумами и блогами. Форма «расширенного поиска» даёт возможность ограничить поиск определёнными типами файлов, местоположением искомых слов в документе и предоставляет другие дополнительные возможности.

Mail.Ru развивает свою картографическую систему. Карты@Mail.Ru — интерактивный картографический сервис, благодаря которому можно находить практически по всему миру любой дом или улицу. Проект позволяет измерять площадь объектов, расстояние между ними. Кроме того, Карты@Mail.Ru предоставляют актуальную информацию о пробках на дорогах крупнейших российских городов.

MSN (http://www.msn.com) разработан и запущен компанией Microsoft в 1995 г., одновременно с выходом очередной версии Windows (95). Благодаря установке MSN по умолчанию в качестве домашней страницы в Internet Explorer поисковая система быстро вышла в лидеры.

При определении релевантности MSN использует следующие факторы: расположение ключевых слов, «популярность» ресурса и текст ведущих на сайт и ведущих с сайта ссылок.

Пользователи MSN Search могут осуществлять поиск как по всей Сети в целом, так и по отдельным тематическим категориям.

В настоящее время MSN (русскоязычная версия — http://ru.msn.com) представляет собой не только поисковую систему, но и крупный веб-портал с разнообразными сервисами и ресурсами: погода, новости, жизнь и стиль, спорт, котировки валют и другие.

Поисковая система «Ау!» (www.au.ru) — каталог-рубрикатор, представляет собой базу данных ресурсов российской части Интернета и зарубежных материалов, имеющих отношение к России. Каталог имеет иерархическую структуру с несколькими уровнями. Поиск информации возможен как с помощью тематического рубрикатора, так и с использованием поисковой системы. В системе предусмотрено наложение фильтров по названию (описанию), стране, городу.

При использовании любой поисковой машины успех поиска в значительной степени будет зависеть от формулировки запроса. Специалисты рекомендуют несколько общих принципов составления запросов, применимых для большинства поисковых систем:

результат поиска будет намного лучше, если запрос состоит из нескольких связанных друг с другом слов;

использование синонимов. Если полученный список результатов содержит слишком мало полезных документов, рекомендуется попробовать заменить искомое слово синонимом или использовать в запросе все синонимы;

проверка орфографии. Если система не нашла ни одного документа, содержащего заданное слово, то стоит проверить правильность его написания. Скорее всего, была допущена ошибка в одном из слов в запросе;

некоторые системы ограничивают поиск, если слово было набрано с прописной буквы. Например, по запросу «Президент» будут найдены только те документы, где это слово написано именно так (с прописной буквы). Если же в запросе набрано «президент», то будут найдены документы, содержащие слова «президент», «Президент» и «ПРЕЗИДЕНТ».

В 90% случаев при поиске информации помогают самые обычные запросы из нескольких ключевых слов. Однако бывает, что применение даже одного «сложного» оператора существенно улучшает выдачу.

Пользователи большинства систем могут воспользоваться режимом «расширенного поиска» (Advanced Search), в котором можно задать более точные критерии и область поиска.

Большинство поисковых систем позволяет использовать весьма развитый и сложный синтаксис запросов, знание которого даёт возможность решать самые сложные поисковые задачи. Некоторые операторы Все операторы языка запросов подробно описаны во встроенной справке Яндекса. языка запросов Яндекс:

! (восклицательный знак) — отключить морфологию для указанного слова, искать именно в том виде, как задано (!белых биография);

— (минус) — исключить слово (инфляциядоллар);

+ (плюс) — слово обязательно должно присутствовать в результатах поиска (+быть +или +не +быть);

«» (кавычки) — используются для поиска цитат («быть или не быть»);

* - при поиске текста в кавычках можно разрешить одно или несколько пропущенных слов («быть или * быть»);

& - слова должны быть в одном предложении (инфляция & квартал);

&& - слова присутствуют в одном документе (челябинск && выборы);

| - любое из слов (фото | снимок | изображение);

<< - все слова при поиске равнозначны (петр<<�ильич<<�чайковский);

~ - исключить слово в предложении (телевидение ~кабель);

~~ - исключить слово в тексте (кремль ~~москва).

Кроме названных поисковых систем существует множество разнообразных специализированных поисковых серверов, на которых можно найти практически любую специфическую информацию (адрес, гостиницу, работу и многое другое (например, сервер для поиска медицинской информации в России — http://www.rusmedsery.com).

Для получения полной и актуальной информации, которая должна оперативно учитываться при подготовке аналитических материалов, всё большую популярность набирает современная RSS-технология RSS (Really Simple Syndication) — это объединение разнообразного контента, физически находящегося на различных серверах, в одну логическую точку, создавая «эффект присутствия» на нескольких сайтах одновременно. интегрированного доступа к данным, которая предоставляет возможность владельцам сайтов информировать всех желающих о новой информации, появившейся на их сайтах. C помощью RSS можно быстро и просто получать, обновлять и группировать информацию в режиме реального времени.

Суть использования RSS заключается в том, что пользователю не нужно заходить на интересующий его сайт только для того, чтобы проверить, не появились ли свежие новости. Достаточно добавить «так называемую» RSS-ленту сайта в свою программу для чтения RSS (RSS-ридер или RSS-агрегатор), и все самые свежие новости сайта будут отображаться у пользователя сразу, как только появятся на сайте. При этом выбранные RSS-потоки объединяются в единую ленту, сообщения в которой упорядочены по убыванию даты. В RSS-агрегаторе можно настроить практически любое количество RSS-лент и получать свежую информацию не заходя на сайты.

Практически все ведущие сайты используют RSS в качестве инструмента оперативного представления свежей информации.

Агрегаторы бывают двух типов: программные агрегаторы и Web-агрегаторы, при этом задачи их одинаковы — получение обновлений.

Программные агрегаторы — это компьютерные программы, которые могут быть встроены в браузеры, в почтовые программы или в операционную систему, но могут быть и отдельными программами.

Web-агрегаторы располагаются на сервере в Интернете, к ним можно получать доступ с любого компьютера, подключенного к Сети. По мнению специалистов, наиболее удобными являются Яндекс. Лента (lenta.yandex.ru) и Google Reader.

В Интернете существуют системы метапоиска (параллельного поиска), которые передают сформулированный пользователем запрос разным поисковым системам. Повторяющиеся ссылки, полученные от разных систем, как правило, исключаются из представляемых пользователю результатов поиска. Несколько адресов зарубежных систем метапоиска:

MetaCrawler (http://www.metacrawler.com);

Dogpile (http://www.dogpile.com);

Highway 61 (http://www.highway61.com);

ProFusion (http://www.profusion.com).