1 Обзор поисковых систем, Но на этом прогресс человеческой мысли не закончился. В последствии были созданы полноценные поисковые системы, которые работали по описан-ной мной выше схеме. Робот регулярно сканировал новые ресурсы или обнов-лял информацию о старых, переходя по ссылкам, которые находились на стра-ницах, и добавлял новые и изменённые страницы в индекс, своего рода базу поисковой системы. Поиск же осуществлялся, посредством программного ана-лиза собранной информации и выдачи релевантных (наиболее подходящих) по запросу данных.
Одним из первых инструментов поиска в интернете (до Всемирной пау-тины) был Archie.
Первой поисковой системой для Всемирной паутины был «Wandex», уже не существующий индекс, который создавал «World Wide Web Wanderer» — бот, разработанный Мэтью Грэем (англ. Matthew Gray) из Масса-чусетского технологического института в 1993. Также в 1993 году появилась поисковая система «Aliweb», работающая до сих пор. Первой полнотекстовой (т. н. «crawler-based», то есть индексирующей ресурсы при помощи робота) по-исковой системой стала «WebCrawler», запущенная в 1994. В отличие от своих предшественников, она позволяла пользователям искать по любым ключевым словам на любой веб-странице — с тех пор это стало стандартом во всех основ-ных поисковых системах. Кроме того, это был первый поисковик, о котором было известно в широких кругах. В 1994 был запущен «Lycos», разработанный в университете Карнеги Мелона.3
Вскоре появилось множество других конкурирующих поисковых ма-шин, таких как «Excite», «Infoseek», «Inktomi», «Northern Light» и «AltaVista». В некотором смысле они конкурировали с популярными интернет-каталогами, такими, как «Yahoo!». Позже каталоги соединились или добавили к себе поис-ковые машины, чтобы увеличить функциональность. В 1996 году русскоязыч-ным пользователям интернета стало доступно морфологическое расширение к поисковой машине Altavista и оригинальные российские поисковые машины «Рамблер» и «Апорт». 23 сентября 1997 была открыта поисковая машина Ян-декс.
В последнее время завоёвывает всё большую популярность практика применения методов кластерного анализа и поиска по метаданным. Из между-народных машин такого плана наибольшую известность получила «Clusty» компании Vivísimo. В 2005 году на российских просторах при поддержке МГУ запущен поисковик «Нигма», поддерживающий автоматическую кластериза-цию. В 2006 году открылась российская метамашина Quintura, предлагающая визуальную кластеризацию в виде облака тегов. «Нигма» тоже эксперименти-ровала с визуальной кластеризацией.
Помимо поисковых машин для Всемирной паутины, существовали и по-исковики для других протоколов, такие как Archie для поиска по анонимным FTP-серверам и «Veronica» для поиска в Gopher.
