Методы и формы организации поиска в рамках ресурса

Министерство образования и науки российской федерации Федеральное государственное бюджетное образовательное учреждение высшего профессионального образования

" Липецкий государственный педагогический университет"

Факультет физико-математических и компьютерных наук Кафедра электроники телекоммуникаций и компьютерных технологий Курсовая работа По дисциплине «Корпоративные информационные системы»

На тему:

" Методы и формы организации поиска в рамках ресурса"

Выполнил: студент 4 курса Лунёв Алексей Научный руководитель:

Никулова Галина Анатольевна Липецк 2014

• Введение
• 1. Критерии и требования к средствам поиска по ресурсу
• 2. Технологии создания инструментов поиска по ресурсу
• 3. Способы поиска по ресурсу
• 3.1 Поиск по ключевым словам
• 3.2 Поиск при помощи поисковых систем — принцип действия
• 3.2.1 Форма поиска по сайту от Яндекс
• 3.2.2 Форма поиска по сайту от Google
• 3.3 Joomla поиск и другие CMS
• 3.3.1 Joomla поиск
• 3.2.2 MODX
• 3.2.3 TYРOЗ
• 3.2.4 Drupal
• 4. Разработка ресурса «Поиск по ресурсу»
• Заключение
• Список литературы

Поиск по ресурсу — технология, предоставляющая пользователю возможность осуществлять поиск заданной строки среди материалов конкретного web — сайта. Чаще всего поиск основан на предварительном индексировании страниц и файлов. Поиск по сайту — один из ключевых компонентов любого крупного web — портала, облегчающий навигацию по его разделам.

Для реализации поиска по сайту администратор может воспользоваться соответствующим функционалом выбранной CMS или специальными сервисами от крупнейших поисковых систем.

Цель данной работы — ознакомиться с методами и формами поиска в рамках ресурса и сформировать требования и рекомендации к поисковым инструментам и средствам.

Задачи данной работы:

· Определить критерии поиска по сайту;

· Разобрать различные способы поиска по сайту;

· Узнать, как производится поиск с использованием ключевых слов, поисковых машин и с помощью CMS;

· Рассмотреть другие популярные CMS.

1. Критерии и требования к средствам поиска по ресурсу

· Форма поиска должна располагаться на всех страницах сайта, желательно в правом верхнем углу (или в левом верхнем), и не содержать возможности расширенного поиска.

· Возможность расширенного поиска должна быть на странице с результатами поиска.

· Поиск должен работать по всему сайту и не выходить за его пределы (на другие домены).

· Можно предоставить пользователю возможность ограничения поиска по определённым рамкам. Например, по определённой категории статей. Это можно сделать на странице с результатами поиска или в расширенном поиске.

· Поиск должен быть формой, а не ссылкой на форму поиска.

· Ширина поля поиска формы должно быть достаточным, для возможности полного отображения искомого запроса. Не менее 20 символов.

· Поиск должен обладать возможностью предоставить варианты переформулировки запроса.

· Поиск должен быть релевантным.

· На первой странице результатов поиска самыми первыми должны идти самые релевантные поисковому запросу страницы.

· Необходимо вести статистику поиска для внесения обоснованных изменений в его работу.

· Должна быть кнопка с надписью «Поиск» (так как это весьма ожидаемое название) или «Найти» (так как это побуждение к действию).

· Поиск должен, по умолчанию, осуществляться по всему сайту: статьям, комментариям, форуму, блогу, товарам, ссылкам и так далее.

· Логические выражения при составлении запроса лучше предоставить, при необходимости, в расширенном поиске.

· Модуль поиска должен уметь проверять орфографию и предлагать поиск с учётом синонимов.

· В результатах поиска не должно быть одинаковых страниц по одному и тому же запросу.

· Если по запросу найдено большое количество страниц, то лучше сгруппировать их в соответствии со структурой сайта.

· Поле поиска в модуле должно быть пустым. Не следует в него помещать фразы типа «Введите ключевое слово для поиска» .

2. Технологии создания инструментов поиска по ресурсу

Главное преимущество собственного поисковика: возможность тесной интеграции с другими модулями CMS, используемой на сайте.

В поисковом модуле NetCat по умолчанию используется Zend Search Lucene. У этого решения есть недостатки, например, сравнительно низкая скорость работы. Это оправдано тем, что сайт под NetCat должен работать на любом стандартном UNIX-хостинге без необходимости установки дополнительных компонентов, а Zend Search Lucene не требуется ничего, кроме PHP.

Также можно использовать Sphinx или Solr (а если надо, то и Яндекс. XML).

3. Способы поиска по ресурсу

3.1 Поиск по ключевым словам

На любом сайте есть три типа информации:

1. Информация, которую можно увидеть при просмотре страницы;

2. Информация действия — эту информацию можно увидеть при выполнении каких — либо действий, например, при щелчке на кнопке или подведении указателя мыши к какому-нибудь объекту (рисунку, гиперссылке и т. д.) [2];

3. Программный код сайта — это тоже информация, в программном коде находятся не только HTML — теги, но и информация, заключенная в них.

Основные данные, по которым ранжируются документы:

1. Ключевые слова на странице (сайте);

2. Отношение слов на странице к ключевым словам на странице;

3. Объем текста страницы;

4. Объем сайта;

5. Дата последнего обновления страницы;

6. Альтернативные название изображений (alt теги);

7. Язык страницы;

8. Мета — теги;

9. Внутренние и внешние ссылки.

Алгоритм работы:

1. Программа — робот (программа — паук, spider) начинает сбор информации с сайтов. «Паук» посещает все сайты, которые внесены в базу данных (каталог), просматривает их, запоминает страницы, рисунки, названия и т. д. [2];

2. Собранная роботом информация заносится в базу поисковой системы;

3. Используя базу данных, ПМ (поисковая машина) индексирует страницы. Суть индексации заключается в том, что ПМ пытается понять, о чем эта страница. Тут же происходит анализ ключевых слов — такими считаются наиболее значимые слова с точки зрения ПМ, а не только слова, заключенные в соответствующий метатег. На основе ключевых слов строится рейтинг страницы. Затем сравниваются различные страницы (сайты), проводится анализ их ключевых слов и строится рейтинг сайтов ПМ. Затем этот рейтинг сравнивается с предыдущим рейтингом. После этого вычисляется результирующий рейтинг, который будет существовать в базе данных до следующего цикла [2];

4. Пользователь, который ввел запрос к поисковой машине, получил нужную ему информацию в соответствии с результирующим рейтингом.

3.2 Поиск при помощи поисковых систем — принцип действия

Современные поисковики позволяют искать информацию не только во всей Сети, но и конкретно на отдельном сайте. Все документы ресурса, хранящиеся в индексе ПС (поисковой системы), становятся доступны посетителям для поиска на сайте и поисковой механизм «выдаёт» страницы ресурса по разным ключевым запросам посетителей.

Единственным недостатком здесь является необходимость наличия страницы в индексе поисковой системы. Иначе ПС просто не будет знать о ней и, соответственно, не покажет посетителям.

Причин отсутствия страницы в индексе всего 2:

1. робот ещё не индексировал её и не сохранил в своём индексе.

2. страница намеренно не включена в индекс, т.к. её содержимое нарушает поисковую лицензию (например, чёрное SEO). Или же она является полным/почти полным дублем имеющейся в индексе страницы.

Но если поставить поиск на сайт от Google, то поисковик быстро индексирует новые материалы. И если проект регулярно пополняется свежим контентом, то Google будет быстро включать их в свой индекс.

3.2.1 Форма поиска по сайту от Яндекс

Преимущества поиска от Яндекса:

· легко настраивается;

· качественные результаты поиска;

· нет ограничений на количество запросов;

· бесплатность.

Учёт морфологии и лексики языка

Яндекс. Поиск для сайта использует все технологии «большого» поиска Яндекса. В том числе учитывает различные формы слов, исправляет ошибки и опечатки, а также неправильную раскладку клавиатуры.

Настройка синонимов для поиска

Можно дополнять основную базу синонимов поиска дополнительными вариантами, специфическими именно для конкретного сайта и пользователей.

Поисковые подсказки

Поиск для сайта, как и основной поиск Яндекса, содержит поисковые подсказки — они ускоряют ввод запроса. Ещё до того, как посетитель сайта наберёт запрос полностью, он сможет перейти к нужному варианту.

Уточнения результатов поиска

Поиск для сайта предоставляет инструмент для уточнения запросов — можно выбирать раздел сайта, указывать временной промежуток, а также формат или язык документа. Также есть возможность указать ключевые слова, которые посетитель сможет добавлять к запросу.

Статистика поисковых запросов

Статистика запросов обновляется ежедневно и включает в себя следующую информацию:

· список поисковых запросов;

· сколько раз задавали каждый из этих запросов;

· сколько было показано результатов по каждому запросу;

· сколько было переходов по результатам поиска.

Статистика поможет понять, какие разделы сайта нуждаются в улучшении.

3.2.2 Форма поиска по сайту от Google

Google Поиск для сайтов обеспечивает точный и быстрый поиск информации на сайте с использованием технологий Google.

Персонализация

Оформление страницы результатов поиска в собственном стиле, выбрав фирменные цвета и добавив логотип компании.

Многоязычность

Выбор языка по умолчанию или его автоматическое определение по настройкам браузера, чтобы посетители сайта с легкостью находили нужные им материалы.

Смещение результатов

При определении поискового рейтинга можно учитывать дату создания документа, чтобы последняя версия появлялась в результатах поиска выше остальных.

Виды XML

С помощью XML API можно задать формат отображения результатов поиска и полностью интегрировать приложения.

Уточнение по ярлыкам

Создание категории для контента и присваивание им ярлыков, чтобы пользователи могли легко фильтровать результаты.

Поиск изображений

Предоставление посетителям возможность искать картинки, а затем просматривать результаты на отдельной вкладке.

Индексирование по требованию

В любой момент можно индексировать новый контент, чтобы он сразу же отображался в результатах поиска.

Синонимы

Запросы автоматически дополняются синонимами и расшифровками аббревиатур. Например, в результатах поиска по термину «БИК» также окажутся документы, содержащие слова «банковский идентификационный код» .

Расширенное описание

Добавление форматирования, изображении и других элементов в описания web — страниц в результатах поиска.

Качество поиска Google

При обработке каждого запроса учитывается более 100 переменных и используются те же алгоритмы, что и в Google Поиске, чтобы посетители сайта получали наиболее подходящие результаты.

Проверка правописания

Google Поиск для сайтов сможет предложить вариант правильного написания не только обычных слов, но и специфических терминов и выражений, которые используются внутри компании.

Интеграция с Google Analytics

Анализируя модели поиска с помощью Google Analytics, есть, возможность оптимизировать контент в соответствии с потребностями клиентов.

Улучшенная поддержка клиентов

С Google Поиском для сайтов справочный портал будет работать гораздо эффективнее: клиенты смогут быстро находить ответы на свои вопросы и самостоятельно решать возникшие проблемы.

Отсутствие рекламы

На странице результатов будет представлена только нужная информация, найденная с помощью технологий Google Поиска.

Персонализация

Оформление страницы результатов в соответствии с цветовой схемой сайта и добавление собственного логотипа.

3.3 Joomla поиск и другие CMS

3.3.1 Joomla поиск

Главными преимуществами поиска по сайту Joomla являются:

· Бесплатность.

· Простота настройки.

· Доступность во всех версиях Joomla без отдельной установки.

· Совместимость сторонних расширений с Joomla поиском, как правило, обеспечивают сами разработчики этих расширений.

Основными недостатками компонента «Joomla поиск» являются следующие:

· Не релевантный поиск.

· Малое количество опций для настройки.

Вкладка Компонент содержит следующие опции.

· Собирать статистику поиска. Позволяет собирать краткую статистику о том, как пользователи используют поиск по сайту Joomla.

Поиск по сайту Joomla

Будут доступны такие данные, как поисковая фраза (ключевые слова, которые пользователи вводят в строку поиска), количество просмотров (количество раз, которое было запрошена та или иная поисковая фраза) и результаты (количество результатов, которое пользователь получил по той или иной поисковой фразе).

· Использовать области поиска. Даёт возможность пользователям Вашего сайта ограничить область поиска (рисунок ниже). Например, искать только в статьях Joomla (в материалах).

· Дата создания. Отображает дату создания статьи в результатах поиска (рисунок выше).

· Название OpenSearch. Название поискового механизма, которое увидят пользователи, пожелавшие подключить его в качестве быстрого поиска по сайту для браузера. На рисунке ниже приведён пример для Mozilla Firefox 16.0.1 и Joomla 2.5 (не стандартный шаблон Joomla).

· Описание OpenSearch. Описание поискового механизма, которое увидят пользователи, пожелавшие подключить его в качестве быстрого поиска по сайту для браузера. На рисунке выше приведён пример для Mozilla Firefox 16.0.1.

Помимо компонента в системе есть ещё модуль поиска Joomla

Его настройки разделены на 4 вкладки.

1. Подробно.

2. Основные параметры.

3. Дополнительные параметры.

4. Привязка к пунктам меню.

На вкладке Подробно находятся основные настройки модуля поиска Joomla.

· Состояние. Указывает на состояние модуля (Опубликован — отображается на сайте, Не опубликован — не отображается на сайте, В корзине — аналог корзины Windows, модуль не отображается на сайте и в менеджере модулей).

· Заголовок. Заголовок модуля, который отображается и в менеджере модулей и, при необходимости, на сайте.

· Показывать заголовок. При помощи данной опции можно включитьотключить вывод заголовка модуля на сайте.

· Позиция. Позиция, в которой отображается модуль на сайте.

· Доступ. Можно указать, какой группе пользователей сайта (с фронтальной стороны) будет доступен модуль поиска Joomla.

· Порядок. Порядок отображения модулей. Например, можно задать, какой модуль надо отображать выше на сайте, а какой ниже.

· Начало публикации. Дата и время начала отображения модуля на сайте.

· Завершение публикации. Дата и время окончания отображения модуля на сайте.

· Язык. Если на сайте используется несколько языков, то при помощи данной опции можно указать, для какого языка отображать этот модуль.

· Примечание. Произвольный текст (не обязательно), который будет виден только в административной зоне сайта в менеджере модулей.

Вкладка Основные параметры содержит следующие опции для настройки модуля поиска Joomla.

· Заголовок поля. Текст, который отображается рядом с полем поиска в качестве заголовка. Если ничего не указывать, то будет использоваться значение из языкового файла.

· Ширина поля. Ширина поля поиска в символах.

· Текст в поле. Текст, который будет отображаться в поле поиска.

· Кнопка поиска. Включение или отключение вывода кнопки поиска.

· Позиция кнопки. Позиция кнопки поиска относительно поля поиска. Справа, Слева, Сверху, Снизу.

· Изображение кнопки поиска. Можно указать изображение, которое будет отображаться вместо кнопки. Имя файла кнопки должно быть «searchButton. gif» и файл должен располагаться в папке «images», которая находится в корне папки шаблона сайта, который используется по умолчанию.

· Текст на кнопке. Текст, который будет отображаться на кнопке поиска. Если ничего не указывать, то будет использоваться значение из языкового файла.

· OpenSearch — автопоиск. Включить или отключить использование OpenSearch для модуля поиска Joomla.

· OpenSearch — заголовок. Описание поискового механизма, которое увидят пользователи, пожелавшие подключить его в качестве быстрого поиска по сайту для браузера.

· Itemid. Можно задать значение для параметра Itemid модуля поиска, если в меню нет ссылки на компонент поиска Joomla. Itemid будет использоваться в результатах поиска.

Вкладка Дополнительные параметры (рисунок ниже), в основном содержит настройки для задания стиля модуля поиска Joomla.

· Альтернативный макет. Если это предусмотрено модулем или шаблоном, то можно изменить макет модуля поиска Joomla, взяв другой вариант макета, например, из шаблона, который установлен в системе.

· Суффикс CSS - класса модуля. При помощи указания определённого CSS — класса можно задавать уникальное оформление для модуля.

· Кэширование. Можно указать необходимость применения кэширования для модуля поиска Joomla. Использование кэширования ускоряет скорость работы сайта и уменьшает нагрузку на сервер. Но в некоторых случаях, например, при очень частом использовании модуля, с включённым кэшированием, у пользователей могут возникнуть проблемы. Проблемы заключаются в том, что если пользователь введёт в поле поиска запрос «Jooomla», нажмёт на кнопку поиска, а потом, увидев, что он сделал опечатку в запросе, введёт слово «Joomla», то кэш не обновится, поиск всё равно может выдавать результаты по запросу «Jooomla». Такое случается нечасто.

· Срок кэширования. Время кэширования модуля в миллисекундах. По истечении этого времени кэш будет обновлён.

· HTML - тег модуля. Можно указать, какой тег необходимо использовать для отображения модуля (div, section, aside, nav, address, article).

· Размер Bootstrap. Позволяет задать, количество колонок (0 — 12), которое будет использоваться для заголовка модуля поиска.

· HTML - тег заголовка. Позволяет задать каким тегом будет выделен заголовок модуля поиска (Н1 - Н6,p). С точки зрения SEO оптимизации на странице желательно иметь только один заголовок верхнего уровня.

· CSS - класс заголовка. Задает специальное оформление заголовку модуля, указав определённый CSS — класс.

· Стиль модуля. Задает специальное оформление модулю поиска, указав, его из доступного списка.

На вкладке Привязка к пунктам меню можно задать при показе каких страниц (пунктов меню сайта) необходимо отображать модуль поиска Joomla.

Данный поиск подойдёт для сайтов с небольшим количеством содержимого, где релевантность результатов не является категоричным критерием.

3.2.2 MODX

MODX — это бесплатная профессиональная система управления содержимым (CMS) и фреймворк для web — приложений, предназначенная для обеспечения и организации совместного процесса создания, редактирования и управления контентом сайтов.

MODX распространяется бесплатно по лицензии GPL с открытым исходным программным кодом (Open Source).

Преимущества

· Графический web — установщик

· Полный контроль над выводом HTML — кода, разделение логики работы CMS и дизайна

· Легкая расширяемость, возможность создавать программный код в модулях и плагинах, а также подключать параметры Template Variable (TV) для создания дополнительных полей

· Поддержка AJAX, MooTools, prototype, jQuery, ExtJS

· Поддержка PHP 5.1.2 и выше (за исключением 5.1.6 и 5.2.0)

· Кросс — браузерность и кросс — платформенность работы

· Возможна установка на IIS, Apache, Nginx, Lighttpd и Zeus web — сервера

· Возможно размещение в «облаке» через Amazon Elastic Compute Cloud (EC2) и в собственном облаке MODX Cloud

· Полный контроль над всеми метаданными и структурой URL для поисковой оптимизации

· Совместимость с MVC (Model — View — Controller)

· Контроль доступа и назначение прав для доступа к менеджеру сайта ACL

· Возможность настройки менеджера под нужды заказчика.

· Репозиторий готовых расширений.

3.2.3 TYРOЗ

TYРOЗ — система управления сайтами (CMS/CMF) с открытым исходным кодом и свободной лицензией. Написана на PHP, для хранения данных использует СУБД MySQL.

Основные возможности:

· Редактор текста с форматированием (RTE) и проверка орфографии

· Отмена изменений и история изменений

· Предпросмотр перед публикацией

· Буфер обмена

· Редактирование содержимого из frontend и backend

· Внутренние ссылки (возможны ссылке на уроне элементов содержимого)

· Внутренний поисковый механизм

· Одна инсталляция системы для многих сайтов (с единым деревом страниц)

· Одна инсталляция системы для многих доменов

· Templavoila

· Гибкая система разграничения прав для редакторов сайта

· Динамическое построение меню — текстовых и графических

· Возможность авторизации пользователей через LDAP

· Версионирование

· Рабочие области (workspaces)

· Поддержка WML

· Поддержка XML

· Поддержка импорта и экспорта RSS

· Экспорт в PDF

· Экспорт в статический HTML

· Кэширование страниц.

3.2.4 Drupal

Drupal — система управления содержимым, используемая также как каркас для web — приложений (CMF), написанная на языке PHP и использующая в качестве хранилища данных реляционную базу данных (поддерживаются MySQL, PostgreSQL и другие). Drupal является свободным программным обеспечением, защищённым лицензией GPL, и развивается усилиями энтузиастов со всего мира.

Архитектура Drupal позволяет применять его для построения различных типов сайтов — от блогов и новостных сайтов до информационных архивов или социальных сетей. Имеющуюся по умолчанию функциональность можно увеличивать подключением дополнительных расширений — «модулей» в терминологии Drupal.

Наиболее важные функции, предоставляемые Drupal" :

· единая категоризация всех видов содержимого (таксономия) — от форумных сообщений до блогов и новостных статей

· широкий набор свойств при построении рубрикаторов: плоские списки, иерархии, иерархии с общими предками, синонимы, родственные категории

· вложенность категорий любой глубины

· поиск по содержимому сайта, в том числе поиск по таксономии и пользователям

· разграничение доступа пользователей к материалам (ролевая модель)

· динамическое построение меню

· поддержка XML — форматов:

· вывод документов в RDF/RSS

· агрегация материалов с других сайтов

· BlogAPI для публикации материалов с помощью внешних приложений

· авторизация через OpenID

· символьные осмысленные URL

· переводы интерфейса сайта на разные языки, а также поддержка ведения разноязычного контента

· возможность создания сайтов с пересекающимся содержимым (например общей базой пользователей или общими настройками)

· раздельные конфигурации сайта для различных виртуальных хостов (мультисайтинг), в том числе собственные наборы модулей и тем оформления для каждого подсайта.

· уведомления о выходящих обновлениях модулей.

4. Разработка ресурса «Поиск по ресурсу»

Разработанный ресурс предназначен для студентов и преподавателей, а также людей, чья профессия связана с поиском информации в Internet и разработкой сайтов.

Ресурс выполнен в виде блога в светлых тонах с простым дизайном.

Рис. 1 Скриншот разработанного ресурса

Меню включает в себя два пункта: главная и содержание. На главной странице расположены материалы на тему ресурса. На странице «Содержание» список всех доступных материалов, с указанием автора и количества просмотров.

Рис. 2 Скриншот страницы «Содержание»

Также на ресурсе присутствует поле поиска.

Рис. 3 Скриншот поля поиска

Поиск производится в рамках разработанного ресурса.

Рис. 4 Пример поискового запроса

Поиск по ресурсу может выполнятся двумя способами:

· По введенному поисковому запросу

· По введенному поисковому запросу и дополнительным критериям (автор материала, язык)

поиск ресурс ключевое слово Рис. 5 Пример поискового запроса с дополнительными критериями Поиск был разработан с помощью CMS Joomla версии 3.3.6 Использовался компонент Joomla — Умный поиск.

Заключение

В этой работе были рассмотрены методы и формы поиска в рамках ресурса, критерии поиска по сайту, различные способы поиска по сайту, поиск с использованием ключевых слов, поисковых машин и с помощью CMS. Также были рассмотрены некоторые популярные CMS такие, как Joomla, MODX, TYPO3, Drupal.

Разработанный ресурс может быть использован в качестве дидактического материала для дисциплины «Web-технологии» и курсов по выбору «Основы Web-мастеринга», а также в элективных курсах школьной программы.

Реализация хорошего поиска по сайту — часто сильно недооцененная по сложности задача. Но модуль поиска нужен далеко не всем сайтам. Если на сайте несколько страниц — поиск не нужен. Если сайт обновляется раз в месяц или все обновления отражаются на главной странице — можно обойтись внешним поиском по сайту от крупных поисковых машин. Но некоторые задачи внешний поиск решить не сможет.

1. «Каким должен быть поиск по сайту» / Портал «Aleksius.com» — URL: http://aleksius.com/

2. «Поиска информации на сайте. (метод поиска — поиск по ключевым словам)» / Портал «Anboder. narod.ru» — URL: http://anboder. narod.ru/

3. «Как сделать поиск по сайту от Гугл? Ставим поиск Google на сайт через AdSense — Видеоурок» / Портал «Web — ru.net» — URL: http://web — ru.net/

4. «Яндекс. Поиск для сайта — готовое решение для организации поиска» / Портал «Яндекс» — URL: https: // site. yandex.ru/

5. «Google Поиск для сайтов» / Портал «Google» — URL: https: // www.google.com

6. «Joomla поиск» / Портал «Aleksius.com» — URL: http://aleksius.com/

7. «MODX» / Портал «Википедия, свободная энциклопедия» — URL: https: // ru. wikipedia.org

8. «TYPO3 Web Content Management Framework» / Портал «TYPO3» — URL: http://www.typo3.ru/

9. «Drupal» / Портал «Википедия, свободная энциклопедия» — URL: https: // ru. wikipedia.org

10. Кутовенко А. «Профессиональный поиск в Интернете»: Питер; СПб; 2011