Оставить заявку

Поисковые роботы

Для сканирования веб-сайтов поисковые системы используют роботов (пауков, краулеров) — программы для индексации страниц и занесения полученной информации в базу данных. Принцип действия паука похож на работу браузера: он оценивает содержимое страницы, сохраняет ее на сервере поисковика и переходит по гиперссылкам в другие разделы.

Разработчики поисковых систем могут ограничивать максимальный объем сканируемого текста и глубину проникновения робота внутрь ресурса. Поэтому для эффективной раскрутки сайта эти параметры корректируют в соответствии с особенностями индексации страниц различными пауками.

Частота визитов, порядок обхода сайтов и критерии определения релевантности информации запросам пользователей задаются поисковыми алгоритмами. Если на продвигаемый ресурс ведет хотя бы одна ссылка с другого веб-сайта, роботы со временем его проиндексируют (чем больше вес линка, тем быстрее). В обратном случае для ускорения раскрутки сайта его URL добавляют в базу данных поисковых систем вручную.

Виды пауков

В зависимости от назначения различают следующие виды поисковых роботов.

  • национальные, или главные. Собирают информацию с одного национального домена, например, .ru или .su, и принятых к индексации сайтов;
  • глобальные. Осуществляют сбор данных со всех национальных сайтов;
  • индексаторы картинок, аудио и видео файлов;
  • зеркальщики. Определяют зеркала ресурсов;
  • ссылочные. Подсчитывают число ссылок на сайте;
  • подсветчики. Оформляют результаты поисковых систем, например, выделяют в тексте запрашиваемые словосочетания;
  • проверяющие. Контролируют наличие ресурса в базе данных поисковика и число проиндексированных документов;
  • стукачи (или дятлы). Периодически определяют доступность сайта, страницы или документа, на который ведет ссылка;
  • шпионы. Выполняют поиск ссылок на ресурсы, еще не проиндексированные поисковыми системами;
  • смотрители. Запускаются в ручном режиме и перепроверяют полученные результаты;
  • исследователи. Используются для отладки поисковых алгоритмов и изучения отдельных сайтов;
  • быстрые роботы. В автоматическом режиме проверяют дату последнего обновления и оперативно индексируют новую информацию.

Обозначения

При поисковой оптимизации сайта часть контента закрывают от индексации роботами (личную переписку посетителей, корзины заказов, страницы с профилями зарегистрированных пользователей и т.д.). Для этого в файле robots.txt в поле User-agent прописывают имена роботов: для поисковой системы Яндекс — Yandex, для Google — Googlebot, для Rambler — StackRambler, для Yahoo — Yahoo! Slurp или Slurp, для MSN — MSNBot, для Alexa — ia_archiver и т.д.

Остались вопросы?

Наши специалисты расскажут, как увеличить прибыль вашей компании.

Вы можете обратиться за бесплатной консультацией, заказав обратный звонок: