HTTP-заголовки

При запросе какой-либо страницы сайта браузер пользователя посылает запрос (HTTP Request) серверу, в котором передает имя хоста (с www или без), ожидаемый медиатип и язык текста, возможность приема сжатого формата, запрашиваемый документ (маршрут указывается от корня сайта) и наименование — User Agent. После получения запроса сервер осуществляет поиск документа и дает ответ, состоящий из заголовка (Response Header) и тела.

В заголовке содержится ответ на запрос клиента и сопроводительная информация к документу. Его главной частью является код статуса. Если документ по данному URL найден и готов к отправке, передается код «200 ОК», в остальные случаях — статусы, сообщающие о дополнительных условиях передачи или ошибке.

Взаимодействие с поисковым роботом

В процессе поисковой оптимизации обмен данными с роботами происходит по той же схеме, что и с браузером. Единственное отличие заключается в том, что боты отправляют запросы только методом HEAD (получить один заголовок) или GET (получить документ). POST запросы, передающие информацию в форме, роботами не посылаются.

Гуглбот и яндексбот принимают любые (Accept:*/*) медиатипы и допускают сжатый gzip формат документов. Робот Google не запрашивает язык документа, Яндекс отдает предпочтение русским материалам, в меньшей степени украинским, белорусским и английским. Бот Рамблера изначально работает с контентом на русском языке, ограниченно — на английском. Кодировки и медиатипы распознаются автоматически.

Требования к HTTP заголовкам

Для эффективной раскрутки сайта необходимо, чтобы его CMS отдавал HTTP заголовок в соответствии со следующими требованиями.

Передача заголовка выполняется перед телом документа. После начала трансляции html кода попытка отправки заголовка приведет к тому, что выполнение скрипта будет завершено по ошибке.
Если для оформления страницы используется html шаблоны со вставками PHP кода, сервер не сможет вовремя отреагировать на запрос страниц, которых нет в базе данных сайта. Для решения данной проблемы применяют буферизацию вывода, что позволяет на любой стадии исполнения скрипта без отправки очистить буфер, передать код ошибки и выдать клиенту другую страницу.
В заголовке должны присутствовать медиатип и кодировка документа. Эту информацию можно добавлять в виде тега http-equip. Он используется как эквивалент заголовка для статических html-страниц. Данные в мета-теге должны совпадать с указанными в заголовке. Для более результативного продвижения сайтов в заголовке также передают язык документов (Content-language), дату и время редакции страницы (атрибут Last-Modified).