Проверка заголовков сервера онлайн — HTTP-статус и редиректы

В браузере страница открывается, и всё выглядит нормально. А робот на том же адресе получает 404 или запрет индексации в заголовке ответа. Браузер вам этого не покажет: он подмешивает кеш, куки и расширения.

Поле выше делает запрос с нашего сервера. Вставляете адрес, нажимаете «Проверить» и видите сырой ответ: итоговый статус, каждый шаг редиректа и полный список заголовков.

Когда стоит заглянуть в заголовки

• После переезда сайта. Проверить, что старые адреса отдают 301, а не 302 или 404.
• При настройке HTTPS. Посмотреть, как идёт переход с http на https и сколько в цепочке прыжков.
• Когда просели позиции. Страница может отдавать 500, 403 или запрет индексации в X-Robots-Tag, хотя на вид с ней всё в порядке.
• При настройке кеширования. Увидеть реальные Cache-Control, Expires и Last-Modified.
• Перед размещением ссылки. Донор должен отдавать 200 и не быть закрыт от индексации на уровне сервера.

Как проверить и что придёт в ответ

1. Вставьте адрес. Протокол можно не писать: без него подставится https.
2. Нажмите «Проверить» или просто Enter.
3. Читайте ответ сверху вниз: сначала итоговый статус и конечный адрес, потом цепочка переходов, потом все заголовки.

Запрос уходит с нашего сервера, а не из вашего браузера. Следов вашего кеша, кук и расширений в ответе поэтому нет: сайт отвечает так, как отвечает любому внешнему клиенту. Роботом Яндекса мы при этом не притворяемся. Инструмент ходит под своим именем optmarketing-headers-check/1.0, и сайт, который режет ботов по User-Agent, ответит вам иначе, чем поисковику.

Редиректы проходим на глубину в пять шагов. Шестой обрывается ошибкой, и это тоже говорящий результат. Ответа ждём десять секунд. Молчит дольше, отвечает мусором или не находится в DNS: вы увидите текст ошибки, а не пустой экран.

На что смотреть в ответе

Статус. 200 значит, что страница отдаётся, 301 и 302 отправляют дальше, 404 не находит, 5xx роняет запрос на стороне сервера. Location показывает, куда именно ведёт переход. X-Robots-Tag умеет запрещать индексацию на уровне сервера, и в HTML-коде вы его не найдёте: из невидимых проблем эта самая обидная. Content-Type сообщает тип документа и кодировку. Cache-Control и Last-Modified управляют кешем и влияют на то, как часто робот возвращается к странице.

Заголовки выводятся от последнего ответа в цепочке. У промежуточных шагов видно код и адрес перехода: этого хватает, чтобы найти лишний прыжок.

Как читать цепочку: короткий пример

Проверяем http://example.ru. Инструмент показывает три строки:

• 301 с http://example.ru на http://www.example.ru/
• 301 с http://www.example.ru/ на https://www.example.ru/
• 200 OK, конечный адрес https://www.example.ru/

Вывод: до страницы посетитель добирается за два прыжка вместо одного. Сначала сервер дописывает www, потом переводит на https. Лечится одним правилом на веб-сервере: сразу с http://example.ru на https://www.example.ru/. Робот и человек сэкономят по запросу, а ссылочный вес не будет течь через лишнее звено.

Коды, которые встречаются реже

• 304. С прошлого визита страница не менялась. Для робота это норма, а не ошибка.
• 403. Доступ закрыт. Обычно режет фаервол, гео-фильтр или анти-бот защита.
• 429. Запросов слишком много, сервер просит сбавить темп.
• 451. Страница закрыта по требованию регулятора или правообладателя.
• 503. Сервис временно недоступен: перегрузка или техработы.

Что инструмент не делает

• Проверяет по одному адресу. Пакетной проверки списка и выгрузки в CSV здесь нет.
• Не копирует результат кнопкой. Ответ выводится текстом: выделите его мышью и скопируйте.
• Не подменяет User-Agent. Посмотреть на сайт глазами Googlebot не выйдет.
• Ходит только по публичным адресам. localhost, 192.168.x.x и прочая внутренняя сеть отклоняются: иначе через форму сканировали бы чужие серверы.
• Понимает только http и https и обычные веб-порты: 80, 443, 8080 и 8443.
• Не проверяет сертификат. Сайт с просроченным сертификатом ответит, хотя браузер посетителя на него ругается.

Частота ограничена: двадцать проверок за пять минут с одного адреса. Ручной работе это не мешает, а перебор чужих доменов останавливает.

Что делать с результатом

• Сводите цепочку к одному шагу. Каждый лишний прыжок тормозит загрузку и размывает ссылочный вес.
• Для постоянного переезда ставьте 301. Временный 302 сигналы старой страницы новой не передаёт.
• Прогоняйте варианты одного адреса: со слешем на конце и без, с www и без. Дубли должны сходиться к каноническому адресу за один переход.
• Получили не тот статус, которого ждали? Смотрите заголовок Server и всю цепочку. Лишний редирект часто добавляет CDN или хостинг, а не сама CMS.

Регистрация не нужна, адреса мы не сохраняем: запрос разовый и живёт ровно до показа результата. Возьмите за правило прогонять главные страницы после каждого обновления сайта. Минута на проверку дешевле, чем недели незаметной потери трафика.