Mike Blazer PRO

Ответы 503 на robots.txt делают Googlebot слепым к постраничным 503-хидерам

Во время экстренных техработ на сервере отдача кода HTTP 503 (Service Unavailable) на файле robots.txt останавливает весь краулинг Googlebot по домену, поскольку бот не может проверить разрешения перед обходом HTML-страниц.

Кеничи Судзуки объясняет, что из-за этого сбоя на входе Googlebot не доходит до постраничных хидеров 503 и в итоге не фиксирует режим временных техработ на сайте.

Напротив, стандартный код 200 на robots.txt — или отсутствие robots.txt с ответом HTTP 404, который Googlebot воспринимает как отсутствие ограничений на обход, — пропускает краулер к HTML-страницам, где постраничные статус-коды 503 снижают частоту обхода, но сохраняют текущее состояние индекса.

Более того, если во время сбоя ответы 503 висят долго, Googlebot включает три временных порога:

  • 503 на robots.txt от 3 до 7 дней: Googlebot откатывается к ранее закешированному файлу robots.txt и возобновляет краулинг.
  • 503 на robots.txt дольше 30 дней: краулер может начать деиндексацию всего домена.
  • Постраничные 503 от 1 до 3 месяцев: Googlebot постепенно деиндексирует страницы — этот исход спикер подтвердил в живом тесте.

К тому же перенаправление URL через редиректы 301 или 302 на временную страницу техработ не затрагивает индекс на протяжении 1 или 2 обходов, но если оставить редирект активным от 1 до 2 дней, Google заменит в индексе исходные URL — особенно главную страницу — на заглушку техработ.

Все тактики только в PRO. Новые разборы каждую неделю — не пропусти.

Подписаться на PRO →