Ответы 503 на robots.txt делают Googlebot слепым к постраничным 503-хидерам
Во время экстренных техработ на сервере отдача кода HTTP 503 (Service Unavailable) на файле robots.txt останавливает весь краулинг Googlebot по домену, поскольку бот не может проверить разрешения перед обходом HTML-страниц.
Кеничи Судзуки объясняет, что из-за этого сбоя на входе Googlebot не доходит до постраничных хидеров 503 и в итоге не фиксирует режим временных техработ на сайте.
Напротив, стандартный код 200 на robots.txt — или отсутствие robots.txt с ответом HTTP 404, который Googlebot воспринимает как отсутствие ограничений на обход, — пропускает краулер к HTML-страницам, где постраничные статус-коды 503 снижают частоту обхода, но сохраняют текущее состояние индекса.
Более того, если во время сбоя ответы 503 висят долго, Googlebot включает три временных порога:
503наrobots.txtот 3 до 7 дней:Googlebotоткатывается к ранее закешированному файлуrobots.txtи возобновляет краулинг.503наrobots.txtдольше 30 дней: краулер может начать деиндексацию всего домена.- Постраничные
503от 1 до 3 месяцев:Googlebotпостепенно деиндексирует страницы — этот исход спикер подтвердил в живом тесте.
К тому же перенаправление URL через редиректы 301 или 302 на временную страницу техработ не затрагивает индекс на протяжении 1 или 2 обходов, но если оставить редирект активным от 1 до 2 дней, Google заменит в индексе исходные URL — особенно главную страницу — на заглушку техработ.