Mike Blazer PRO

Ответы 503 на robots.txt делают Googlebot слепым к постраничным 503-хидерам

Во время экстренных техработ на сервере отдача кода HTTP 503 (Service Unavailable) на файле robots.txt останавливает весь краулинг Googlebot по домену, поскольку бот не может проверить разрешения перед обходом HTML-страниц.

  • Robots.txt
  • HTTP Headers
  • Googlebot

Здесь — теория. В PRO — рабочая механика.

Подписаться на PRO →