Ответы 503 на robots.txt делают Googlebot слепым к постраничным 503-хидерам
Во время экстренных техработ на сервере отдача кода HTTP 503 (Service Unavailable) на файле robots.txt останавливает весь краулинг Googlebot по домену, поскольку бот не может проверить разрешения перед обходом HTML-страниц.