Относительные URL во внутреннем поиске сливают краулинговый бюджет, а жесткие 404 вытаскивают 40,000 ключей

Чтобы разорвать рекурсивные циклы папок, которые ловят в ловушку Googlebot, я блокирую доступ краулера ко внутреннему поиску и форсирую HTTP-заголовки 404 на всех битых путях, раскрывает Кэтрин Вотье Онг.

Относительные урлы внутри функционала поиска штампуют бесконечные фантомные страницы и вообще не отдают ошибку.

Статус любой другой код вместо 404 форсит краулер проваливаться в бесконечную вложенность папок.

Этот структурный баг сливает краулинговый бюджет и останавливает индексацию новых урлов.

Внедрение жесткого правила 404 на сайте Journal of the American College of Cardiology освободило бота.

Всего за месяц после выкатки в марте 2019 года сайт проиндексировался и начал ранжироваться по дополнительным 40,000 ключам, закинув почти 3,000 фраз на первую страницу Google.