Относительные URL во внутреннем поиске сливают краулинговый бюджет, а жесткие 404 вытаскивают 40,000 ключей
Чтобы разорвать рекурсивные циклы папок, которые ловят в ловушку Googlebot, я блокирую доступ краулера ко внутреннему поиску и форсирую HTTP-заголовки 404 на всех битых путях, раскрывает Кэтрин Вотье Онг.