Логи сервера доказывают: дубли картинок на CDN сжирают краулинговый бюджет ИИ-ботов

Логи сервера вскрывают уязвимость, где ИИ-боты сжигают краулинговый бюджет e-commerce, зацикливаясь на дублях параметров картинок, раскрывает Парт.

Вместо парсинга основного текста и данных о товарах для ИИ-агентов, боты вязнут в тысячах идентичных URL изображений от динамических сетей доставки контента.

Этот баг архитектуры выкачивает лимиты краулера до того, как он доберется до транзакционного слоя.

Чтобы перекрыть этот слив, форсируй каноникал URL прямо на уровне CDN.

Настрой edge-уровень так, чтобы он срезал или игнорировал мусорные параметры картинок — метки отслеживания или динамические переменные размера — до того, как запрос уйдет на origin-сервер.

Такая фильтрация консолидирует запросы и бережет краулинговый бюджет чисто для ИИ-агентов.

При этом скрытие характеристик товара в аккордеонах на JS только усугубляет дефицит рендера.

Если ИИ-агент сливает основной бюджет в ловушке CDN, у него не остается ресурсов на запуск нужных JS-событий — в итоге бот наглухо игнорит скрытые детали товара.