Эксперимент на 200 доменах намекает: Google и Bing фильтруют данные Common Crawl для LLM
Common Crawl распределяет приоритет краулинга на основе ежемесячной гармонической центральности на уровне домена и хоста, а не через PageRank, объясняет Стивен Бернс.
Алгоритм оценивает близость по кратчайшему пути в графе — это минимальное количество шагов до центральных нод веба.
Бэклинки с этих центральных нод разгоняют частоту краулинга CCBot и расширяют попадание в корпуса претрейна вроде C4 от Гугла.
Этот механизм вшивает ассоциации брендов и энтити напрямую в базовые веса параметрической памяти LLM, вместо оптимизации под RAG (генерацию с дополненной выборкой) в реальном времени.
При этом, чтобы пробиться в ежемесячный корпус на 2,3 миллиарда страниц, нужно пройти три технических фильтра, детализирует Стивен Бернс.
Во-первых, жестко разреши CCBot в robots.txt.
Во-вторых, закинь бота в вайтлист в обход дефолтных AI-блокеров на уровне CDN — конкретно на Cloudflare и Akamai.
В-третьих, отдавай контент чистым серверным HTML и текстом.
Краулер полностью игнорит JavaScript, картинки и видосы; в итоге сайты на клиентском рендере просто не существуют для датасета.
Бот запускает фазу дискавери через гармоническую центральность: здесь один линк с домена с высокой центральностью может перебить 50 ссылок с высоким PageRank для триггера краулинга.
Затем он уходит в многонедельный краул и собирает 120ТБ данных веба, которые выкатываются в паблик в конце каждого месяца.
С другой стороны, для проверки системы я запустил контролируемый эксперимент на 200 доменах, заблочив всех ботов кроме CCBot, чтобы изолировать механику поглощения, раскрывает Джеймс Дули.
В тесте участвовали синтетические энтити, для которых я строил бэклинки строго в 1 тир с трастовых доноров CC Rank 1 по гармонической центральности.
Спустя 10 недель сетап выдал ноль распознавания энтити в LLM.
Данные намекают: LLM не всасывают сырые датасеты Common Crawl в активные поисковые базы без промежуточной проверки индексами Google или Bing, которые работают как спам-фильтры.
Более того, чтобы расширить охват запросов в реальном времени, скейль офф-пейдж консенсус: собирай куски верифицированных отзывов в мультиформатные ассеты.
Заливай PDF на SlideShare, штампуй картинки с вшитым текстом, синдицируй видосы и аудио по 47 каталогам подкастов и сей цитаты из отзывов на Reddit с принудительной индексацией — так ты генерируешь дешевые ноды для подтверждения.