Теги noindex скрывают массовую генерацию контента от Google и скармливают 8,341 программатик-страницу в LLM

Чтобы скрыть от Google злоупотребление масштабированнием контента, я вшиваю директивы noindex на программатик-страницы с нулевыми показами, делится Бен Луонг.

Управление автоматизированной контентной фабрикой на пике в 217 статей в день триггерит алгоритмические фильтры, которые снесли этот домен всего до 6 кликов за один месяц.

Снимая права на индексацию с мертвых урлов, я защищаю основной домен от дальнейших зачисток, сохраняя при этом массивный серверный футпринт на 8,341 страницу.

Впрочем, если оставить эти неиндексируемые страницы висеть на сервере, сторонние LLM-боты вынуждены поглощать эти данные для Generative Engine Optimization (GEO).

И пока Google выкидывает noindex урлы из выдачи, ИИ-краулеры продолжают парсить сырой HTML.

Я настраиваю конвейер публикации — через VPS — на непрерывную выкатку черновиков, а для генерации хватает и локальных моделей на Apple Silicon.

Когда юзеры закидывают в ИИ-движки нишевые запросы, LLM вытаскивают посеянные данные с этих скрытых страниц и выдают ровно те нарративы, которые мы в них зашили.