Автоматические RSS-ленты загоняют сайт под хостовый фильтр. Удаление фида возвращает страницы в индекс за 72 часа

Исторически автоматическое наполнение разделов форума через внешние RSS-ленты триггерило мгновенный хостовый фильтр, рассказывает Майкл Мартинес.

Более 20 лет назад настройка всего одного нового раздела на форуме SF-фандома под автогенерацию постов через RSS привела к бану всего домена.

При этом снос автоматических фидов и отправка запроса на пересмотр снимают эти санкции.

После удаления фида домен вернулся в индекс за два-три дня.

Конкретные технические параметры и пороги фильтрации для современного автоматического парсинга контента в источнике не раскрываются.