Статистика краулинга в GSC показывает, что старые URL часто тормозят загрузку сайтмапа на дропах
В октябре 2026 года вебмастер протестировал два домена на одном сервере: новый домен, где статус сайтмапа в GSC переключился на "Success" за 10 секунд, и недавно купленный дроп, у которого сайтмап завис на "Couldn't fetch" на 5 дней.
История в Wayback Machine не показала на дропе ничего подозрительного, а Bing Webmaster Tools распарсил тот же самый файл sitemap.xml без ошибок — то есть сбой на стороне сервера отпадал.
Логи Crawl Stats в GSC раскрывают, почему старые адреса от прошлого владельца часто тормозят загрузку сайтмапа на дропах, а гуглобот после смены владельца иногда снижает приоритет краулинга.
Отчёт Crawl Stats по дропу зафиксировал всего 23 запроса за 4 дня: 57% из них отдали 404 при обходах типа Refresh, тогда как запросов Discovery было ноль.
В логе 404 светились только старые адреса миниатюр и файл ads.txt от прежнего владельца — для них ответ 404 штатный и чинить там нечего, — а к sitemap.xml бот не обратился ни разу; значит, плашка "Couldn't fetch", скорее всего, просто зависла в медленной очереди, а не сигнализировала о фильтре.
Поскольку за дропами часто тянется шлейф задержек краулинга и старого мусора от прошлого владельца, отличить реальную блокировку от медленной очереди помогут четыре последовательные проверки:
- Проверь разделы
Settings > robots.txtиSecurity & Manual ActionsвGSC: убедись, что в последней версииrobots.txt— гуглобот обновляет её примерно раз в сутки — не осталось старых запретов на путь к сайтмапу, при устаревшем кеше отправь запрос на переобход, проверь, что в самом сайтмапе нет закрытых от индексации старых адресов и файл не отваливается по таймауту из-за размера, а заодно загляни вManual Actionsна предмет скрытых старых санкций. - Отфильтруй отчёт
Settings > Crawl statsпо типам файлов и открой строки404иUnknownсо сбоями запросов — так станет ясно, отвалился лиsitemap.xmlиз-за путаницы междуhttpиhttpsили версиями сwwwи безwww, либо же файла в списке вообще нет, потому что гуглобот за ним ещё не приходил. - Открой адрес сайтмапа в режиме инкогнито и проверь заголовки
HTTP: файл должен отдавать чистый код200без единого редиректа в точном соответствии с ресурсом вGSC, без случайной директивыX-Robots-Tagnoindexи с рабочими настройкамиSSL,CDNи фаервола для этого дропа. - Запусти проверку в реальном времени через
URL Inspectionдля адреса сайтмапа, чтобы убедиться, что гуглобот видит файл; если живой тест проходит успешно при статусе"Couldn't fetch"в отчёте, значит, сайтмап просто ждёт своей очереди.
Свежий обход Discovery проталкивает застрявший в очереди сайтмап дропа за несколько дней: пропиши директиву Sitemap: https://yourdomain/sitemap.xml в robots.txt, запроси индексацию через URL Inspection для главной, самого сайтмапа или 2 или 3 самых важных страниц и поставь ссылку на домен с площадки, которую Google уже часто сканирует.
Насчёт того, ускоряет ли очередь повторная отправка файла в GSC, один специалист отмечает, что после успешного живого теста переотправка застрявший сайтмап не подгонит, тогда как другой вебмастер рассказывает, что удаление и повторное добавление сайтмапа примерно от 5 до 10 раз может принудительно сменить статус с "Couldn't fetch" на "Success".