Mike Blazer PRO

Статистика краулинга в GSC показывает, что старые URL часто тормозят загрузку сайтмапа на дропах

В октябре 2026 года вебмастер протестировал два домена на одном сервере: новый домен, где статус сайтмапа в GSC переключился на "Success" за 10 секунд, и недавно купленный дроп, у которого сайтмап завис на "Couldn't fetch" на 5 дней.

История в Wayback Machine не показала на дропе ничего подозрительного, а Bing Webmaster Tools распарсил тот же самый файл sitemap.xml без ошибок — то есть сбой на стороне сервера отпадал.

Логи Crawl Stats в GSC раскрывают, почему старые адреса от прошлого владельца часто тормозят загрузку сайтмапа на дропах, а гуглобот после смены владельца иногда снижает приоритет краулинга.

Отчёт Crawl Stats по дропу зафиксировал всего 23 запроса за 4 дня: 57% из них отдали 404 при обходах типа Refresh, тогда как запросов Discovery было ноль.

В логе 404 светились только старые адреса миниатюр и файл ads.txt от прежнего владельца — для них ответ 404 штатный и чинить там нечего, — а к sitemap.xml бот не обратился ни разу; значит, плашка "Couldn't fetch", скорее всего, просто зависла в медленной очереди, а не сигнализировала о фильтре.

Поскольку за дропами часто тянется шлейф задержек краулинга и старого мусора от прошлого владельца, отличить реальную блокировку от медленной очереди помогут четыре последовательные проверки:

  1. Проверь разделы Settings > robots.txt и Security & Manual Actions в GSC: убедись, что в последней версии robots.txt — гуглобот обновляет её примерно раз в сутки — не осталось старых запретов на путь к сайтмапу, при устаревшем кеше отправь запрос на переобход, проверь, что в самом сайтмапе нет закрытых от индексации старых адресов и файл не отваливается по таймауту из-за размера, а заодно загляни в Manual Actions на предмет скрытых старых санкций.
  2. Отфильтруй отчёт Settings > Crawl stats по типам файлов и открой строки 404 и Unknown со сбоями запросов — так станет ясно, отвалился ли sitemap.xml из-за путаницы между http и https или версиями с www и без www, либо же файла в списке вообще нет, потому что гуглобот за ним ещё не приходил.
  3. Открой адрес сайтмапа в режиме инкогнито и проверь заголовки HTTP: файл должен отдавать чистый код 200 без единого редиректа в точном соответствии с ресурсом в GSC, без случайной директивы X-Robots-Tag noindex и с рабочими настройками SSL, CDN и фаервола для этого дропа.
  4. Запусти проверку в реальном времени через URL Inspection для адреса сайтмапа, чтобы убедиться, что гуглобот видит файл; если живой тест проходит успешно при статусе "Couldn't fetch" в отчёте, значит, сайтмап просто ждёт своей очереди.

Свежий обход Discovery проталкивает застрявший в очереди сайтмап дропа за несколько дней: пропиши директиву Sitemap: https://yourdomain/sitemap.xml в robots.txt, запроси индексацию через URL Inspection для главной, самого сайтмапа или 2 или 3 самых важных страниц и поставь ссылку на домен с площадки, которую Google уже часто сканирует.

Насчёт того, ускоряет ли очередь повторная отправка файла в GSC, один специалист отмечает, что после успешного живого теста переотправка застрявший сайтмап не подгонит, тогда как другой вебмастер рассказывает, что удаление и повторное добавление сайтмапа примерно от 5 до 10 раз может принудительно сменить статус с "Couldn't fetch" на "Success".

Источник

Все тактики только в PRO. Новые разборы каждую неделю — не пропусти.

Подписаться на PRO →