Инсайды Google Search Central раскрывают шесть шлюзов в 20-часовой цепочке от краулинга до индексации

Почему новые урлы висят в статусе "Discovered – currently not indexed" или неделями ждут первого краулинга, тогда как другие домены залетают в индекс за считанные часы?

Зёрен Бендиг рассказывает, что по внутренним таймингам, которыми поделился Гэри Илш на Google Search Central Live в Барселоне, в среднем у Google уходит 20 часов на обнаружение нового урла и 1.5 часа на индексацию страницы после ее обработки.

Спикеры Google отмечают, что из-за сложности инфраструктуры они уверены на 90% в том, как ведут себя отдельные подсистемы, и дают эти цифры как общие средние значения.

Когда у домена возникают проблемы с техничкой или качеством, он пропускает свой плановый слот обработки, и обнаружение новых урлов растягивается: если Google находит новый урл через 3-4 недели вместо 20 часов в норме, это говорит о домене или проекте.

Отдельно Тобиас Шварц описывает, как еще до краулинга Google запускает модели машинного обучения, которые оценивают потенциальную добавленную ценность урла до скачивания любого HTML.

Хотя Google присваивает домену общую оценку качества, которая дает сильным сайтам куда больше свободы при обнаружении новых страниц, предкраулинговый МЛ-шлюз сразу тормозит малоценные урлы и выводит их в GSC со статусом "Discovered – currently not indexed".

Не читая контент страницы, модель оценивает количественные пороги по урлам, группирует адреса по паттернам в кластеры и предположительно размечает избыточные дубли из-за кривых миграций с HTTP на HTTPS, относительных ссылок или переставленных местами GET-параметров.

Большие объемы страниц в этом отчете говорят либо об узком месте в краулинговом бюджете, либо о системных багах генерации урлов, которые нужно вычищать.

Более того, после старта краулинга гуглобот оценивает серверные ошибки 500 и 429 4-часовыми интервалами.

Google режет скорость сканирования только тогда, когда частота ошибок показывает существенное изменение внутри 4-часового окна.

Если же домен стабильно отдает привычный фоновый уровень 500 ошибок, система фиксирует эту норму и игнорирует ошибки без замедления краулинга.

Вдобавок Google старается отсеивать манипулятивный контент, дубли и малоценные страницы еще до записи в индекс, а не пессимизировать их позже на этапе ранжирования.

Статус "Crawled – currently not indexed" в GSC означает, что Google скачал страницу, но МЛ-системы отбора в индекс отклонили документ.

Отказ срабатывает, когда система классифицирует страницу как Commodity Content — неуникальный материал, который уже растиражирован на 1,000 других сайтов, — либо определяет ее как дубль, почти полный дубль или Soft-404.

Что касается рендеринга, директива noindex в исходном HTML заставляет гуглобота скипать выполнение JavaScript и рендер страницы.

Клиентский JavaScript не может переписать тег noindex из исходного HTML обратно на index, поэтому Google прерывает рендеринг за ненадобностью.

Любая вторичная навигация, которая подгружается через рендер на такой странице, остается невидимой для Google.

Параллельно на этапе индексации Google запускает позиционное распознавание, чтобы выделить зоны страницы — такие как основной контент, хедер или футер — и снабжает извлеченный текст метками его расположения.

Система учитывает эти позиционные метки при формировании сниппетов в серпе и расчете веса в ранжировании, снижая вес текста в самом низу страницы и начисляя больше веса, когда ключевой контент поднят выше, в идеале — на первый экран.

То же позиционное правило работает и для индексации видео: у встроенного ролика должна быть отдельная страница просмотра, а сам он обязан стоять на первом экране, иначе Google не распознает и не выведет его как самостоятельное видео.