Парсинг 100 000 карточек доказывает: Гугл прячет услуги в GBP от запросов из дата-центров
Прокси дата-центров при сборе выдачи Google Business Profile (GBP) отдают урезанные или измененные списки услуг, вскрывает Тед Кубайтис.
Чтобы заблокировать массовый парсинг со стороны LLM и конкурентов, Гугл фильтрует локальные данные на основе автономной системы (ASN) запроса и репутации IP-адреса.
Сбор 100 000 карточек за двухчасовое окно требует роутить все запросы строго через резидентные прокси; запуск абсолютно идентичного парсинга через дата-центровые ASN активирует фильтр и возвращает вычищенный ответ без ключевых данных по услугам.
При этом алгоритм использует действия пользователей как оружие для блокировки headless-парсинга в локал-паке.
Гугл активно прячет номера телефонов локального бизнеса из первичного HTML-ответа.
Система раскрывает контакты только когда курсор активирует конкретный hover-ивент над элементом.
Чтобы вытащить этот контент, парсеры должны выполнять JavaScript и физически подделывать наведение мыши перед сбором DOM.