Декомпилированные пакеты Android раскрывают трекинг 527 звуков

Отслеживание пользователей в Google выходит за рамки логов кликов NavBoost в SERP и опирается на локальные модели, которые классифицируют физическую активность и фоновое аудио прямо на телефоне.

Оливье де Сегонзак рассказывает о декомпиляции пакетов Android вроде Personal Intelligence и AICore — они вскрывают эндпоинты, которые скачивают и запускают поведенческие модели на устройстве.

В отличие от стандартной веб-аналитики поисковой выдачи, эти локальные модели определяют, что делает человек: идет пешком, бежит, едет на велосипеде, сидит пассажиром в машине, едет в автобусе, метро или поезде, катается на лыжах, летит в самолете или плывет на лодке.

Поскольку микрофон непрерывно слушает фон в ожидании фразы активации "OK Google", телефон одновременно крутит встроенную онтологию AudioSet на 527 типов звуков с пороговыми триггерами — и распознает будильник, плач ребенка, смех, лай собаки у дома, свист, хлопок двери или аплодисменты, которые не вызывают никаких действий.

Google выстраивает карту регулярных еженедельных привычек: например, фиксирует вечернюю тренировку в четверг после работы — подгружая привычный музыкальный плейлист юзера — или субботний утренний поход за продуктами.

Выявленные рутины питают карточки Google Discover и формируют в поиске Google подсказки с нулевым префиксом: персонализированные запросы всплывают в тот самый момент, когда пользователь ставит курсор в поисковую строку, еще до ввода первого символа.

Параллельно Google встраивает локальные классификаторы интента прямо в Chrome — их можно проверить через chrome://components и Chrome Canary, — чтобы оставить обработку на устройстве и снизить нагрузку на серверы.

В то время как полные локальные модели вроде Nano 4 весят до 4GB на базе от 1 до 2 миллиардов пользователей Chrome, Google раскатывает более легкие модели с добровольным подключением, включая Embedding Gemma 2 на ~250MB, а также классификатор в стиле TypeSafe и JEEVES, выкаченный 8 октября — всего через от 15 дней до 3 недель после запуска JEEVES 15 сентября.

Работая на CPU пользователя через файлы весов дообучения LoRA, классификатор оценивает структуру страницы по заданной JSON-таксономии категорий и адаптирует функции браузера под тип страницы — бета-версию часто сначала раскатывают на сайтах в США.

На контентных проектах верхняя панель Gemini встраивает заранее сгенерированные промпты с предложением сделать выжимку редакционной статьи, тогда как в интернет-магазинах и на e-commerce-площадках предлагает свести воедино отзывы покупателей.

На платформах путешествий и бронирования вроде Booking.com, TripAdvisor и Hotels.com Google сейчас работает над тем, чтобы локальные модели парсили схемы интерактивных форм и переводили запросы на естественном языке — например, проживание через 3 недели на 3 человек с собакой в отеле на первой линии — в предзаполненные поля формы, позволяя запустить поиск без ручной навигации по странице.