Стоимость процессинга токенов зарезает длинные транскрипты видео в LLM

Лимиты токенов заставляют поисковые ИИ-агенты игнорировать длинные видео в пользу узкотематических шортсов, объясняет Чарльз Флоат.

Чтобы не выжигать вычислительные мощности, движки жестко режут расход context window при поиске.

Когда LLM анализирует транскрипт 60-минутного видео на несколько тем, стоимость извлечения конкретной подтемы становится заградительной.

В итоге модель сбрасывает длинный текст и не может подтянуть целевые сущности в выдачу.

И наоборот: транскрипты 1-минутных видео с ответом на один узкий вопрос свободно обходят эти архитектурные ограничения.

Формат точного соответствия убирает размытие топика — это зеркалит лимиты site radius у алгоритма, которые требуют жесткой привязки к корневой теме.

Скармливая LLM сжатый транскрипт с одной переменной, система глотает ровно те элементы, которые нужны для цитирования, не триггеря фильтры обрезки костов.