BroadRouter

Бюджет токенов агента: куда уходят токены в цикле агента

Команда BroadNet Inference · 5 мин чтения · Опубликовано

Цикл агента при каждом вызове заново отправляет весь контекст: системный промпт, описания инструментов, историю переписки, содержимое файлов и вывод инструментов, плюс новый шаг. Вход обычно во много раз больше выхода. Записывайте prompt_tokens, cached_tokens и completion_tokens по каждому вызову, найдите самый крупный повторяющийся блок, затем сократите инструменты, ограничьте их вывод и перезапускайте длинные сессии.

Чат стоит столько, сколько вы напечатали, плюс то, что написала модель. Агент стоит намного больше, потому что обращается к модели десятки раз и каждый раз заново отправляет почти всё. Если вы хотите сократить эти расходы или просто перестать упираться в контекстное окно, нужно знать, какая часть каждого запроса большая. В этой статье цикл агента разложен на пять корзин, показано, как измерить каждую по данным usage самого API, и перечислено, что сокращать первым.

Почему агент отправляет всё заново?

API chat completions не хранят состояние. Модель ничего не помнит между вызовами, поэтому агент на каждом шаге отправляет весь контекст. Задача из 40 шагов, где каждый вызов несёт 30 000 токенов, читает 1,2 млн входных токенов, чтобы выдать, допустим, 40 000 выходных. Именно из-за соотношения 30 к 1 в счетах агентов доминируют входные токены и их цена из кэша.

Куда уходят токены?

Корзина Что это Повторяется в каждом вызове? Что обычно раздувает
Системный промпт Инструкции агента, файлы правил, заметки о проекте Да Длинные файлы правил
Схемы инструментов Имя, описание и JSON Schema каждого инструмента Да Встроенные инструменты плюс каждый MCP-сервер
История Прошлые сообщения, вызовы инструментов и результаты Да, и растёт Длинные сессии
Чтение файлов и вывод инструментов Содержимое файлов, логи тестов, результаты поиска Да, пока не удалены Чтение файлов целиком, многословные команды
Выход Видимый ответ, вызовы инструментов и рассуждения Нет Усилие рассуждений, переписывание файлов целиком

Первые две корзины — постоянные накладные расходы. Cursor в сентябре 2026 г. написал, что системный промпт и описания инструментов “had become one of the largest sources of spend that we fully control” (перевод: «стали одним из крупнейших источников расходов, которые мы полностью контролируем»), а чтение файлов назвал “another large source of token spend” (перевод: «ещё одним крупным источником расхода токенов»). Его изменения, включая сокращение системного промпта примерно на две трети и загрузку инструментов, используемых менее чем в 20% разговоров, только по необходимости, снизили расходы пользователей на токены на 7%. Команда VS Code в GitHub назвала для Copilot те же две статьи расходов: повторяющийся префикс промпта и накладные расходы на описания инструментов.

Как это измерить?

Продукт для трассировки не нужен. Достаточно блока usage в каждом ответе.

  1. Включите usage. При стриминге добавьте stream_options: {"include_usage": true}; usage придёт в последнем чанке. См. стриминг.
  2. Записывайте по каждому вызову: номер шага, prompt_tokens, prompt_tokens_details.cached_tokens, completion_tokens и, если сообщается, completion_tokens_details.reasoning_tokens.
  3. Измерьте постоянные накладные расходы один раз. Отправьте один запрос только с системным промптом, инструментами и словом «hi». Его prompt_tokens — ваш минимальный уровень.
  4. Измерьте вывод инструмента. Считайте символы каждого результата инструмента до того, как добавить его в контекст. Деление на четыре даёт грубую оценку числа токенов для английского текста; чтобы получить точное число для токенизатора вашей модели, вставьте образец в бесплатный счётчик токенов.
r = client.chat.completions.create(model=MODEL, messages=msgs, tools=tools)
u = r.usage
cached = getattr(u.prompt_tokens_details, "cached_tokens", 0) or 0
log.info("step=%d prompt=%d cached=%d out=%d", step, u.prompt_tokens, cached, u.completion_tokens)

Постройте график prompt_tokens по шагам. Ровный наклон означает, что растёт история. Резкий скачок — что в контекст попал большой файл или лог. Высокий минимальный уровень — что инструментов слишком много.

В Aider команда /tokens показывает, что сейчас в контексте, а /drop удаляет из него файлы.

Что сокращать первым?

Упорядочивайте по размеру, умноженному на число повторов, а не по тому, что проще:

  1. Неиспользуемые инструменты. Схема каждого инструмента едет с каждым вызовом. В руководстве OpenAI сказано, что описания функций “are billed as input tokens” (перевод: «тарифицируются как входные токены»), и в качестве мягкого правила рекомендуется меньше 20 функций в начале хода. Отключайте MCP-серверы, которые не нужны в этой задаче; документация opencode прямо говорит, что инструменты MCP расходуют контекст модели.
  2. Вывод инструментов. Ограничивайте вывод команд (последние 200 строк лога тестов, а не 20 000). Возвращайте результаты поиска как пути и номера строк, а затем читайте только нужное.
  3. Чтение файлов. Читайте функцию, а не файл. Карта репозитория Aider использует бюджет по умолчанию 1 тыс. токенов (--map-tokens) вместо файлов целиком.
  4. История. Начинайте новую задачу на каждое изменение. Если сессию нужно продолжить, замените старые шаги короткой сводкой.
  5. Системный промпт. Уберите правила, которым модель и так следует. Остальное держите неизменным.
  6. Выход. Просите диффы, а не файлы целиком. Для рутинных шагов задавайте reasoning_effort равным low. Токены рассуждений оплачиваются как выход.

Зачем держать префикс неизменным?

Провайдеры кэшируют повторяющийся префикс и тарифицируют его по сниженной ставке. В BroadNet Inference DeepSeek V4.1 Flash тарифицирует вход из кэша по $0.0055 за 1 млн токенов, а новый вход — по $0.175. GLM 5.3 берёт $0.173 против $0.78. Метка времени в системном промпте или инструменты в разном порядке при каждом вызове ломают кэш с этого места. Ставьте неизменные части первыми, в фиксированном порядке, а меняющиеся — в конец. Подробнее — в статье о кэшированных входных токенах; калькулятор кэширования промптов показывает, сколько экономит заданная доля попаданий.

Кэширование снижает цену префикса, но не его размер. Токены из кэша всё равно занимают контекстное окно и всё равно требуют времени на обработку.

Как выглядит расчётный бюджет агента?

Возьмём ту же задачу из 40 шагов, где 80% входа попадает в кэш:

Часть Токенов Тарифицируется по
Новый вход 240 000 Цене входа
Вход из кэша 960 000 Цене входа из кэша
Выход, включая рассуждения 40 000 Цене выхода

Если убрать из каждого вызова 5 000 токенов схем неиспользуемых инструментов, из этой задачи уходит 200 000 входных токенов, примерно шестая часть всего объёма, без каких-либо изменений в поведении агента. Рычаги экономии помимо сокращения, такие как выбор модели, кэширование и фиксированные тарифы, описаны в статье 10 способов снизить расходы агента для программирования на LLM. Для мультиагентных систем умножайте на число агентов; см. сколько стоят мультиагентные системы. Чтобы смоделировать свой цикл шаг за шагом, используйте калькулятор стоимости запуска агента.

Место BroadNet Inference

BroadNet Inference возвращает в блоке usage входные и выходные токены, а также токены из кэша и токены рассуждений, если модель их сообщает, поэтому описанное выше измерение работает как есть. Низкая цена входа из кэша на DeepSeek V4.1 Flash вознаграждает неизменный префикс. Если сокращать контекст вам не стоит времени, безлимитные тарифы убирают счётчик токенов для DeepSeek V4.1 Flash за $60 в месяц за сессию; контекстное окно по-прежнему действует, а компактный контекст по-прежнему обрабатывается быстрее. Тарифы — на inference.broadnet.ai/plans.

Вопросы и ответы

Почему мой агент для программирования тратит так много входных токенов?

Потому что API не хранит состояние. Каждый вызов заново отправляет системный промпт, все описания инструментов, всю переписку и содержимое всех файлов, которые ещё в контексте. Длинная сессия умножает это на число шагов.

Как посмотреть, сколько токенов тратит каждый шаг агента?

Читайте блок usage в каждом ответе. При стриминге задайте stream_options include_usage равным true и читайте последний чанк. Записывайте prompt_tokens, prompt_tokens_details.cached_tokens и completion_tokens вместе с номером шага.

Считаются ли описания инструментов входными токенами?

Да. Список инструментов — часть промпта и отправляется при каждом вызове. MCP-серверы добавляют в этот список свои инструменты, поэтому документация opencode советует подключать только нужные серверы.

Решает ли проблему кэширование промптов?

Оно снижает цену повторяющегося префикса, но не его размер. Вход из кэша по-прежнему занимает контекстное окно. В BroadNet DeepSeek V4.1 Flash тарифицирует вход из кэша по $0.0055 за 1 млн токенов против $0.175 за новый вход.

Входят ли токены рассуждений в бюджет?

Да, на стороне выхода. Модели с рассуждениями засчитывают размышления в max_tokens и при оплате по факту тарифицируют их как выход. Для рутинных шагов задавайте reasoning_effort равным low.

Открыть в MarkdownСпросить ChatGPTСпросить ClaudeСпросить Perplexity