BroadRouter

Управление контекстом долгоживущих агентов с окном 1 млн токенов

Команда BroadNet Inference · 6 мин чтения · Опубликовано · Обновлено

Считайте контекст журналом, в который только дописывают: сначала неизменные системный промпт и список инструментов, затем растущая история, чтобы каждый ход переиспользовал кэшированный префикс. С окном 1 048 576 токенов, как у DeepSeek V4.1 Flash, сжимайте редко и крупными шагами, первым урезайте объёмный вывод инструментов, а устойчивые факты держите в коротком файле заметок, который агент перечитывает.

Агент для программирования, который работает полдня, накапливает много истории: прочитанные файлы, выполненные команды, вывод тестов, планы, исправления. Каждый ход отправляет всё это модели заново. То, как вы управляете растущим контекстом, определяет сразу три вещи: сколько стоит каждый ход, как быстро приходит ответ и помнит ли агент ещё, чем он занят.

Окно на 1 млн токенов меняет баланс компромиссов. Но не отменяет их.

Что даёт долгоживущему агенту окно на 1 млн токенов?

На BroadNet Inference модели DeepSeek V4.1 Flash и GLM 5.3 принимают до 1 048 576 токенов на запрос — промпт и ответ вместе. Qwen3.8 27B принимает 262 144. С окнами поменьше агенту приходится делать сводку после часа-двух работы. С миллионом токенов он обычно может держать сырую историю всей сессии и сжимать её только ближе к концу очень длинного прогона.

Это реальное преимущество: сводки теряют информацию, и каждая сводка — шанс забыть ту единственную деталь, которая была важна. Но три вида затрат всё равно растут вместе с промптом:

  • Деньги на ключе с оплатой за токены, потому что каждый ход заново отправляет весь промпт.
  • Задержка, потому что сервер должен обработать каждый входной токен до первого выходного.
  • Внимание. С ростом входа качество может падать; этот эффект называют деградацией контекста (context rot). В статье «Lost in the Middle» показано, что модели надёжнее используют информацию в начале и в конце длинного входа, чем в середине. Новые модели справляются лучше, но привычка держать важные факты ближе к краям по-прежнему окупается.

Правило 1: почему в историю нужно только дописывать?

Кэширование промптов ищет совпадение с начала промпта. Если первые 300 000 токенов этого хода совпадают с прошлым ходом, их можно отдать из кэша; первый изменившийся токен обрывает совпадение. API BroadNet сообщает об этом в usage.prompt_tokens_details.cached_tokens, если модель это поле отдаёт, и тарифицирует вход из кэша по сниженной ставке: $0.0055 за 1 млн токенов у DeepSeek V4.1 Flash против $0.175 за новый вход.

Поэтому собирайте каждый запрос в одном и том же порядке и только дописывайте в конец:

[ system prompt ]        never changes during a session
[ tool definitions ]     fixed order, never changes
[ project notes ]        changes rarely, and only by appending
[ turn 1 ... turn N ]    grows at the end
[ new message ]

Обычно префикс ломают метка времени в системном промпте, определения инструментов в нестабильном порядке и повторный рендеринг старых результатов инструментов. Для агентов добавьте ещё одну причину: обрезку «скользящим окном», которая каждый раз выкидывает самый старый ход и тем самым сдвигает всё, что идёт после него. Каждая из этих причин превращает кэшированный промпт в новый; в статье о структуре промпта для кэширования перечислены остальные, с тестом, который доказывает, что префикс кэшируется. В длинной сессии разница велика: большая часть промпта может идти как вход из кэша, а не как новый вход. Как тарифицируется вход из кэша.

Правило 2: как измерить долю попаданий в кэш?

Записывайте её в лог для каждого запроса. С OpenAI SDK для этого хватит трёх строк после вызова:

import os
from openai import OpenAI

client = OpenAI(base_url="https://inference.broadnet.ai/v1", api_key=os.environ["BROADNET_API_KEY"])

resp = client.chat.completions.create(model="broadnet/deepseek-v4.1-flash", messages=history, max_tokens=8000)
u = resp.usage
cached = (u.prompt_tokens_details.cached_tokens if u.prompt_tokens_details else 0) or 0
print(f"turn prompt={u.prompt_tokens:,} cached={cached:,} ({cached / max(1, u.prompt_tokens):.0%})")

У исправного агента с дописываемой историей доля кэша высокая на каждом ходе после первого. Резкое падение почти до нуля означает, что что-то изменилось в начале промпта. Найдите это и зафиксируйте. Калькулятор кэширования промптов переводит долю кэша в деньги за сессию.

Правило 3: что урезать первым, когда контекст растёт?

Когда контекст всё-таки нужно сократить, важно, что именно вы выбрасываете. В большинстве журналов агентов основной объём — вывод инструментов: лог тестов на 4000 строк, целый файл, прочитанный ради одной функции, листинг каталога. Ценная часть невелика: план, решения и их причины, исправленные ошибки.

Порядок урезания, от первого к последнему:

  1. Устаревший вывод инструментов. Замените тело старых результатов инструментов однострочной заглушкой: «запущен pytest: 3 падения в test_api.py (исправлено на ходе 14)».
  2. Неактуальное содержимое файлов. Если агент прочитал api.py, отредактировал его, а затем прочитал снова, первое чтение — мёртвый груз.
  3. Исследование, которое ни к чему не привело. Поиски и чтения, после которых ничего не изменилось.
  4. Рассуждения и планы. Храните их дольше всего. Они объясняют, почему код выглядит именно так.

Ещё лучше — обрезать вывод инструментов в момент его появления. Ограничьте каждый результат инструмента (например, последние 200 строк лога плюс общее число строк) и позвольте агенту запросить больше, если нужно. Так история остаётся и дописываемой, и компактной.

Правило 4: когда агенту сжимать историю?

Сжатие (сводка старой истории в более короткий блок) — тяжёлый инструмент. Оно переписывает префикс, поэтому ход после сжатия оплачивает полную цену входа за всё, что идёт после системного промпта. Сжимать понемногу каждые несколько ходов — значит платить эту цену снова и снова.

Лучше так:

  • Выберите высокий порог. При окне 1 млн сжатие, скажем, на 60–70% заполнения оставляет место и для хода со сводкой, и для длинного хвоста новой работы.
  • Сохраняйте недавний хвост дословно. Сводите в сводку старую часть, а последний отрезок ходов оставляйте нетронутым. Так описано в документации opencode по сжатию: он делает сводку разговора и сохраняет самую свежую часть, по умолчанию около 15 000 токенов.
  • Делайте сводку с полным промптом. Если отправить в запрос на сводку весь разговор, он переиспользует кэш предыдущего хода.
  • Сожмите один раз, затем снова только дописывайте. После сжатия новый префикс стабилен, и кэширование продолжается с него.

Правило 5: что хранить в файле заметок?

Некоторые факты должны пережить любое число сжатий: цель, ограничения, принятые решения, команды сборки и тестирования проекта. Храните их в коротком файле заметок (NOTES.md или файл задачи), в который агент дописывает и который перечитывает. Он стоит ближе к началу промпта, меняется редко и первым читается новой сессией, если прогон перезапускается.

Это и самый дешёвый вид памяти: несколько тысяч токенов, которые избавляют агента от повторного открытия тех же фактов после каждой сводки.

Как токены рассуждений влияют на бюджет?

DeepSeek V4.1 Flash, GLM 5.3 и Qwen3.8 27B рассуждают перед ответом, и рассуждения засчитываются в max_tokens. Длинная сессия этого не меняет, но большие промпты подталкивают снизить max_tokens, чтобы «сэкономить место». Не делайте этого. Слишком тесный бюджет вывода даёт пустые ответы, которые агент затем повторяет. Почему ответы приходят пустыми.

Помните и о том, что окно считает промпт и ответ вместе. Когда промпт приближается к 1 048 576 токенам, места для ответа не остаётся. Сжимайте раньше; калькулятор контекстного окна показывает, сколько места оставляет данный промпт.

Важно ли это на безлимитном тарифе?

В сессии по тарифу BroadNet у DeepSeek V4.1 Flash нет счётчика токенов: сессия Full Moon стоит $60 в месяц при любой длине промптов. Денежный довод в пользу кэширования исчезает. Два других остаются. Во многих системах инференса кэшированный префикс обычно обрабатывается быстрее, а хорошо управляемый контекст даёт лучшие ответы. Привычки те же, меняется только причина. Как работают сессии по тарифу.

Чек-лист управления контекстом

  • Системный промпт и список инструментов неизменны всю сессию.
  • В историю только дописывают; старые ходы не переформатируются.
  • Доля кэша записывается в лог для каждого запроса.
  • Вывод инструментов ограничивается при появлении; устаревший позже заменяется заглушками.
  • Сжатие на высоком пороге, с дословным сохранением недавнего хвоста.
  • Файл заметок с целью, ограничениями и решениями.
  • Бюджет вывода достаточно велик для рассуждений.

О том, когда окно на миллион токенов вообще стоит использовать, читайте в руководстве по контекстному окну 1 млн. О том, как останавливать сессии, которые растут без прогресса, — в статье о контроле стоимости циклов агента.

Вопросы и ответы

Зачем управлять контекстом, если у модели окно на 1 млн токенов?

Потому что с ростом промпта меняются цена, задержка и точность. Длинные промпты дольше обрабатываются, на ключе с оплатой за токены каждый ход стоит дороже, а исследования показывают, что модели менее надёжно используют информацию из середины длинного входа.

Как понять, попадает ли мой агент в кэш?

Если модель это сообщает, в блоке usage есть prompt_tokens_details.cached_tokens. Делите это значение на prompt_tokens для каждого запроса и записывайте долю в лог.

Нужно ли сжимать контекст на безлимитном тарифе?

Для счёта — нет: у сессии по тарифу нет счётчика токенов. Но для скорости и качества ответов в очень длинных сессиях это по-прежнему важно.

Открыть в MarkdownСпросить ChatGPTСпросить ClaudeСпросить Perplexity