Агент для программирования, который работает полдня, накапливает много истории: прочитанные файлы, выполненные команды, вывод тестов, планы, исправления. Каждый ход отправляет всё это модели заново. То, как вы управляете растущим контекстом, определяет сразу три вещи: сколько стоит каждый ход, как быстро приходит ответ и помнит ли агент ещё, чем он занят.
Окно на 1 млн токенов меняет баланс компромиссов. Но не отменяет их.
Что даёт долгоживущему агенту окно на 1 млн токенов?
На BroadNet Inference модели DeepSeek V4.1 Flash и GLM 5.3 принимают до 1 048 576 токенов на запрос — промпт и ответ вместе. Qwen3.8 27B принимает 262 144. С окнами поменьше агенту приходится делать сводку после часа-двух работы. С миллионом токенов он обычно может держать сырую историю всей сессии и сжимать её только ближе к концу очень длинного прогона.
Это реальное преимущество: сводки теряют информацию, и каждая сводка — шанс забыть ту единственную деталь, которая была важна. Но три вида затрат всё равно растут вместе с промптом:
- Деньги на ключе с оплатой за токены, потому что каждый ход заново отправляет весь промпт.
- Задержка, потому что сервер должен обработать каждый входной токен до первого выходного.
- Внимание. С ростом входа качество может падать; этот эффект называют деградацией контекста (context rot). В статье «Lost in the Middle» показано, что модели надёжнее используют информацию в начале и в конце длинного входа, чем в середине. Новые модели справляются лучше, но привычка держать важные факты ближе к краям по-прежнему окупается.
Правило 1: почему в историю нужно только дописывать?
Кэширование промптов ищет совпадение с начала промпта. Если первые 300 000 токенов этого хода совпадают с прошлым ходом, их можно отдать из кэша; первый изменившийся токен обрывает совпадение. API BroadNet сообщает об этом в usage.prompt_tokens_details.cached_tokens, если модель это поле отдаёт, и тарифицирует вход из кэша по сниженной ставке: $0.0055 за 1 млн токенов у DeepSeek V4.1 Flash против $0.175 за новый вход.
Поэтому собирайте каждый запрос в одном и том же порядке и только дописывайте в конец:
[ system prompt ] never changes during a session
[ tool definitions ] fixed order, never changes
[ project notes ] changes rarely, and only by appending
[ turn 1 ... turn N ] grows at the end
[ new message ]
Обычно префикс ломают метка времени в системном промпте, определения инструментов в нестабильном порядке и повторный рендеринг старых результатов инструментов. Для агентов добавьте ещё одну причину: обрезку «скользящим окном», которая каждый раз выкидывает самый старый ход и тем самым сдвигает всё, что идёт после него. Каждая из этих причин превращает кэшированный промпт в новый; в статье о структуре промпта для кэширования перечислены остальные, с тестом, который доказывает, что префикс кэшируется. В длинной сессии разница велика: большая часть промпта может идти как вход из кэша, а не как новый вход. Как тарифицируется вход из кэша.
Правило 2: как измерить долю попаданий в кэш?
Записывайте её в лог для каждого запроса. С OpenAI SDK для этого хватит трёх строк после вызова:
import os
from openai import OpenAI
client = OpenAI(base_url="https://inference.broadnet.ai/v1", api_key=os.environ["BROADNET_API_KEY"])
resp = client.chat.completions.create(model="broadnet/deepseek-v4.1-flash", messages=history, max_tokens=8000)
u = resp.usage
cached = (u.prompt_tokens_details.cached_tokens if u.prompt_tokens_details else 0) or 0
print(f"turn prompt={u.prompt_tokens:,} cached={cached:,} ({cached / max(1, u.prompt_tokens):.0%})")
У исправного агента с дописываемой историей доля кэша высокая на каждом ходе после первого. Резкое падение почти до нуля означает, что что-то изменилось в начале промпта. Найдите это и зафиксируйте. Калькулятор кэширования промптов переводит долю кэша в деньги за сессию.
Правило 3: что урезать первым, когда контекст растёт?
Когда контекст всё-таки нужно сократить, важно, что именно вы выбрасываете. В большинстве журналов агентов основной объём — вывод инструментов: лог тестов на 4000 строк, целый файл, прочитанный ради одной функции, листинг каталога. Ценная часть невелика: план, решения и их причины, исправленные ошибки.
Порядок урезания, от первого к последнему:
- Устаревший вывод инструментов. Замените тело старых результатов инструментов однострочной заглушкой: «запущен pytest: 3 падения в test_api.py (исправлено на ходе 14)».
- Неактуальное содержимое файлов. Если агент прочитал
api.py, отредактировал его, а затем прочитал снова, первое чтение — мёртвый груз. - Исследование, которое ни к чему не привело. Поиски и чтения, после которых ничего не изменилось.
- Рассуждения и планы. Храните их дольше всего. Они объясняют, почему код выглядит именно так.
Ещё лучше — обрезать вывод инструментов в момент его появления. Ограничьте каждый результат инструмента (например, последние 200 строк лога плюс общее число строк) и позвольте агенту запросить больше, если нужно. Так история остаётся и дописываемой, и компактной.
Правило 4: когда агенту сжимать историю?
Сжатие (сводка старой истории в более короткий блок) — тяжёлый инструмент. Оно переписывает префикс, поэтому ход после сжатия оплачивает полную цену входа за всё, что идёт после системного промпта. Сжимать понемногу каждые несколько ходов — значит платить эту цену снова и снова.
Лучше так:
- Выберите высокий порог. При окне 1 млн сжатие, скажем, на 60–70% заполнения оставляет место и для хода со сводкой, и для длинного хвоста новой работы.
- Сохраняйте недавний хвост дословно. Сводите в сводку старую часть, а последний отрезок ходов оставляйте нетронутым. Так описано в документации opencode по сжатию: он делает сводку разговора и сохраняет самую свежую часть, по умолчанию около 15 000 токенов.
- Делайте сводку с полным промптом. Если отправить в запрос на сводку весь разговор, он переиспользует кэш предыдущего хода.
- Сожмите один раз, затем снова только дописывайте. После сжатия новый префикс стабилен, и кэширование продолжается с него.
Правило 5: что хранить в файле заметок?
Некоторые факты должны пережить любое число сжатий: цель, ограничения, принятые решения, команды сборки и тестирования проекта. Храните их в коротком файле заметок (NOTES.md или файл задачи), в который агент дописывает и который перечитывает. Он стоит ближе к началу промпта, меняется редко и первым читается новой сессией, если прогон перезапускается.
Это и самый дешёвый вид памяти: несколько тысяч токенов, которые избавляют агента от повторного открытия тех же фактов после каждой сводки.
Как токены рассуждений влияют на бюджет?
DeepSeek V4.1 Flash, GLM 5.3 и Qwen3.8 27B рассуждают перед ответом, и рассуждения засчитываются в max_tokens. Длинная сессия этого не меняет, но большие промпты подталкивают снизить max_tokens, чтобы «сэкономить место». Не делайте этого. Слишком тесный бюджет вывода даёт пустые ответы, которые агент затем повторяет. Почему ответы приходят пустыми.
Помните и о том, что окно считает промпт и ответ вместе. Когда промпт приближается к 1 048 576 токенам, места для ответа не остаётся. Сжимайте раньше; калькулятор контекстного окна показывает, сколько места оставляет данный промпт.
Важно ли это на безлимитном тарифе?
В сессии по тарифу BroadNet у DeepSeek V4.1 Flash нет счётчика токенов: сессия Full Moon стоит $60 в месяц при любой длине промптов. Денежный довод в пользу кэширования исчезает. Два других остаются. Во многих системах инференса кэшированный префикс обычно обрабатывается быстрее, а хорошо управляемый контекст даёт лучшие ответы. Привычки те же, меняется только причина. Как работают сессии по тарифу.
Чек-лист управления контекстом
- Системный промпт и список инструментов неизменны всю сессию.
- В историю только дописывают; старые ходы не переформатируются.
- Доля кэша записывается в лог для каждого запроса.
- Вывод инструментов ограничивается при появлении; устаревший позже заменяется заглушками.
- Сжатие на высоком пороге, с дословным сохранением недавнего хвоста.
- Файл заметок с целью, ограничениями и решениями.
- Бюджет вывода достаточно велик для рассуждений.
О том, когда окно на миллион токенов вообще стоит использовать, читайте в руководстве по контекстному окну 1 млн. О том, как останавливать сессии, которые растут без прогресса, — в статье о контроле стоимости циклов агента.
