Промпт пишут один раз. Контекст — это всё, что модель видит на каждом шаге, и у агента он меняется с каждым шагом.
Как это работает
Инженерная статья Anthropic описывает контекстную инженерию как “the set of strategies for curating and maintaining the optimal set of tokens” (перевод: «набор стратегий для отбора и поддержания оптимального набора токенов») во время инференса, включая информацию за пределами промпта. Цель статья формулирует так: найти “smallest possible set of high-signal tokens” (перевод: «минимально возможный набор токенов с высокой ценностью сигнала»), который делает желаемый результат вероятным.
Причина — ограниченное внимание. По словам статьи, у моделей есть “attention budget” (перевод: «бюджет внимания»), а точность извлечения падает с ростом контекста; это явление статья называет деградацией контекста (context rot). Важна и позиция: факты в середине длинного промпта легче упустить (lost in the middle).
Для долго работающих агентов статья называет несколько приёмов:
| Приём | Что он делает |
|---|---|
| Сжатие | Суммаризирует историю у предела окна и продолжает работу с резюме |
| Очистка результатов инструментов | Убирает из истории старый сырой вывод инструментов |
| Структурированные заметки | Агент пишет заметки в файл вне контекста и позже перечитывает их |
| Субагенты | Выполняют узкую задачу в чистом контексте и возвращают короткое резюме |
| Извлечение по требованию (just-in-time) | Хранит ссылки (пути к файлам, запросы) и загружает данные только тогда, когда они нужны |
Пример бюджета одного шага у агента для программирования:
System prompt + rules 4,000 tokens
Tool definitions 6,000 tokens
Notes file 1,500 tokens
History (compacted) 20,000 tokens
Latest tool output 8,000 tokens <- largest single item
Почему это важно
- Качество. Чем меньше шума в контексте, тем обычно лучше ответы и тем реже модель пропускает инструкции.
- Стоимость. При оплате за токены каждый токен контекста оплачивается на каждом шаге. Стабильный контент в начале промпта обходится дешевле как вход из кэша; см. структуру промпта для кэширования.
- Длительность работы. Хорошее управление контекстом позволяет агенту работать часами, не упираясь в контекстное окно.
В BroadNet Inference
Контекстная инженерия происходит в вашем коде: Chat Completions API от BroadNet получает тот список сообщений, который вы отправили. DeepSeek V4.1 Flash и GLM 5.3 принимают 1 048 576 токенов, Qwen3.8 27B — 262 144, а Gemma 4 VL 26B — 32K, поэтому компактный контекст важнее всего на Gemma.
Если модель их сообщает, поле usage.prompt_tokens_details.cached_tokens показывает токены, прочитанные из кэша; при оплате по факту они тарифицируются по цене входа из кэша. В статье об управлении контекстом для долго работающих агентов собраны пять рабочих правил, а бюджет токенов агента показывает, на что уходят токены агента.