---
title: "Управление контекстом долгоживущих LLM-агентов | BroadRouter"
description: "Как сохранить точность и низкую цену долгих сессий агента с окном 1 млн токенов: история только с дописыванием, промпты под кэш, когда сжимать и что убирать первым."
url: https://broadrouter.com/ru/blog/long-running-agent-context-management/
lang: ru
updated: 2026-11-14
publisher: BroadRouter (a BroadNet site); API by BroadNet Inference, https://inference.broadnet.ai
---

Переведено с английского с помощью ИИ. [Читать оригинал на английском](https://broadrouter.com/blog/long-running-agent-context-management/) (обновлён 2026-11-16).

# Управление контекстом долгоживущих агентов с окном 1 млн токенов

Команда BroadNet Inference · 6 мин чтения · Опубликовано 2026-11-14 · Обновлено 2026-11-16

Считайте контекст журналом, в который только дописывают: сначала неизменные системный промпт и список инструментов, затем растущая история, чтобы каждый ход переиспользовал кэшированный префикс. С окном 1 048 576 токенов, как у DeepSeek V4.1 Flash, сжимайте редко и крупными шагами, первым урезайте объёмный вывод инструментов, а устойчивые факты держите в коротком файле заметок, который агент перечитывает.

## Главное

-   Большое окно откладывает проблемы с контекстом, но не убирает их. Заранее решите, что делать у предела.
-   История, в которую только дописывают, сохраняет префикс промпта стабильным, и вход из кэша остаётся дешёвым.
-   Любая перезапись ранней истории ломает кэш начиная с этого места.
-   Урезайте объёмный вывод инструментов (логи, содержимое файлов) раньше, чем рассуждения и решения.
-   Сжимайте редко и крупными шагами, а устойчивые факты держите в коротком файле заметок.

**На этой странице**

1.  Что даёт долгоживущему агенту окно на 1 млн токенов?
2.  Правило 1: почему в историю нужно только дописывать?
3.  Правило 2: как измерить долю попаданий в кэш?
4.  Правило 3: что урезать первым, когда контекст растёт?
5.  Правило 4: когда агенту сжимать историю?
6.  Правило 5: что хранить в файле заметок?
7.  Как токены рассуждений влияют на бюджет?
8.  Важно ли это на безлимитном тарифе?
9.  Чек-лист управления контекстом

Агент для программирования, который работает полдня, накапливает много истории: прочитанные файлы, выполненные команды, вывод тестов, планы, исправления. Каждый ход отправляет всё это модели заново. То, как вы управляете растущим контекстом, определяет сразу три вещи: сколько стоит каждый ход, как быстро приходит ответ и помнит ли агент ещё, чем он занят.

Окно на 1 млн токенов меняет баланс компромиссов. Но не отменяет их.

## Что даёт долгоживущему агенту окно на 1 млн токенов?

На BroadNet Inference модели [DeepSeek V4.1 Flash](https://broadrouter.com/ru/models/deepseek-v4.1-flash/) и [GLM 5.3](https://broadrouter.com/ru/models/glm-5.3/) принимают до 1 048 576 токенов на запрос — промпт и ответ вместе. [Qwen3.8 27B](https://broadrouter.com/ru/models/qwen3.8-27b/) принимает 262 144. С окнами поменьше агенту приходится делать сводку после часа-двух работы. С миллионом токенов он обычно может держать сырую историю всей сессии и сжимать её только ближе к концу очень длинного прогона.

Это реальное преимущество: сводки теряют информацию, и каждая сводка — шанс забыть ту единственную деталь, которая была важна. Но три вида затрат всё равно растут вместе с промптом:

-   **Деньги** на ключе с оплатой за токены, потому что каждый ход заново отправляет весь промпт.
-   **Задержка**, потому что сервер должен обработать каждый входной токен до первого выходного.
-   **Внимание.** С ростом входа качество может падать; этот эффект называют [деградацией контекста (context rot)](https://broadrouter.com/ru/glossary/context-rot/). В статье [«Lost in the Middle»](https://arxiv.org/abs/2307.03172) показано, что модели надёжнее используют информацию в начале и в конце длинного входа, чем в середине. Новые модели справляются лучше, но привычка держать важные факты ближе к краям по-прежнему окупается.

## Правило 1: почему в историю нужно только дописывать?

Кэширование промптов ищет совпадение с начала промпта. Если первые 300 000 токенов этого хода совпадают с прошлым ходом, их можно отдать из кэша; первый изменившийся токен обрывает совпадение. API BroadNet сообщает об этом в `usage.prompt_tokens_details.cached_tokens`, если модель это поле отдаёт, и тарифицирует вход из кэша по сниженной ставке: $0.0055 за 1 млн токенов у DeepSeek V4.1 Flash против $0.175 за новый вход.

Поэтому собирайте каждый запрос в одном и том же порядке и только дописывайте в конец:

```text
[ system prompt ]        never changes during a session
[ tool definitions ]     fixed order, never changes
[ project notes ]        changes rarely, and only by appending
[ turn 1 ... turn N ]    grows at the end
[ new message ]
```

Обычно префикс ломают метка времени в системном промпте, определения инструментов в нестабильном порядке и повторный рендеринг старых результатов инструментов. Для агентов добавьте ещё одну причину: обрезку «скользящим окном», которая каждый раз выкидывает самый старый ход и тем самым сдвигает всё, что идёт после него. Каждая из этих причин превращает кэшированный промпт в новый; в статье [о структуре промпта для кэширования](https://broadrouter.com/ru/blog/prompt-structure-for-caching/) перечислены остальные, с тестом, который доказывает, что префикс кэшируется. В длинной сессии разница велика: большая часть промпта может идти как вход из кэша, а не как новый вход. [Как тарифицируется вход из кэша](https://broadrouter.com/ru/blog/cached-input-tokens-explained/).

## Правило 2: как измерить долю попаданий в кэш?

Записывайте её в лог для каждого запроса. С OpenAI SDK для этого хватит трёх строк после вызова:

```python
import os
from openai import OpenAI

client = OpenAI(base_url="https://inference.broadnet.ai/v1", api_key=os.environ["BROADNET_API_KEY"])

resp = client.chat.completions.create(model="broadnet/deepseek-v4.1-flash", messages=history, max_tokens=8000)
u = resp.usage
cached = (u.prompt_tokens_details.cached_tokens if u.prompt_tokens_details else 0) or 0
print(f"turn prompt={u.prompt_tokens:,} cached={cached:,} ({cached / max(1, u.prompt_tokens):.0%})")
```

У исправного агента с дописываемой историей доля кэша высокая на каждом ходе после первого. Резкое падение почти до нуля означает, что что-то изменилось в начале промпта. Найдите это и зафиксируйте. [Калькулятор кэширования промптов](https://broadrouter.com/tools/prompt-caching-calculator/) переводит долю кэша в деньги за сессию.

## Правило 3: что урезать первым, когда контекст растёт?

Когда контекст всё-таки нужно сократить, важно, что именно вы выбрасываете. В большинстве журналов агентов основной объём — вывод инструментов: лог тестов на 4000 строк, целый файл, прочитанный ради одной функции, листинг каталога. Ценная часть невелика: план, решения и их причины, исправленные ошибки.

Порядок урезания, от первого к последнему:

1.  **Устаревший вывод инструментов.** Замените тело старых результатов инструментов однострочной заглушкой: «запущен pytest: 3 падения в test\_api.py (исправлено на ходе 14)».
2.  **Неактуальное содержимое файлов.** Если агент прочитал `api.py`, отредактировал его, а затем прочитал снова, первое чтение — мёртвый груз.
3.  **Исследование, которое ни к чему не привело.** Поиски и чтения, после которых ничего не изменилось.
4.  **Рассуждения и планы.** Храните их дольше всего. Они объясняют, почему код выглядит именно так.

Ещё лучше — обрезать вывод инструментов в момент его появления. Ограничьте каждый результат инструмента (например, последние 200 строк лога плюс общее число строк) и позвольте агенту запросить больше, если нужно. Так история остаётся и дописываемой, и компактной.

## Правило 4: когда агенту сжимать историю?

Сжатие (сводка старой истории в более короткий блок) — тяжёлый инструмент. Оно переписывает префикс, поэтому ход после сжатия оплачивает полную цену входа за всё, что идёт после системного промпта. Сжимать понемногу каждые несколько ходов — значит платить эту цену снова и снова.

Лучше так:

-   **Выберите высокий порог.** При окне 1 млн сжатие, скажем, на 60–70% заполнения оставляет место и для хода со сводкой, и для длинного хвоста новой работы.
-   **Сохраняйте недавний хвост дословно.** Сводите в сводку старую часть, а последний отрезок ходов оставляйте нетронутым. Так описано в [документации opencode по сжатию](https://opencode.ai/docs/compaction/): он делает сводку разговора и сохраняет самую свежую часть, по умолчанию около 15 000 токенов.
-   **Делайте сводку с полным промптом.** Если отправить в запрос на сводку весь разговор, он переиспользует кэш предыдущего хода.
-   **Сожмите один раз, затем снова только дописывайте.** После сжатия новый префикс стабилен, и кэширование продолжается с него.

## Правило 5: что хранить в файле заметок?

Некоторые факты должны пережить любое число сжатий: цель, ограничения, принятые решения, команды сборки и тестирования проекта. Храните их в коротком файле заметок (`NOTES.md` или файл задачи), в который агент дописывает и который перечитывает. Он стоит ближе к началу промпта, меняется редко и первым читается новой сессией, если прогон перезапускается.

Это и самый дешёвый вид памяти: несколько тысяч токенов, которые избавляют агента от повторного открытия тех же фактов после каждой сводки.

## Как токены рассуждений влияют на бюджет?

DeepSeek V4.1 Flash, GLM 5.3 и Qwen3.8 27B рассуждают перед ответом, и рассуждения засчитываются в `max_tokens`. Длинная сессия этого не меняет, но большие промпты подталкивают снизить `max_tokens`, чтобы «сэкономить место». Не делайте этого. Слишком тесный бюджет вывода даёт пустые ответы, которые агент затем повторяет. [Почему ответы приходят пустыми](https://broadrouter.com/ru/guides/reasoning-tokens-empty-response/).

Помните и о том, что окно считает промпт и ответ вместе. Когда промпт приближается к 1 048 576 токенам, места для ответа не остаётся. Сжимайте раньше; [калькулятор контекстного окна](https://broadrouter.com/tools/context-window-calculator/) показывает, сколько места оставляет данный промпт.

## Важно ли это на безлимитном тарифе?

В сессии по тарифу BroadNet у DeepSeek V4.1 Flash нет счётчика токенов: сессия Full Moon стоит $60 в месяц при любой длине промптов. Денежный довод в пользу кэширования исчезает. Два других остаются. Во многих системах инференса кэшированный префикс обычно обрабатывается быстрее, а хорошо управляемый контекст даёт лучшие ответы. Привычки те же, меняется только причина. [Как работают сессии по тарифу](https://broadrouter.com/ru/guides/unlimited-llm-api-sessions/).

## Чек-лист управления контекстом

-   Системный промпт и список инструментов неизменны всю сессию.
-   В историю только дописывают; старые ходы не переформатируются.
-   Доля кэша записывается в лог для каждого запроса.
-   Вывод инструментов ограничивается при появлении; устаревший позже заменяется заглушками.
-   Сжатие на высоком пороге, с дословным сохранением недавнего хвоста.
-   Файл заметок с целью, ограничениями и решениями.
-   Бюджет вывода достаточно велик для рассуждений.

О том, когда окно на миллион токенов вообще стоит использовать, читайте в [руководстве по контекстному окну 1 млн](https://broadrouter.com/ru/blog/million-token-context-window-guide/). О том, как останавливать сессии, которые растут без прогресса, — в статье [о контроле стоимости циклов агента](https://broadrouter.com/ru/blog/cut-coding-agent-llm-costs/).

Бесплатные инструменты по теме (на английском)

-   [Agent run cost estimator](https://broadrouter.com/tools/agent-run-cost-estimator/) Context growth per step, total tokens and cost of one agent run, with a DeepSeek session comparison.
-   [LLM batch job planner](https://broadrouter.com/tools/llm-batch-job-planner/) Run time, binding limit, cost per model and the flat sessions needed to finish a big job by a deadline.
-   [Flat-rate vs per-token LLM cost calculator](https://broadrouter.com/tools/flat-rate-vs-per-token-calculator/) Break-even between an unlimited plan and paying per token, per agent.
-   [LLM rate limit and concurrency calculator](https://broadrouter.com/tools/llm-rate-limit-calculator/) Which limit binds first: RPM, TPM or concurrency, with Little's law.

[Бесплатные инструменты (на английском)](https://broadrouter.com/tools/)

## Термины в этой статье

[ИИ-агент (AI agent)](https://broadrouter.com/ru/glossary/agent/)

ИИ-агент — это система, в которой языковая модель сама направляет свои шаги к цели: решает, какие инструменты вызвать, читает результаты и повторяет, пока не выдаст итоговый ответ или не упрётся в лимит. Фиксированный сценарий, который вызывает модель в заранее заданных местах, обычно называют не агентом, а workflow.

[Контекстное окно (context window)](https://broadrouter.com/ru/glossary/context-window/)

Контекстное окно — это максимальное число токенов, с которым языковая модель может работать в одном запросе. В него входят промпт, история диалога, описания инструментов, изображения и сгенерированный ответ, включая токены рассуждений. Всё, что не помещается, приходится обрезать, сжимать в краткое изложение или делить на несколько запросов.

[Вызов инструментов (tool calling)](https://broadrouter.com/ru/glossary/tool-calling/)

Вызов инструментов (function calling) — это функция LLM API, при которой модель возвращает структурированный запрос на выполнение функции, заданной разработчиком, с аргументами в JSON. Приложение выполняет функцию и отправляет результат обратно; сама модель код никогда не выполняет.

[Деградация контекста (context rot)](https://broadrouter.com/ru/glossary/context-rot/)

Деградация контекста (context rot) — это постепенная потеря точности и надёжности языковых моделей по мере удлинения входа, даже если задача не меняется, а вход далеко не заполняет контекстное окно. Термин закрепился после технического отчёта Chroma 2025 года, в котором проверили 18 моделей.

[Потеря в середине (lost in the middle)](https://broadrouter.com/ru/glossary/lost-in-the-middle/)

Lost in the middle («потеря в середине») — это наблюдаемая склонность языковых моделей лучше всего использовать нужную информацию, когда она стоит ближе к началу или концу длинного ввода, и хуже всего — когда она находится в середине. Название эффекту дало исследование Liu и соавторов 2023 года.

[Токен (token)](https://broadrouter.com/ru/glossary/token/)

Токен — это единица текста, которую языковая модель читает и пишет: слово, часть слова, знак препинания или последовательность байтов, которую выдаёт токенизатор модели. LLM API считают, ограничивают и обычно тарифицируют использование в токенах.

[Вход из кэша (cached input tokens)](https://broadrouter.com/ru/glossary/cached-input-tokens/)

Вход из кэша (cached input tokens) — это токены промпта, которые провайдер LLM недавно обработал и может взять из кэша, а не вычислять заново; обычно это повторяющийся префикс, например системный промпт или документ. Провайдеры тарифицируют их дешевле, чем новые входные токены.

[ИИ-агент для программирования (AI coding agent)](https://broadrouter.com/ru/glossary/coding-agent/)

ИИ-агент для программирования — это инструмент, в котором языковая модель работает с кодовой базой в цикле: читает файлы, правит их, запускает команды, например тесты, читает вывод и решает, каким будет следующий шаг, пока задача не выполнена или не достигнут лимит.

## Вопросы и ответы

### Зачем управлять контекстом, если у модели окно на 1 млн токенов?

Потому что с ростом промпта меняются цена, задержка и точность. Длинные промпты дольше обрабатываются, на ключе с оплатой за токены каждый ход стоит дороже, а исследования показывают, что модели менее надёжно используют информацию из середины длинного входа.

### Как понять, попадает ли мой агент в кэш?

Если модель это сообщает, в блоке usage есть prompt\_tokens\_details.cached\_tokens. Делите это значение на prompt\_tokens для каждого запроса и записывайте долю в лог.

### Нужно ли сжимать контекст на безлимитном тарифе?

Для счёта — нет: у сессии по тарифу нет счётчика токенов. Но для скорости и качества ответов в очень длинных сессиях это по-прежнему важно.

## Читайте также

-   [Когда контекстное окно на 1 млн токенов оправдано (а когда нет)](https://broadrouter.com/ru/blog/million-token-context-window-guide/)
-   [Кэшированные входные токены: как снизить счёт за LLM API](https://broadrouter.com/ru/blog/cached-input-tokens-explained/)
-   [Как снизить расходы агента для программирования на LLM: 10 способов](https://broadrouter.com/ru/blog/cut-coding-agent-llm-costs/)
-   [Как безопасно запускать агентов для программирования на ночь](https://broadrouter.com/ru/blog/overnight-coding-agent-runs/)
-   [Сколько стоит один запуск ИИ-агента для кода: шаги, контекст, кэш](https://broadrouter.com/ru/blog/ai-coding-agent-run-cost/)
-   [Claude Code на открытых моделях: прокси, нативные эндпоинты, лимиты](https://broadrouter.com/ru/blog/claude-code-with-openai-compatible-models/)
-   [Руководство: Стриминг chat completions и обрыв соединения](https://broadrouter.com/ru/guides/streaming-chat-completions/)
-   [Руководство: Почему рассуждающая модель возвращает пустой ответ](https://broadrouter.com/ru/guides/reasoning-tokens-empty-response/)
-   [Руководство: Как устроены безлимитные тарифы LLM API для агентов](https://broadrouter.com/ru/guides/unlimited-llm-api-sessions/)

Проверьте на своей реальной нагрузке. Новые аккаунты получают стартовый грант US$5 на Gemma и распознавание речи. Для DeepSeek, GLM и Qwen3.8 нужно пополнить баланс.

[Начать](https://inference.broadnet.ai/account/?utm_source=broadrouter&utm_medium=referral&utm_campaign=ru-blog-long-running-agent-context-management&utm_content=page-cta) ·

**Источники**

-   [Справочник BroadNet Inference API, токены рассуждений и кэшированные токены (на английском)](https://inference.broadnet.ai/docs?utm_source=broadrouter&utm_medium=referral&utm_campaign=ru-blog-long-running-agent-context-management&utm_content=sources)
-   [Liu et al., Lost in the Middle: How Language Models Use Long Contexts (arXiv)](https://arxiv.org/abs/2307.03172)
-   [Документация opencode, сжатие контекста](https://opencode.ai/docs/compaction/)
