BroadRouter
Начать

Контекстная инженерия (context engineering)

Обновлено

Контекстная инженерия — это работа по отбору и поддержанию набора токенов, который языковая модель видит в каждом запросе: системного промпта, описаний инструментов, истории, найденных документов и заметок. Цель — дать модели минимальный набор самой ценной информации, нужной, чтобы хорошо выполнить задачу.

Также называют: контекстная инженерия, инженерия контекста, управление контекстом, контекст-инжиниринг, context engineering, context management, agent context engineering

Промпт пишут один раз. Контекст — это всё, что модель видит на каждом шаге, и у агента он меняется с каждым шагом.

Как это работает

Инженерная статья Anthropic описывает контекстную инженерию как “the set of strategies for curating and maintaining the optimal set of tokens” (перевод: «набор стратегий для отбора и поддержания оптимального набора токенов») во время инференса, включая информацию за пределами промпта. Цель статья формулирует так: найти “smallest possible set of high-signal tokens” (перевод: «минимально возможный набор токенов с высокой ценностью сигнала»), который делает желаемый результат вероятным.

Причина — ограниченное внимание. По словам статьи, у моделей есть “attention budget” (перевод: «бюджет внимания»), а точность извлечения падает с ростом контекста; это явление статья называет деградацией контекста (context rot). Важна и позиция: факты в середине длинного промпта легче упустить (lost in the middle).

Для долго работающих агентов статья называет несколько приёмов:

Приём Что он делает
Сжатие Суммаризирует историю у предела окна и продолжает работу с резюме
Очистка результатов инструментов Убирает из истории старый сырой вывод инструментов
Структурированные заметки Агент пишет заметки в файл вне контекста и позже перечитывает их
Субагенты Выполняют узкую задачу в чистом контексте и возвращают короткое резюме
Извлечение по требованию (just-in-time) Хранит ссылки (пути к файлам, запросы) и загружает данные только тогда, когда они нужны

Пример бюджета одного шага у агента для программирования:

System prompt + rules          4,000 tokens
Tool definitions               6,000 tokens
Notes file                     1,500 tokens
History (compacted)           20,000 tokens
Latest tool output             8,000 tokens   <- largest single item

Почему это важно

  • Качество. Чем меньше шума в контексте, тем обычно лучше ответы и тем реже модель пропускает инструкции.
  • Стоимость. При оплате за токены каждый токен контекста оплачивается на каждом шаге. Стабильный контент в начале промпта обходится дешевле как вход из кэша; см. структуру промпта для кэширования.
  • Длительность работы. Хорошее управление контекстом позволяет агенту работать часами, не упираясь в контекстное окно.

В BroadNet Inference

Контекстная инженерия происходит в вашем коде: Chat Completions API от BroadNet получает тот список сообщений, который вы отправили. DeepSeek V4.1 Flash и GLM 5.3 принимают 1 048 576 токенов, Qwen3.8 27B — 262 144, а Gemma 4 VL 26B — 32K, поэтому компактный контекст важнее всего на Gemma.

Если модель их сообщает, поле usage.prompt_tokens_details.cached_tokens показывает токены, прочитанные из кэша; при оплате по факту они тарифицируются по цене входа из кэша. В статье об управлении контекстом для долго работающих агентов собраны пять рабочих правил, а бюджет токенов агента показывает, на что уходят токены агента.

Вопросы и ответы

Чем контекстная инженерия отличается от промпт-инжиниринга?

Промпт-инжиниринг — это умение писать хорошие инструкции. Контекстная инженерия охватывает всё, что модель видит на шаге, включая описания инструментов, историю и найденные данные, а также то, как этот набор меняется за долгую сессию.

Почему бы просто не взять модель с контекстным окном побольше?

Большое окно откладывает проблему, но не решает её. Anthropic отмечает, что с ростом контекста модель хуже извлекает нужное, а при оплате за токены каждый лишний токен оплачивается заново на каждом шаге.

С чего начать?

Измерьте, чем заполнен ваш контекст. Обычно больше всего места занимают вывод инструментов и старая история, а обрезать или суммаризировать их несложно.

Открыть в MarkdownСпросить ChatGPTСпросить ClaudeСпросить Perplexity