Um prompt você escreve uma vez. O contexto é tudo o que o modelo vê a cada turno, e em um agente ele muda a cada turno.
Como funciona
O post de engenharia da Anthropic descreve a engenharia de contexto como “the set of strategies for curating and maintaining the optimal set of tokens” (tradução: o conjunto de estratégias para selecionar e manter o conjunto ideal de tokens) durante a inferência, incluindo informações além do prompt. A meta definida é encontrar o “smallest possible set of high-signal tokens” (tradução: menor conjunto possível de tokens de alto sinal) que torne provável o resultado desejado.
O motivo é que a atenção é limitada. O post diz que os modelos têm um “attention budget” (tradução: orçamento de atenção) e que a capacidade de lembrar cai conforme o contexto cresce, o que ele chama de context rot. A posição também importa: fatos no meio de um prompt longo passam despercebidos com mais facilidade (lost in the middle).
O post cita várias técnicas para agentes que rodam por muito tempo:
| Técnica | O que faz |
|---|---|
| Compactação | Resume o histórico perto do limite e continua a partir do resumo |
| Limpeza de resultados de ferramentas | Remove do histórico as saídas brutas antigas das ferramentas |
| Anotações estruturadas | O agente escreve notas em um arquivo fora do contexto e as relê depois |
| Subagentes | Fazem um trabalho focado em um contexto limpo e devolvem um resumo curto |
| Recuperação just-in-time | Guarda referências (caminhos de arquivo, consultas) e só carrega os dados quando precisa |
Um exemplo prático do orçamento de um turno em um agente de programação:
System prompt + rules 4,000 tokens
Tool definitions 6,000 tokens
Notes file 1,500 tokens
History (compacted) 20,000 tokens
Latest tool output 8,000 tokens <- largest single item
Por que isso importa
- Qualidade. Menos ruído no contexto costuma significar respostas melhores e menos instruções ignoradas.
- Custo. Na cobrança por token, cada token do contexto é cobrado em todo turno. Conteúdo estável colocado no início sai mais barato como entrada em cache; veja estrutura de prompt para cache.
- Duração da execução. Um bom gerenciamento de contexto permite que um agente trabalhe por horas sem bater na janela de contexto.
Na BroadNet Inference
A engenharia de contexto acontece no seu código: a API Chat Completions da BroadNet recebe a lista de mensagens que você enviar. DeepSeek V4.1 Flash e GLM 5.3 aceitam 1.048.576 tokens, Qwen3.8 27B 262.144 e Gemma 4 VL 26B 32K, então um contexto enxuto faz mais diferença no Gemma.
Quando o modelo informa, usage.prompt_tokens_details.cached_tokens mostra os tokens lidos do cache, cobrados pelo preço de entrada em cache no pagamento por uso. Gerenciamento de contexto para agentes de longa duração traz cinco regras práticas, e o post sobre o orçamento de tokens de um agente mostra para onde vão os tokens.