Um chat custa o que você digita mais o que o modelo escreve. Um agente custa muito mais, porque chama o modelo dezenas de vezes e reenvia quase tudo a cada vez. Se você quer cortar esse custo, ou só parar de bater na janela de contexto, precisa saber qual parte de cada requisição é grande. Este post divide um loop de agente em cinco categorias, mostra como medir cada uma com os próprios dados de uso da API e lista o que cortar primeiro.
Por que um agente reenvia tudo?
As APIs de chat completions são stateless. O modelo não lembra nada entre uma chamada e outra, então o agente envia o contexto completo a cada passo. Uma tarefa de 40 passos em que cada chamada carrega 30.000 tokens lê 1,2 milhão de tokens de entrada para produzir talvez 40.000 tokens de saída. Essa proporção de 30 para 1 é o motivo de os tokens de entrada e o preço deles em cache dominarem a conta de agentes.
Para onde vão os tokens?
| Categoria | O que é | Repete em toda chamada? | Causa típica |
|---|---|---|---|
| System prompt | Instruções do agente, arquivos de regras, notas do projeto | Sim | Arquivos de regras longos |
| Schemas de ferramentas | Nome, descrição e JSON Schema de cada ferramenta | Sim | Ferramentas embutidas mais cada servidor MCP |
| Histórico | Mensagens, chamadas de ferramenta e resultados anteriores | Sim, e cresce | Sessões longas |
| Leituras de arquivos e saída de ferramentas | Conteúdo de arquivos, logs de teste, resultados de busca | Sim, até serem removidos | Ler arquivos inteiros, comandos verbosos |
| Saída | Resposta visível, chamadas de ferramenta e raciocínio | Não | Esforço de raciocínio, reescrever arquivos inteiros |
As duas primeiras são custo fixo. Em setembro de 2026, a Cursor escreveu que o system prompt e as definições de ferramentas “had become one of the largest sources of spend that we fully control” (tradução: tinham virado uma das maiores fontes de gasto que controlamos totalmente), e chamou as leituras de arquivos de “another large source of token spend” (tradução: outra grande fonte de gasto de tokens). As mudanças dela, incluindo cortar cerca de dois terços do system prompt e carregar só quando necessário as ferramentas usadas em menos de 20% das conversas, reduziram em 7% o custo de tokens dos usuários. A equipe do VS Code no GitHub apontou os mesmos dois custos no Copilot: o prefixo de prompt repetido e o peso das definições de ferramentas.
Como medir?
Você não precisa de um produto de tracing. O bloco usage de cada resposta basta.
- Ative o usage. Com streaming, adicione
stream_options: {"include_usage": true}; o usage chega no último chunk. Veja streaming. - Registre por chamada: número do passo,
prompt_tokens,prompt_tokens_details.cached_tokens,completion_tokense, quando informado,completion_tokens_details.reasoning_tokens. - Meça o custo fixo uma vez. Envie uma requisição só com o system prompt e as ferramentas, e a palavra “hi”. O
prompt_tokensdela é o seu piso. - Meça a saída de uma ferramenta. Conte os caracteres de cada resultado de ferramenta antes de anexá-lo. Dividir por quatro dá uma contagem aproximada de tokens para inglês; cole uma amostra no contador de tokens gratuito para ter o número exato no tokenizer do seu modelo.
r = client.chat.completions.create(model=MODEL, messages=msgs, tools=tools)
u = r.usage
cached = getattr(u.prompt_tokens_details, "cached_tokens", 0) or 0
log.info("step=%d prompt=%d cached=%d out=%d", step, u.prompt_tokens, cached, u.completion_tokens)
Faça um gráfico de prompt_tokens por passo. Uma inclinação constante indica que o histórico está crescendo. Um salto repentino indica que um arquivo ou log grande entrou no contexto. Um piso alto indica ferramentas demais.
No Aider, /tokens mostra o que está no contexto atual, e /drop remove arquivos dele.
O que cortar primeiro?
Ordene por tamanho vezes repetições, não pelo que é mais fácil:
- Ferramentas sem uso. Cada schema de ferramenta vai junto em toda chamada. O guia da OpenAI diz que as definições de funções “are billed as input tokens” (tradução: são cobradas como tokens de entrada) e sugere, como regra flexível, menos de 20 funções no início de um turno. Desative os servidores MCP que você não usa nesta tarefa; a documentação do opencode diz com todas as letras que as ferramentas MCP consomem contexto do modelo.
- Saída de ferramentas. Limite a saída dos comandos (as últimas 200 linhas de um log de teste, não 20.000). Devolva resultados de busca como caminhos e números de linha, e depois leia só o que for necessário.
- Leituras de arquivos. Leia a função, não o arquivo. O mapa do repositório do Aider usa um orçamento padrão de 1k tokens (
--map-tokens) em vez de arquivos inteiros. - Histórico. Abra uma tarefa nova para cada mudança. Quando uma sessão precisa continuar, troque os turnos antigos por um resumo curto.
- System prompt. Tire as regras que o modelo já segue. Mantenha o resto estável.
- Saída. Peça diffs, não arquivos inteiros. Defina
reasoning_effortcomolowpara passos de rotina. Os tokens de raciocínio são cobrados como saída.
Por que manter o prefixo estável?
Os provedores guardam em cache um prefixo repetido e cobram por ele uma tarifa menor. Na BroadNet Inference, o DeepSeek V4.1 Flash cobra a entrada em cache a $0.0055 por 1M de tokens e a entrada nova a $0.175. O GLM 5.3 cobra $0.173 contra $0.78. Um timestamp no system prompt, ou ferramentas listadas numa ordem diferente a cada chamada, quebram o cache a partir daquele ponto. Coloque as partes estáveis primeiro, numa ordem fixa, e as que mudam por último. Mais detalhes em tokens de entrada em cache explicados; a calculadora de prompt caching mostra quanto uma dada taxa de acerto economiza.
O cache baixa o preço do prefixo, mas não o tamanho dele. Tokens em cache continuam ocupando a janela de contexto e continuam levando tempo para serem processados.
Como fica o orçamento de um agente de exemplo?
Pegue a tarefa de 40 passos acima, com 80% da entrada em cache:
| Parte | Tokens | Cobrados a |
|---|---|---|
| Entrada nova | 240.000 | Preço de entrada |
| Entrada em cache | 960.000 | Preço de entrada em cache |
| Saída incluindo raciocínio | 40.000 | Preço de saída |
Cortar 5.000 tokens de schemas de ferramentas sem uso em cada chamada tira 200.000 tokens de entrada desta tarefa, cerca de um sexto do total, sem mudar o comportamento do agente. Para as alavancas de custo além do corte, como escolha de modelo, cache e planos fixos, veja 10 formas de reduzir o custo de LLM de agentes de código. Para configurações multiagente, multiplique pelo número de agentes; veja quanto custam as configurações multiagente. Para modelar o seu próprio loop passo a passo, use o estimador de custo por execução de agente.
Onde a BroadNet Inference se encaixa
A BroadNet Inference devolve os tokens de prompt e de completion no bloco usage, mais os tokens em cache e de raciocínio quando o modelo os informa, então a medição acima funciona como está escrita. O preço baixo de entrada em cache no DeepSeek V4.1 Flash recompensa um prefixo estável. Se cortar não valer o seu tempo, os planos ilimitados removem o medidor de tokens do DeepSeek V4.1 Flash por $60 por mês por sessão; a janela de contexto continua valendo, e um contexto enxuto continua rodando mais rápido. Os planos estão em inference.broadnet.ai/plans.
