A maioria das surpresas na conta de LLM tem a mesma causa: alguma coisa ficou chamando a API sem ninguém olhando. Um loop de novas tentativas, um agente que não conseguia terminar, uma chave vazada num repositório público. Os alertas de orçamento avisam depois que aconteceu. Este post monta o controle de gastos em camadas, da conta até a requisição individual, e mostra quais partes a BroadNet Inference cuida e quais você adiciona no código.
Por que alertas não bastam?
Um alerta compara o gasto com um limite depois que o uso foi registrado. Um loop de agente pode fazer dezenas de requisições por minuto. Quando o e-mail chega, o dinheiro já foi. Use os alertas como rede de proteção e coloque a trava rígida onde a requisição é feita.
Quais são as camadas do controle de gastos com LLM?
| Camada | Controle | O que impede | Onde você configura |
|---|---|---|---|
| Conta | Saldo pré-pago | Gastar além do que você carregou | Conta no provedor |
| Chave | Uma chave por app ou agente | Um vazamento levar tudo | Portal do provedor |
| Chave | Lista de IPs permitidos | Uma chave roubada usada em outro lugar | Portal do provedor |
| Requisição | max_tokens, reasoning_effort |
Uma resposta enorme | Seu código |
| Job | Limite de passos, limite de novas tentativas, detecção de loop | Agentes descontrolados | Seu código |
| Job | Orçamento acumulado por tarefa e por dia | Vazamentos lentos em muitas chamadas | Seu código ou proxy |
| Relatórios | Registro de tokens e alertas | Desvios que você não notaria | Seus logs |
| Preço | Plano fixo ou chave por hora | O próprio medidor de tokens | Escolha do plano |
Nível da conta: como um saldo pré-pago limita o gasto?
As chaves de pagamento por uso da BroadNet Inference consomem um saldo pré-pago da conta; contas novas começam com $5 de crédito e sem cartão. Quando a franquia de pagamento por uso acaba, as requisições devolvem 401, e uma compra que o saldo não cobre (como uma chave por hora) devolve 402 insufficient_balance. Trate os dois como sinal de parada, não como algo para tentar de novo. A referência de erros da BroadNet também lista um limite de gasto entre as causas de um 429, então leia o corpo do erro antes de repetir qualquer 429. Todos os códigos de erro e como tratar 429 com backoff.
O saldo é o seu teto externo. Carregue o que você aceita perder neste mês, não o de um ano. Para dimensionar esse valor, passe antes o tráfego esperado pela calculadora de custo de API de LLM.
Nível da chave: como limitar o estrago de uma chave vazada?
Uma chave de API é poder de gasto: quem tem a chave pode usar o seu saldo. Limite o raio de alcance de cada chave:
- Uma chave por app, agente ou ambiente. A BroadNet permite até 10 chaves ativas por conta, cada uma válida por até um ano. Dê nomes a elas para que os logs mostrem qual gastou.
- Trave as chaves nos seus servidores. Adicione seus IPs de saída ou faixas CIDR à lista de IPs permitidos, com até 32 entradas. Requisições de outros endereços recebem 403.
- Revogue rápido. Revogações e mudanças na lista de IPs permitidos valem para novas requisições em até cinco segundos.
- Mantenha as credenciais do portal fora dos servidores. Elas podem criar chaves e fazer compras. Chaves de inferência só chamam modelos.
Trave as chaves de API com listas de IPs permitidos.
Nível da requisição: como limitar cada resposta?
Defina max_tokens em toda chamada. Nos modelos que raciocinam (DeepSeek V4.1 Flash, GLM 5.3, Qwen3.8 27B), mantenha em 1.000 ou mais, porque o raciocínio divide o mesmo orçamento e um valor baixo demais devolve uma resposta vazia que você paga mesmo assim. Reduza reasoning_effort em tarefas simples. Como os tokens de raciocínio são cobrados.
Nível do job: como parar um loop de agente descontrolado?
Loops descontrolados têm sinais reconhecíveis: a mesma chamada de ferramenta se repetindo, o contexto crescendo a cada turno e erros repetidos sem limite. Coloque uma proteção em volta do client:
import json, os, urllib.request
from openai import OpenAI
# Per-1M prices from BroadNet's machine-readable rate card
card = json.load(urllib.request.urlopen("https://inference.broadnet.ai/pricing.json"))
m = next(x for x in card["models"] if x["id"] == "broadnet/deepseek-v4.1-flash")
PRICE = {"in": m["input_per_m"], "cached": m["cached_input_per_m"], "out": m["output_per_m"]}
client = OpenAI(base_url="https://inference.broadnet.ai/v1", api_key=os.environ["BROADNET_API_KEY"], max_retries=3)
class BudgetExceeded(Exception): pass
class Guard:
def __init__(self, budget_usd, max_steps=40):
self.budget, self.max_steps, self.spent, self.steps, self.last = budget_usd, max_steps, 0.0, 0, []
def call(self, **kw):
self.steps += 1
if self.steps > self.max_steps: raise BudgetExceeded("step cap")
if self.spent >= self.budget: raise BudgetExceeded("budget")
r = client.chat.completions.create(max_tokens=kw.pop("max_tokens", 4000), **kw)
u = r.usage
cached = (u.prompt_tokens_details.cached_tokens or 0) if u.prompt_tokens_details else 0
self.spent += ((u.prompt_tokens - cached) * PRICE["in"] + cached * PRICE["cached"]
+ u.completion_tokens * PRICE["out"]) / 1e6
calls = [(t.function.name, t.function.arguments) for t in (r.choices[0].message.tool_calls or [])]
self.last = (self.last + [calls])[-3:]
if calls and len(self.last) == 3 and all(c == calls for c in self.last):
raise BudgetExceeded("same tool call three times")
return r
A proteção lê os preços da tabela em vez de fixá-los no código, então continua correta quando os preços mudam. Passe para call() o mesmo modelo cujo preço você leu. Mantenha max_retries baixo: os SDKs da OpenAI já repetem 429 e 5xx, e cada nova tentativa é cobrada de novo.
Para um time, rode a mesma checagem num proxy compartilhado, para que todos os serviços consumam um único orçamento diário. Novas tentativas também esbarram em limites de taxa: a calculadora de limite de taxa mostra quantas chamadas por minuto a sua chave realmente permite.
Relatórios: o que registrar e quando alertar?
Registre, em toda requisição: apelido da chave, nome da funcionalidade ou do agente, modelo, prompt_tokens, prompt_tokens_details.cached_tokens, completion_tokens, status e X-Request-ID. No streaming, defina stream_options: {"include_usage": true}, senão o uso nunca chega (guia de streaming).
A partir desses logs, crie alertas para:
- custo diário por chave acima do valor esperado na sua estimativa de custo;
- tokens por tarefa mais de três vezes acima da mediana;
- uma participação de cache em queda, que aumenta o custo sem mais tráfego;
- uma taxa crescente de respostas 429 ou 5xx, o que significa novas tentativas.
A BroadNet guarda registros sem conteúdo, como tempos, contagens de tokens e custo, não prompts, então o detalhe por funcionalidade fica nos seus logs. Evite registrar o conteúdo dos prompts se a sua política de dados proibir. Como montar um registro de uso com custo por usuário e por funcionalidade.
Nível do preço: quando um preço fixo ganha de um orçamento?
O controle de gastos mais confiável é um preço que não se mexe:
- Sessão de plano: $60 por mês (Full Moon), $15 por semana (Orbit) ou $1 por hora (Meteor) para DeepSeek V4.1 Flash ilimitado, uma requisição por vez. Requisições com uma chave de plano nunca consomem o seu saldo.
- Chave por hora: $0.50 por uma hora de Gemma 4 VL 26B em um stream. Boa para chaves que saem dos seus servidores. Chaves por hora explicadas.
Um loop num plano desperdiça tempo, não dinheiro. Você continua querendo limites de passos, porque um agente travado bloqueia a sessão para outros trabalhos. Se um plano sai mais barato que a sua conta medida depende do volume; a calculadora de preço fixo vs por token dá o ponto de equilíbrio para a sua mistura de tokens.
As tarifas por token também podem subir sem você perceber. 52 aumentos de preço de APIs de LLM arquivados mostram com que frequência isso aconteceu, em quais provedores e quanto.
Um checklist curto
- Saldo pré-pago dimensionado para o seu limite mensal.
- Uma chave com nome por app, com lista de IPs permitidos.
max_tokensem toda requisição.- Limite de passos, limite de novas tentativas e detecção de chamadas repetidas em todo agente.
- Custo acumulado por job, checado antes de cada chamada.
- Registro de tokens por requisição, com alertas nos seus limites.
- Um plano fixo ou uma chave por hora onde o uso for contínuo ou a chave ficar exposta.
Onde a BroadNet Inference se encaixa
A BroadNet entrega as camadas de conta e chave: saldo pré-pago, chaves separadas, listas de IPs permitidos com revogação em segundos, planos de preço fixo e chaves por hora. Ela não fornece os orçamentos por job deste post; eles ficam no seu código ou proxy. Se você precisa de orçamentos por time em muitos provedores, um gateway na frente de todos é a ferramenta certa. Veja os preços.
