BroadRouter
Começar

Controle de gastos com API de LLM: orçamentos, limites e loops

Pela equipe da BroadNet Inference · 5 min de leitura · Publicado em · Atualizado em

Controle os gastos com API de LLM em camadas: um saldo pré-pago como teto da conta, uma chave por app travada nos IPs dos seus servidores, max_tokens e limite de passos em cada requisição, e um orçamento no código que para um job antes de ele estourar. Registre os tokens por chave e crie alertas com os seus próprios números. Planos fixos e chaves por hora limitam o pior cenário.

A maioria das surpresas na conta de LLM tem a mesma causa: alguma coisa ficou chamando a API sem ninguém olhando. Um loop de novas tentativas, um agente que não conseguia terminar, uma chave vazada num repositório público. Os alertas de orçamento avisam depois que aconteceu. Este post monta o controle de gastos em camadas, da conta até a requisição individual, e mostra quais partes a BroadNet Inference cuida e quais você adiciona no código.

Por que alertas não bastam?

Um alerta compara o gasto com um limite depois que o uso foi registrado. Um loop de agente pode fazer dezenas de requisições por minuto. Quando o e-mail chega, o dinheiro já foi. Use os alertas como rede de proteção e coloque a trava rígida onde a requisição é feita.

Quais são as camadas do controle de gastos com LLM?

Camada Controle O que impede Onde você configura
Conta Saldo pré-pago Gastar além do que você carregou Conta no provedor
Chave Uma chave por app ou agente Um vazamento levar tudo Portal do provedor
Chave Lista de IPs permitidos Uma chave roubada usada em outro lugar Portal do provedor
Requisição max_tokens, reasoning_effort Uma resposta enorme Seu código
Job Limite de passos, limite de novas tentativas, detecção de loop Agentes descontrolados Seu código
Job Orçamento acumulado por tarefa e por dia Vazamentos lentos em muitas chamadas Seu código ou proxy
Relatórios Registro de tokens e alertas Desvios que você não notaria Seus logs
Preço Plano fixo ou chave por hora O próprio medidor de tokens Escolha do plano

Nível da conta: como um saldo pré-pago limita o gasto?

As chaves de pagamento por uso da BroadNet Inference consomem um saldo pré-pago da conta; contas novas começam com $5 de crédito e sem cartão. Quando a franquia de pagamento por uso acaba, as requisições devolvem 401, e uma compra que o saldo não cobre (como uma chave por hora) devolve 402 insufficient_balance. Trate os dois como sinal de parada, não como algo para tentar de novo. A referência de erros da BroadNet também lista um limite de gasto entre as causas de um 429, então leia o corpo do erro antes de repetir qualquer 429. Todos os códigos de erro e como tratar 429 com backoff.

O saldo é o seu teto externo. Carregue o que você aceita perder neste mês, não o de um ano. Para dimensionar esse valor, passe antes o tráfego esperado pela calculadora de custo de API de LLM.

Nível da chave: como limitar o estrago de uma chave vazada?

Uma chave de API é poder de gasto: quem tem a chave pode usar o seu saldo. Limite o raio de alcance de cada chave:

  1. Uma chave por app, agente ou ambiente. A BroadNet permite até 10 chaves ativas por conta, cada uma válida por até um ano. Dê nomes a elas para que os logs mostrem qual gastou.
  2. Trave as chaves nos seus servidores. Adicione seus IPs de saída ou faixas CIDR à lista de IPs permitidos, com até 32 entradas. Requisições de outros endereços recebem 403.
  3. Revogue rápido. Revogações e mudanças na lista de IPs permitidos valem para novas requisições em até cinco segundos.
  4. Mantenha as credenciais do portal fora dos servidores. Elas podem criar chaves e fazer compras. Chaves de inferência só chamam modelos.

Trave as chaves de API com listas de IPs permitidos.

Nível da requisição: como limitar cada resposta?

Defina max_tokens em toda chamada. Nos modelos que raciocinam (DeepSeek V4.1 Flash, GLM 5.3, Qwen3.8 27B), mantenha em 1.000 ou mais, porque o raciocínio divide o mesmo orçamento e um valor baixo demais devolve uma resposta vazia que você paga mesmo assim. Reduza reasoning_effort em tarefas simples. Como os tokens de raciocínio são cobrados.

Nível do job: como parar um loop de agente descontrolado?

Loops descontrolados têm sinais reconhecíveis: a mesma chamada de ferramenta se repetindo, o contexto crescendo a cada turno e erros repetidos sem limite. Coloque uma proteção em volta do client:

import json, os, urllib.request
from openai import OpenAI

# Per-1M prices from BroadNet's machine-readable rate card
card = json.load(urllib.request.urlopen("https://inference.broadnet.ai/pricing.json"))
m = next(x for x in card["models"] if x["id"] == "broadnet/deepseek-v4.1-flash")
PRICE = {"in": m["input_per_m"], "cached": m["cached_input_per_m"], "out": m["output_per_m"]}
client = OpenAI(base_url="https://inference.broadnet.ai/v1", api_key=os.environ["BROADNET_API_KEY"], max_retries=3)

class BudgetExceeded(Exception): pass

class Guard:
    def __init__(self, budget_usd, max_steps=40):
        self.budget, self.max_steps, self.spent, self.steps, self.last = budget_usd, max_steps, 0.0, 0, []

    def call(self, **kw):
        self.steps += 1
        if self.steps > self.max_steps: raise BudgetExceeded("step cap")
        if self.spent >= self.budget: raise BudgetExceeded("budget")
        r = client.chat.completions.create(max_tokens=kw.pop("max_tokens", 4000), **kw)
        u = r.usage
        cached = (u.prompt_tokens_details.cached_tokens or 0) if u.prompt_tokens_details else 0
        self.spent += ((u.prompt_tokens - cached) * PRICE["in"] + cached * PRICE["cached"]
                       + u.completion_tokens * PRICE["out"]) / 1e6
        calls = [(t.function.name, t.function.arguments) for t in (r.choices[0].message.tool_calls or [])]
        self.last = (self.last + [calls])[-3:]
        if calls and len(self.last) == 3 and all(c == calls for c in self.last):
            raise BudgetExceeded("same tool call three times")
        return r

A proteção lê os preços da tabela em vez de fixá-los no código, então continua correta quando os preços mudam. Passe para call() o mesmo modelo cujo preço você leu. Mantenha max_retries baixo: os SDKs da OpenAI já repetem 429 e 5xx, e cada nova tentativa é cobrada de novo.

Para um time, rode a mesma checagem num proxy compartilhado, para que todos os serviços consumam um único orçamento diário. Novas tentativas também esbarram em limites de taxa: a calculadora de limite de taxa mostra quantas chamadas por minuto a sua chave realmente permite.

Relatórios: o que registrar e quando alertar?

Registre, em toda requisição: apelido da chave, nome da funcionalidade ou do agente, modelo, prompt_tokens, prompt_tokens_details.cached_tokens, completion_tokens, status e X-Request-ID. No streaming, defina stream_options: {"include_usage": true}, senão o uso nunca chega (guia de streaming).

A partir desses logs, crie alertas para:

  • custo diário por chave acima do valor esperado na sua estimativa de custo;
  • tokens por tarefa mais de três vezes acima da mediana;
  • uma participação de cache em queda, que aumenta o custo sem mais tráfego;
  • uma taxa crescente de respostas 429 ou 5xx, o que significa novas tentativas.

A BroadNet guarda registros sem conteúdo, como tempos, contagens de tokens e custo, não prompts, então o detalhe por funcionalidade fica nos seus logs. Evite registrar o conteúdo dos prompts se a sua política de dados proibir. Como montar um registro de uso com custo por usuário e por funcionalidade.

Nível do preço: quando um preço fixo ganha de um orçamento?

O controle de gastos mais confiável é um preço que não se mexe:

  • Sessão de plano: $60 por mês (Full Moon), $15 por semana (Orbit) ou $1 por hora (Meteor) para DeepSeek V4.1 Flash ilimitado, uma requisição por vez. Requisições com uma chave de plano nunca consomem o seu saldo.
  • Chave por hora: $0.50 por uma hora de Gemma 4 VL 26B em um stream. Boa para chaves que saem dos seus servidores. Chaves por hora explicadas.

Um loop num plano desperdiça tempo, não dinheiro. Você continua querendo limites de passos, porque um agente travado bloqueia a sessão para outros trabalhos. Se um plano sai mais barato que a sua conta medida depende do volume; a calculadora de preço fixo vs por token dá o ponto de equilíbrio para a sua mistura de tokens.

As tarifas por token também podem subir sem você perceber. 52 aumentos de preço de APIs de LLM arquivados mostram com que frequência isso aconteceu, em quais provedores e quanto.

Um checklist curto

  1. Saldo pré-pago dimensionado para o seu limite mensal.
  2. Uma chave com nome por app, com lista de IPs permitidos.
  3. max_tokens em toda requisição.
  4. Limite de passos, limite de novas tentativas e detecção de chamadas repetidas em todo agente.
  5. Custo acumulado por job, checado antes de cada chamada.
  6. Registro de tokens por requisição, com alertas nos seus limites.
  7. Um plano fixo ou uma chave por hora onde o uso for contínuo ou a chave ficar exposta.

Onde a BroadNet Inference se encaixa

A BroadNet entrega as camadas de conta e chave: saldo pré-pago, chaves separadas, listas de IPs permitidos com revogação em segundos, planos de preço fixo e chaves por hora. Ela não fornece os orçamentos por job deste post; eles ficam no seu código ou proxy. Se você precisa de orçamentos por time em muitos provedores, um gateway na frente de todos é a ferramenta certa. Veja os preços.

Perguntas frequentes

Como definir um limite de gastos numa API de LLM?

Use o saldo pré-pago ou o teto de gasto do provedor como limite externo e, no código, aplique seu próprio orçamento por job e por dia antes de cada requisição, porque limites e alertas do provedor podem ficar atrás de um loop rápido.

Como impedir que um agente de IA gere uma conta enorme?

Limite os passos por tarefa, limite as novas tentativas, defina max_tokens em toda requisição, detecte chamadas de ferramenta idênticas repetidas e pare o job quando o custo acumulado passar de um orçamento.

Devo tentar de novo um erro 401 ou 402 quando o saldo acaba?

Não. Na BroadNet, uma franquia de pagamento por uso esgotada devolve 401, e 402 insufficient_balance significa que a conta não cobre uma compra, como uma chave por hora. Primeiro coloque saldo na conta. Repita 429 e 5xx com backoff.

O que registrar para acompanhar os gastos com LLM?

Por requisição, registre o apelido da chave, o nome da funcionalidade ou do agente, o modelo, prompt_tokens, cached_tokens, completion_tokens, o código de status e o ID da requisição. Multiplique pelo arquivo de preços para chegar ao custo.

Um plano de preço fixo é uma forma de controle de gastos?

Sim. Uma sessão de plano ou uma chave por hora custa o mesmo, não importa quantos tokens use, então um loop custa tempo, não dinheiro.

Ler em MarkdownPerguntar ao ChatGPTPerguntar ao ClaudePerguntar ao Perplexity