Um rate limit controla a velocidade com que você gasta. Um limite de gastos controla quanto.
Como funciona
Os provedores empilham vários tetos. Dois exemplos documentados:
| Provedor | Controle | O que acontece quando é atingido |
|---|---|---|
| Anthropic | Teto de gastos do tier por mês-calendário (Start, Build, Scale; Custom não tem) | O uso fica pausado até 00:00 UTC do primeiro dia do mês seguinte; HTTP 429 rate_limit_error com error.details.error_code enforced_spend_limit_reached, sem retry-after |
| Anthropic | Um limite menor definido por você, na organização ou no workspace | HTTP 400 invalid_request_error, com mensagem que começa com “You have reached your specified API usage limits” |
| OpenAI | Limite de uso mensal por tier | Não descrito no guia |
| OpenAI | Alerta de gastos | Envia uma notificação; o tráfego continua |
| OpenAI | Limite rígido de gastos, na organização ou no projeto | As requisições afetadas retornam 429 |
Os tetos por tier da Anthropic são USD 500 (Start), USD 1.000 (Build) e USD 200.000 (Scale) por mês. O guia da OpenAI lista limites de uso mensais por tier, de USD 100 no Free a USD 200.000 no Grow, e diz que os tiers sobem à medida que o total de compras de crédito passa de certos patamares.
A parte traiçoeira é que um 429 de limite de gastos parece um 429 de rate limit. Na API da Anthropic, o código de erro separa os dois, e a resposta do teto de gastos não tem o header retry-after:
err = resp.json().get("error", {})
if resp.status_code == 429 and err.get("details", {}).get("error_code") == "enforced_spend_limit_reached":
stop_job_and_alert() # retrying will not help
elif resp.status_code == 429:
backoff_and_retry()
Por que isso importa
- Alertas chegam tarde. Um loop rápido pode gastar muito antes de um e-mail chegar. Um teto rígido o interrompe.
- Retries pioram tudo. Um cliente que faz backoff e repete todo 429 vai martelar um teto de gastos à toa. Diferencie os dois casos.
- Tetos compartilhados. Um teto no nível da conta, compartilhado por vários apps, deixa um job descontrolado bloquear os outros. Orçamentos por projeto, ou um orçamento controlado no seu código, mantêm tudo separado.
Na BroadNet Inference
A referência da API da BroadNet lista seis limites em uma chave de pagamento por uso. Os três que limitam custo e throughput são 30 requisições por minuto, 4 em andamento e o gasto, definido como “the native budget shared by the account’s pay-as-you-go keys” (tradução: o orçamento nativo compartilhado pelas chaves de pagamento por uso da conta); os outros são os modelos permitidos, validade de um ano por chave e até dez chaves ativas por conta. A conta é pré-paga, então o saldo é o teto externo. Dois códigos de status importam:
- 429: “A rate, concurrency, token-rate or spending limit was reached.” (tradução: foi atingido um limite de taxa, de concorrência, de tokens por tempo ou de gastos.)
- 401: chave ausente, inválida ou expirada, ou uma conta cujo orçamento compartilhado de pagamento por uso está bloqueado (a documentação usa a expressão “a blocked native PAYG budget holder”), “including exhausted PAYG allowance” (tradução: incluindo saldo PAYG esgotado).
A página de privacidade da BroadNet diz que as chaves têm escopo por modelo, taxa e gasto, mas a referência da API não mostra configuração de orçamento por chave ou por projeto, então coloque no seu código uma verificação de orçamento antes de cada requisição, como em controle de gastos com APIs de LLM. Para um pior caso fixo, um plano de preço fixo ou uma chave por hora a $0.50 limitam o gasto por definição. O tratamento de retries está no guia de erros e retries.