Un rate limit controlla quanto velocemente puoi spendere. Un limite di spesa controlla quanto.
Come funziona
I provider sovrappongono diversi tetti. Due esempi documentati:
| Provider | Controllo | Cosa succede quando lo raggiungi |
|---|---|---|
| Anthropic | Tetto di spesa del tier per mese solare (Start, Build, Scale; Custom non ne ha) | L’uso si sospende fino alle 00:00 UTC del primo giorno del mese successivo; HTTP 429 rate_limit_error con error.details.error_code enforced_spend_limit_reached, senza retry-after |
| Anthropic | Un tuo limite più basso, per organizzazione o workspace | HTTP 400 invalid_request_error, con un messaggio che inizia con “You have reached your specified API usage limits” |
| OpenAI | Limite di utilizzo mensile per tier | Non descritto nella guida |
| OpenAI | Avviso di spesa | Invia una notifica; il traffico continua |
| OpenAI | Limite di spesa rigido, per organizzazione o progetto | Le richieste interessate restituiscono 429 |
I tetti per tier di Anthropic sono 500 USD (Start), 1.000 USD (Build) e 200.000 USD (Scale) al mese. La guida di OpenAI elenca limiti di utilizzo mensili per tier, da 100 USD su Free a 200.000 USD su Grow, e dice che i tier salgono quando gli acquisti di credito totali superano certe soglie.
La parte insidiosa è che un 429 da limite di spesa sembra un 429 da rate limit. Sull’API di Anthropic è il codice di errore a distinguerli, e la risposta per il tetto di spesa non ha l’header retry-after:
err = resp.json().get("error", {})
if resp.status_code == 429 and err.get("details", {}).get("error_code") == "enforced_spend_limit_reached":
stop_job_and_alert() # retrying will not help
elif resp.status_code == 429:
backoff_and_retry()
Perché è importante
- Gli avvisi arrivano tardi. Un ciclo veloce può spendere molto prima che arrivi un’email. Un tetto rigido lo ferma.
- I retry peggiorano le cose. Un client che fa backoff e ripete ogni 429 martellerà inutilmente un tetto di spesa. Distingui i due casi.
- Tetti condivisi. Un tetto a livello di account condiviso da molte app permette a un job fuori controllo di bloccare gli altri. Budget per progetto, o un budget gestito nel tuo codice, li tengono separati.
Su BroadNet Inference
Il riferimento API di BroadNet elenca sei limiti su una chiave a pagamento a consumo. I tre che delimitano costi e throughput sono 30 richieste al minuto, 4 in corso e la spesa, definita come “the native budget shared by the account’s pay-as-you-go keys” (traduzione: il budget nativo condiviso dalle chiavi a consumo dell’account); gli altri sono i modelli consentiti, una durata della chiave di un anno e fino a dieci chiavi attive per account. L’account è prepagato, quindi il saldo è il tetto esterno. Contano due codici di stato:
- 429: “A rate, concurrency, token-rate or spending limit was reached.” (traduzione: è stato raggiunto un limite di frequenza, di concorrenza, di token al secondo o di spesa.)
- 401: una chiave mancante, non valida o scaduta, oppure un account il cui budget condiviso a consumo è bloccato (la formulazione della documentazione è “a blocked native PAYG budget holder”), “including exhausted PAYG allowance” (traduzione: compreso il credito PAYG esaurito).
La pagina sulla privacy di BroadNet dice che le chiavi hanno un ambito per modello, frequenza e spesa, ma il riferimento API non mostra impostazioni di budget per chiave o per progetto, quindi inserisci nel tuo codice un controllo del budget prima di ogni richiesta, come in controllare la spesa delle API LLM. Per un caso peggiore fisso, un piano flat o una chiave oraria a $0.50 limitano la spesa per costruzione. La gestione dei retry è nella guida a errori e retry.