BroadRouter
Inizia

Limite di spesa (spend limit)

Aggiornato

Un limite di spesa è un tetto a quanto un account, un progetto o una chiave API può spendere in un periodo, di solito un mese. Quando l’uso lo raggiunge, il provider rifiuta le richieste successive, spesso con un errore HTTP 429 o 400, finché il periodo non si azzera o il limite non viene alzato.

Detto anche: limite di spesa, tetto di spesa, budget API, limite di utilizzo, spend limit, spending limit, spend cap, budget cap, usage cap

Un rate limit controlla quanto velocemente puoi spendere. Un limite di spesa controlla quanto.

Come funziona

I provider sovrappongono diversi tetti. Due esempi documentati:

Provider Controllo Cosa succede quando lo raggiungi
Anthropic Tetto di spesa del tier per mese solare (Start, Build, Scale; Custom non ne ha) L’uso si sospende fino alle 00:00 UTC del primo giorno del mese successivo; HTTP 429 rate_limit_error con error.details.error_code enforced_spend_limit_reached, senza retry-after
Anthropic Un tuo limite più basso, per organizzazione o workspace HTTP 400 invalid_request_error, con un messaggio che inizia con “You have reached your specified API usage limits”
OpenAI Limite di utilizzo mensile per tier Non descritto nella guida
OpenAI Avviso di spesa Invia una notifica; il traffico continua
OpenAI Limite di spesa rigido, per organizzazione o progetto Le richieste interessate restituiscono 429

I tetti per tier di Anthropic sono 500 USD (Start), 1.000 USD (Build) e 200.000 USD (Scale) al mese. La guida di OpenAI elenca limiti di utilizzo mensili per tier, da 100 USD su Free a 200.000 USD su Grow, e dice che i tier salgono quando gli acquisti di credito totali superano certe soglie.

La parte insidiosa è che un 429 da limite di spesa sembra un 429 da rate limit. Sull’API di Anthropic è il codice di errore a distinguerli, e la risposta per il tetto di spesa non ha l’header retry-after:

err = resp.json().get("error", {})
if resp.status_code == 429 and err.get("details", {}).get("error_code") == "enforced_spend_limit_reached":
    stop_job_and_alert()      # retrying will not help
elif resp.status_code == 429:
    backoff_and_retry()

Perché è importante

  • Gli avvisi arrivano tardi. Un ciclo veloce può spendere molto prima che arrivi un’email. Un tetto rigido lo ferma.
  • I retry peggiorano le cose. Un client che fa backoff e ripete ogni 429 martellerà inutilmente un tetto di spesa. Distingui i due casi.
  • Tetti condivisi. Un tetto a livello di account condiviso da molte app permette a un job fuori controllo di bloccare gli altri. Budget per progetto, o un budget gestito nel tuo codice, li tengono separati.

Su BroadNet Inference

Il riferimento API di BroadNet elenca sei limiti su una chiave a pagamento a consumo. I tre che delimitano costi e throughput sono 30 richieste al minuto, 4 in corso e la spesa, definita come “the native budget shared by the account’s pay-as-you-go keys” (traduzione: il budget nativo condiviso dalle chiavi a consumo dell’account); gli altri sono i modelli consentiti, una durata della chiave di un anno e fino a dieci chiavi attive per account. L’account è prepagato, quindi il saldo è il tetto esterno. Contano due codici di stato:

  • 429: “A rate, concurrency, token-rate or spending limit was reached.” (traduzione: è stato raggiunto un limite di frequenza, di concorrenza, di token al secondo o di spesa.)
  • 401: una chiave mancante, non valida o scaduta, oppure un account il cui budget condiviso a consumo è bloccato (la formulazione della documentazione è “a blocked native PAYG budget holder”), “including exhausted PAYG allowance” (traduzione: compreso il credito PAYG esaurito).

La pagina sulla privacy di BroadNet dice che le chiavi hanno un ambito per modello, frequenza e spesa, ma il riferimento API non mostra impostazioni di budget per chiave o per progetto, quindi inserisci nel tuo codice un controllo del budget prima di ogni richiesta, come in controllare la spesa delle API LLM. Per un caso peggiore fisso, un piano flat o una chiave oraria a $0.50 limitano la spesa per costruzione. La gestione dei retry è nella guida a errori e retry.

Domande frequenti

Devo ripetere una richiesta che ha raggiunto un limite di spesa?

No. Anthropic dice che il suo 429 per il tetto di spesa non ha un header retry-after e che i retry falliscono finché l’accesso non riprende. Avvisa una persona o ferma il job.

Un avviso di spesa è la stessa cosa di un limite di spesa?

No. OpenAI distingue un avviso di spesa, che si limita a notificare e lascia passare il traffico, da un limite di spesa rigido, che fa restituire 429 alle richieste.

Posso impostare un budget separato per ogni chiave BroadNet?

La pagina sulla privacy di BroadNet dice che le chiavi API con ambito controllano l’accesso per modello, frequenza e spesa, ma il suo riferimento API documenta la spesa su una chiave a consumo come il budget nativo condiviso dalle chiavi dell’account e non mostra alcuna impostazione di budget per chiave. Controlla i dettagli della tua chiave e applica i budget per app nel tuo codice.

Leggi in MarkdownChiedi a ChatGPTChiedi a ClaudeChiedi a Perplexity