Cerca «rate limit API LLM» e troverai tabelle di blog che si contraddicono, spesso perché copiano numeri vecchi. Questa pagina legge ogni valore dalla documentazione del provider stesso, al 15 novembre 2026, indica a quale livello e a quale modello si riferisce, e lascia la cella vuota quando il provider non pubblica il dato. Per gli stessi dati in un dataset scaricabile, con crediti gratuiti e condizioni d’uso dei dati, vedi free tier e rate limit delle API LLM. BroadRouter è il sito di BroadNet, e anche i limiti di BroadNet sono in tabella.
Cosa significano RPM, TPM, RPD e concorrenza?
Un rate limit fissa quanto puoi inviare in una finestra di tempo. I provider contano cose diverse:
| Limite | Cosa conta | Fa più male quando |
|---|---|---|
| RPM, richieste al minuto | Richieste avviate in un minuto | Invii molte chiamate brevi (classificazione, loop in stile embeddings) |
| RPS, richieste al secondo | Lo stesso, su un secondo | Invii a raffica, anche se la media al minuto è bassa |
| TPM, token al minuto | Token elaborati in un minuto, a volte input (ITPM) e output (OTPM) separati | Invii prompt lunghi o documenti lunghi |
| RPD / TPD, al giorno | Richieste o token in un giorno | Esegui un job batch su un free tier |
| Concorrenza | Richieste in corso nello stesso momento | Le richieste sono lente: ragionamento, output lunghi, agenti |
Quale limite ti blocca dipende dalla forma delle tue richieste. Con i limiti di concorrenza, il throughput dipende dalla durata della richiesta: la documentazione di DeepInfra fa l’esempio di 200 richieste simultanee con una media di 1 secondo, che danno circa 12.000 RPM. Una richiesta di ragionamento da 30 secondi con la stessa concorrenza ne dà una frazione.
La maggior parte dei provider applica i limiti anche su finestre più brevi di quelle che pubblica. Anthropic dice che un limite di 60 RPM «might be enforced as 1 request per second» (traduzione: potrebbe essere applicato come 1 richiesta al secondo), e xAI ricava il limite al secondo dal budget al minuto («RPM / 48, with a minimum of 2»; traduzione: RPM / 48, con un minimo di 2).
Come funzionano i livelli di utilizzo?
I grandi provider di modelli chiusi alzano i limiti man mano che spendi di più:
| Provider | Livelli (verifica del 2026-11-15) | Come si sale |
|---|---|---|
| OpenAI | Free, Build, Launch, Grow | Free: l’utente deve trovarsi in un’area geografica ammessa; limite di utilizzo mensile di 100 USD (un tetto di spesa, non un credito). Poi acquisti di credito totali di 5 USD, 100 USD e 500 USD, con limiti di utilizzo mensili di 500 USD, 5.000 USD e 200.000 USD |
| Anthropic | Evaluation, Start, Build, Scale, Custom | Automatico, in base allo storico di utilizzo e allo stato dell’account. Tetti di spesa mensili: Start 500 USD, Build 1.000 USD, Scale 200.000 USD |
| API Google Gemini | Free, Tier 1, Tier 2, Tier 3 | Tier 1 richiede un account di fatturazione collegato; Tier 2 richiede 100 USD pagati più 3 giorni; Tier 3 1.000 USD più 30 giorni. Google dice che i rate limit indicati sono «not guaranteed» (traduzione: non garantiti) e sulle richieste di aumento offre «no guarantees» (traduzione: nessuna garanzia) |
| Fireworks AI | Da Tier 1 a Tier 4 | Metodo di pagamento per il Tier 1, poi 50 USD, 500 USD e 5.000 USD di spesa o crediti. I livelli alzano il TPM, non l’RPM |
| xAI | Da Tier 0 a Tier 4, Enterprise | Spesa cumulativa dal 1° gennaio 2026: 0, 50, 250, 1.000 e 5.000 USD |
Nella pratica contano due dettagli. Quando raggiungi il tetto di spesa di Anthropic ricevi un HTTP 429 senza header retry-after, quindi i retry automatici continuano a fallire finché il mese non si azzera o non cambi livello. E il limite di input di Anthropic conta solo l’input non in cache: le letture dalla cache non contano, quindi un alto tasso di cache aumenta il tuo throughput reale.
Rate limit delle API LLM per provider: il livello di ingresso
Valori per il livello gratuito o il primo livello a pagamento di ciascun provider, presi dalla sua pagina sui rate limit. Un trattino significa che la pagina non pubblica un numero per quel limite; non significa illimitato.
| Provider | Livello e modello | RPM | TPM | Al giorno | Concorrenza |
|---|---|---|---|---|---|
| OpenAI | Build; Astra, Sol, Terra | 5.000 | 1.000.000 | – | – |
| OpenAI | Build; Luna | 5.000 | 2.000.000 | – | – |
| Anthropic | Start; Sonnet 5.5, Opus 5.5, Haiku 5.5 | 4.000 | 2.000.000 di input (non in cache), 400.000 di output | – | – |
| API Google Gemini | Free; Gemini Decision 1 (unico modello con valori gratuiti nella pagina) | 200 | 50.000 | 10.000 richieste | – |
| API Google Gemini | Tier 1; Gemini Decision 1 | 1.500 | 1.000.000 | 50.000 richieste | – |
| Groq | Tabella del piano Free; openai/gpt-oss-120b, qwen/qwen3.8-27b | 30 | 8.000 | 1.000 richieste, 200.000 token | – |
| Groq | Tabella del piano Developer; openai/gpt-oss-120b, qwen/qwen3.8-27b | 1.000 | 250.000 | 500.000 richieste | – |
| Cerebras | Free Trial; gpt-oss-120b | 5 | 30.000 non in cache (90.000 totali) | 1.000.000 di token | – |
| Cerebras | Developer (a consumo); gpt-oss-120b | 1.000 | 500.000 non in cache (1.500.000 totali) | Nessun tetto | – |
| Fireworks AI | Senza metodo di pagamento né crediti; per tutto l’account | 10 | – | – | – |
| Fireworks AI | Con metodo di pagamento e crediti; per tutto l’account | 6.000 | Dipende dal livello di spesa | – | – |
| DeepInfra | Predefinito; per modello pubblico | – | – | – | 200 |
| DeepSeek | Predefinito; deepseek-flash (DeepSeek-V4.1-Flash-1017), per account |
– | – | – | 2.500 |
| DeepSeek | Predefinito; deepseek-v4-pro (DeepSeek-V4-Pro-0813), per account |
– | – | – | 500 |
| xAI | Tier 0; grok-4.7 (150 RPS) | – | 50.000.000 | – | – |
| OpenRouter | Modelli :free, meno di 10 USD di crediti acquistati | 20 | – | 50 richieste | – |
| OpenRouter | Modelli :free, 10 USD o più di crediti acquistati | 20 | – | 1.000 richieste | – |
| Cohere | Chiave di prova; Command A | 20 | – | 1.000 chiamate al mese | – |
| Cohere | Chiave di produzione; Command A | 500 | – | – | – |
| BroadNet Inference | Chiave a consumo; qualsiasi modello | 30 | – | – | 4 |
| BroadNet Inference | Chiave oraria; Gemma 4 VL 26B | 120 | 300,000 | – | 1 stream |
| BroadNet Inference | Sessione di un piano flat; DeepSeek V4.1 Flash | – | Nessun contatore di token | – | 1 richiesta alla volta |
Note sulle righe:
- Groq. La pagina ha due schede, «Free Plan Limits» (aperta per impostazione predefinita) e «Developer Plan Limits». La frase sopra le schede chiama quei valori «the base limits for the Developer plan» (traduzione: i limiti di base del piano Developer), il che vale solo per la seconda scheda; la tabella qui sopra le riporta entrambe. I limiti esatti della tua organizzazione sono nella sua pagina dei limiti.
- Google. I limiti valgono per progetto, non per chiave API. Per la maggior parte dei modelli i numeri compaiono solo dentro AI Studio. Gemini Decision 1 è un modello di classificazione per la Decisions API di Google: restituisce probabilità, non testo, quindi i suoi limiti dicono poco sui modelli di chat Gemini.
- Mistral e Together AI non pubblicano numeri. Mistral mostra i tuoi limiti nella sua console invece di pubblicare una tabella, e non offre accesso gratuito all’API («It doesn’t include API access»; traduzione: non include l’accesso all’API). Together dice che «may limit requests» (traduzione: può limitare le richieste) quando la domanda è alta e che può fissare limiti personalizzati sui modelli più richiesti.
- OpenRouter. Le varianti a pagamento dei modelli hanno «no platform-level request cap» (traduzione: nessun tetto alle richieste a livello di piattaforma), ma i provider dietro ciascun modello hanno comunque i propri limiti.
- DeepSeek. Quando è sotto carico, DeepSeek tiene aperta la connessione con righe vuote o commenti
: keep-alive, e la chiude se l’inferenza non è partita entro 10 minuti. Imposta il timeout del client tenendone conto.
Come si confrontano, onestamente, i limiti di BroadNet?
Sono bassi per i carichi ad alto volume. Una chiave BroadNet a consumo consente 30 richieste al minuto e 4 in corso, mentre i primi livelli a pagamento di OpenAI e Anthropic consentono migliaia di richieste al minuto e Fireworks ne consente 6.000 una volta registrata una carta. Se devi far passare migliaia di richieste brevi al minuto da una sola chiave, il livello a pagamento di un grande provider fa più al caso tuo.
I limiti si adattano ad altri profili:
- Agenti e chat. Un agente invia una richiesta alla volta e aspetta. 4 richieste in corso coprono qualche agente per chiave; una chiave per app o per collega distribuisce il carico.
- Piani flat. Una sessione Full Moon, Orbit o Meteor non ha contatore di token né tetti giornalieri o settimanali, ma esegue una richiesta alla volta a una velocità tipica di circa 100 token al secondo. Per eseguire agenti in parallelo, compra una sessione per ciascuno. Quante sessioni ti servono.
- Chiave oraria. Con $0.50 all’ora ottieni uno stream di Gemma 4 VL 26B a 120 richieste e 300,000 token al minuto.
Tutti i limiti di BroadNet restituiscono HTTP 429. Il riferimento API non indica tempi di retry-after, quindi usa un backoff limitato con jitter.
Come si pianifica intorno a un rate limit?
- Trova il limite che ti vincola. Calcola richieste al minuto, token al minuto e richieste in corso nel tuo picco di traffico. Il calcolatore dei rate limit LLM lo fa partendo da dimensione delle richieste e latenza.
- Rallenta lato client. Un token bucket allineato al limite pubblicato evita la maggior parte dei 429. Anthropic usa lo stesso algoritmo lato server.
- Leggi gli header. Anthropic restituisce header
anthropic-ratelimit-*; Groq restituisce headerx-ratelimit-*, dove quello delle richieste «always refers to Requests Per Day» (traduzione: si riferisce sempre alle richieste al giorno). Usaretry-afterquando è presente. - Ritenta con backoff e jitter, e limita i retry. Gestire gli errori 429 contiene codice funzionante, e errori e retry copre i codici di stato di BroadNet.
- Metti in cache i prefissi stabili. Su Anthropic l’input in cache non conta per il limite di input. Ovunque, riduce i costi.
- Distribuisci i job massivi. Anthropic applica anche limiti di rampa: un salto improvviso di traffico può restituire 429 sotto il tuo limite. Avvia i job batch con gradualità. Senza una Batch API, un runner batch riprendibile mantiene il job entro i limiti.
- Chiedi di più. DeepSeek, DeepInfra, Mistral e Anthropic descrivono tutti una procedura per chiedere limiti più alti.
Dove si colloca BroadNet Inference
BroadRouter è il sito di BroadNet, quindi valuta questa sezione tenendone conto. BroadNet Inference non è la scelta per frequenze di richieste molto alte su una sola chiave: i limiti per chiave che pubblica sono ben al di sotto dei livelli a pagamento di OpenAI, Anthropic, Fireworks o Cerebras. Si adatta a carichi di agenti e chat che inviano poche richieste alla volta, soprattutto con un piano flat, dove un agente molto attivo non ha contatore di token né tetto giornaliero. I nuovi account ricevono un credito iniziale di $5 per Gemma 4 VL 26B, i due modelli di trascrizione e le chiavi orarie Gemma; DeepSeek, GLM e Qwen richiedono una ricarica. Il self-service non ha SLA. Leggi i limiti dell’API o confronta i piani.
