I rate limit contano le richieste nel tempo. La concorrenza conta le richieste in un singolo istante. Le richieste LLM possono durare molti secondi, quindi spesso è il secondo limite a farsi sentire per primo.
Come funziona
La legge di Little lega i tre numeri:
requests in flight = request rate × average time per request
In altre parole: richieste in corso = frequenza delle richieste × tempo medio per richiesta. Prendi un’ipotetica chiave che ammette 5 richieste in corso e 60 richieste al minuto, dove ogni richiesta dura 20 secondi. Il tetto di concorrenza permette al massimo 5 ÷ 20 = 0,25 richieste al secondo, cioè 15 al minuto. Non arrivi mai a 60 al minuto, perché il limite vincolante è la concorrenza. Con richieste da 2 secondi, lo stesso tetto permette 150 richieste al minuto, e a quel punto vincola il rate limit. Il calcolatore di rate limit fa questo conto con i tuoi numeri.
Output lunghi, token di ragionamento e prompt lunghi allungano tutti le richieste, quindi consumano concorrenza più in fretta. Una risposta in streaming tiene occupato il suo slot finché non termina.
Perché è importante
I provider limitano la concorrenza perché memoria e calcolo delle GPU sono condivisi. I benchmark di NVIDIA mostrano che, quando la concorrenza su un server aumenta, l’output totale cresce mentre i token al secondo di ogni singola richiesta calano. Un tetto per chiave impedisce a un client di rallentare tutti gli altri.
Per la tua app, la concorrenza determina la dimensione dei pool di worker e quanti agenti possono girare fianco a fianco. Dimensiona il pool sul tetto, non oltre, altrimenti i worker in più raccolgono solo errori 429.
Su BroadNet Inference
| Accesso | Concorrenza |
|---|---|
| Chiave a consumo | 4 richieste in corso, più 30 richieste al minuto |
| Chiave oraria | Uno stream |
| Piano illimitato | Una richiesta alla volta per sessione |
I piani vendono direttamente concorrenza. Una sessione non ha un contatore di token ed esegue una richiesta alla volta, come lavora un agente. Le richieste nella stessa sessione si mettono in coda una dietro l’altra. Per far girare agenti in parallelo, compra una sessione per agente: un orchestratore più tre sub-agenti richiedono quattro sessioni. Una chiave può contenere più sessioni.
Leggi come funzionano le sessioni illimitate e come far girare agenti di coding in parallelo con un piano flat. Gli agenti passano molto tempo a eseguire tool, quindi misura la sovrapposizione reale prima di comprare altre sessioni.
Errori comuni
- Avviare un worker per ogni task senza un pool. Un batch di 100 task diventa 100 richieste simultanee.
- Impostare timeout lato client più brevi di una lunga risposta di ragionamento. Il client si arrende mentre lo slot è ancora occupato.