BroadRouter
Inizia

Concorrenza (concurrency)

Aggiornato

La concorrenza è il numero di richieste che un client ha in corso nello stesso momento. Le API LLM spesso la limitano per chiave o per piano, separatamente dalle richieste al minuto, perché ogni richiesta aperta occupa capacità GPU finché la sua risposta non è terminata.

Detto anche: concorrenza, richieste concorrenti, richieste in parallelo, richieste simultanee, limite di concorrenza, concurrency, concurrent requests, parallel requests, in-flight requests, concurrency limit

I rate limit contano le richieste nel tempo. La concorrenza conta le richieste in un singolo istante. Le richieste LLM possono durare molti secondi, quindi spesso è il secondo limite a farsi sentire per primo.

Come funziona

La legge di Little lega i tre numeri:

requests in flight = request rate × average time per request

In altre parole: richieste in corso = frequenza delle richieste × tempo medio per richiesta. Prendi un’ipotetica chiave che ammette 5 richieste in corso e 60 richieste al minuto, dove ogni richiesta dura 20 secondi. Il tetto di concorrenza permette al massimo 5 ÷ 20 = 0,25 richieste al secondo, cioè 15 al minuto. Non arrivi mai a 60 al minuto, perché il limite vincolante è la concorrenza. Con richieste da 2 secondi, lo stesso tetto permette 150 richieste al minuto, e a quel punto vincola il rate limit. Il calcolatore di rate limit fa questo conto con i tuoi numeri.

Output lunghi, token di ragionamento e prompt lunghi allungano tutti le richieste, quindi consumano concorrenza più in fretta. Una risposta in streaming tiene occupato il suo slot finché non termina.

Perché è importante

I provider limitano la concorrenza perché memoria e calcolo delle GPU sono condivisi. I benchmark di NVIDIA mostrano che, quando la concorrenza su un server aumenta, l’output totale cresce mentre i token al secondo di ogni singola richiesta calano. Un tetto per chiave impedisce a un client di rallentare tutti gli altri.

Per la tua app, la concorrenza determina la dimensione dei pool di worker e quanti agenti possono girare fianco a fianco. Dimensiona il pool sul tetto, non oltre, altrimenti i worker in più raccolgono solo errori 429.

Su BroadNet Inference

Accesso Concorrenza
Chiave a consumo 4 richieste in corso, più 30 richieste al minuto
Chiave oraria Uno stream
Piano illimitato Una richiesta alla volta per sessione

I piani vendono direttamente concorrenza. Una sessione non ha un contatore di token ed esegue una richiesta alla volta, come lavora un agente. Le richieste nella stessa sessione si mettono in coda una dietro l’altra. Per far girare agenti in parallelo, compra una sessione per agente: un orchestratore più tre sub-agenti richiedono quattro sessioni. Una chiave può contenere più sessioni.

Leggi come funzionano le sessioni illimitate e come far girare agenti di coding in parallelo con un piano flat. Gli agenti passano molto tempo a eseguire tool, quindi misura la sovrapposizione reale prima di comprare altre sessioni.

Errori comuni

  • Avviare un worker per ogni task senza un pool. Un batch di 100 task diventa 100 richieste simultanee.
  • Impostare timeout lato client più brevi di una lunga risposta di ragionamento. Il client si arrende mentre lo slot è ancora occupato.

Domande frequenti

Cosa succede se supero il limite di concorrenza?

Dipende dal provider. La richiesta in più viene rifiutata, spesso con un 429, oppure aspetta in coda finché non si libera uno slot.

Lo streaming occupa uno slot di concorrenza?

Sì. Una risposta in streaming tiene occupato il suo slot finché non arriva l’ultimo chunk, quindi gli output lunghi lo occupano più a lungo.

Di quante richieste concorrenti ha bisogno un agente AI di coding?

Di solito un agente ne usa una, perché aspetta ogni risposta prima del passo successivo. Un orchestratore con tre sub-agenti attivi insieme ne usa fino a quattro. Quattro se l’orchestratore invia richieste mentre i sub-agenti lavorano, tre se li aspetta.

Leggi in MarkdownChiedi a ChatGPTChiedi a ClaudeChiedi a Perplexity