I token al secondo ti dicono quanto velocemente arriva in streaming una risposta. Il throughput ti dice quanto lavoro porta a termine un intero sistema.
Come funziona
La guida di benchmarking di NVIDIA distingue le due cose. I TPS totali per sistema sono il “total output token throughput across all simultaneous requests” (throughput totale di token di output su tutte le richieste simultanee): tutti i token di output divisi per il tempo che va dalla prima richiesta all’ultima risposta. I TPS per utente sono la lunghezza dell’output di una richiesta divisa per il suo tempo end-to-end. Le richieste al secondo (RPS) contano le richieste completate invece dei token.
La frase chiave: “As the number of concurrent requests increases, total system TPS increases while TPS per user decreases” (traduzione: all’aumentare delle richieste concorrenti, i TPS totali del sistema aumentano mentre i TPS per utente diminuiscono). I TPS totali salgono finché la GPU non è satura, e oltre quel punto possono scendere.
Sul server, il limite di solito è la memoria. L’articolo su PagedAttention spiega che servire ad alto throughput “requires batching sufficiently many requests at a time” (richiede di raggruppare abbastanza richieste alla volta), e la KV cache di ogni richiesta decide quante ne entrano. Una gestione migliore della memoria ha permesso a vLLM di raggiungere da 2 a 4 volte il throughput dei sistemi precedenti a parità di latenza.
Perché è importante
Per chi chiama un’API, il throughput riguarda il tuo lato del tubo: quanti documenti puoi elaborare all’ora, o quanti agenti possono lavorare insieme. Segue una regola semplice:
your throughput ≈ concurrent requests × per-stream tokens per second
Cioè: il tuo throughput è circa le richieste concorrenti per i token al secondo di ogni stream. Vale solo finché il provider mantiene stabile la velocità per stream mentre aggiungi carico. Misurala; non darla per scontata.
Il throughput è limitato dal tuo limite di concorrenza e dai tuoi rate limit, non solo dal modello. Se un job è lento, controlla se le richieste vengono eseguite una dopo l’altra quando potrebbero girare in parallelo.
Su BroadNet Inference
BroadNet pubblica limiti per chiave, non un dato di throughput di sistema. La sua pagina dei piani indica una velocità tipica di circa 100 token al secondo per DeepSeek V4.1 Flash, il modello dei piani; non pubblica velocità per gli altri modelli. A titolo di esempio, se ogni stream girasse a quel valore:
| Opzione | Richieste in parallelo | Limite superiore se la velocità reggesse |
|---|---|---|
| Chiave a consumo | 4 (e 30 richieste al minuto) | 4 stream × circa 100 token al secondo ciascuno |
| Chiave oraria (Gemma 4 VL 26B) | 1 stream, 300,000 token al minuto | non pubblicato; misuralo |
| Sessione di un piano flat | 1 richiesta alla volta | circa 100 token al secondo |
Per scalare un piano flat aggiungi sessioni, una per ogni agente che lavora in parallelo; vedi sessioni illimitate per API LLM e far girare agenti di coding in parallelo. Quella velocità è il valore tipico dichiarato da BroadNet per DeepSeek V4.1 Flash, non una garanzia per altri modelli o sotto carico.