---
title: "Cos’è il throughput di un LLM? Token al secondo del sistema"
description: "Il throughput di un LLM è il lavoro totale completato al secondo su tutte le richieste concorrenti. In cosa differisce dalla velocità del singolo stream."
url: https://broadrouter.com/it/glossary/throughput/
lang: it
updated: 2026-11-14
publisher: BroadRouter (a BroadNet site); API by BroadNet Inference, https://inference.broadnet.ai
---

Tradotto dall’inglese con l’aiuto dell’IA. [Leggi l’originale in inglese](https://broadrouter.com/glossary/throughput/) (aggiornato il 2026-11-14).

# Throughput

Aggiornato 2026-11-14

Il throughput, nel serving di LLM, è la quantità totale di lavoro che un sistema completa per unità di tempo su tutte le richieste concorrenti, di solito misurata in token di output al secondo o richieste al secondo. È diverso dalla velocità per stream, cioè quanto rapidamente una singola richiesta riceve i suoi token.

Detto anche: throughput, throughput LLM, throughput di sistema, throughput aggregato, token totali al secondo, richieste al secondo, system throughput, aggregate throughput, total tokens per second, requests per second, RPS

I [token al secondo](https://broadrouter.com/it/glossary/tokens-per-second/) ti dicono quanto velocemente arriva in streaming una risposta. Il throughput ti dice quanto lavoro porta a termine un intero sistema.

## Come funziona

La guida di benchmarking di NVIDIA distingue le due cose. I **TPS totali per sistema** sono il “total output token throughput across all simultaneous requests” (throughput totale di token di output su tutte le richieste simultanee): tutti i token di output divisi per il tempo che va dalla prima richiesta all’ultima risposta. I **TPS per utente** sono la lunghezza dell’output di una richiesta divisa per il suo tempo end-to-end. Le **richieste al secondo (RPS)** contano le richieste completate invece dei token.

La frase chiave: “As the number of concurrent requests increases, total system TPS increases while TPS per user decreases” (traduzione: all’aumentare delle richieste concorrenti, i TPS totali del sistema aumentano mentre i TPS per utente diminuiscono). I TPS totali salgono finché la GPU non è satura, e oltre quel punto possono scendere.

Sul server, il limite di solito è la memoria. L’articolo su PagedAttention spiega che servire ad alto throughput “requires batching sufficiently many requests at a time” (richiede di raggruppare abbastanza richieste alla volta), e la [KV cache](https://broadrouter.com/it/glossary/kv-cache/) di ogni richiesta decide quante ne entrano. Una gestione migliore della memoria ha permesso a vLLM di raggiungere da 2 a 4 volte il throughput dei sistemi precedenti a parità di latenza.

## Perché è importante

Per chi chiama un’API, il throughput riguarda il tuo lato del tubo: quanti documenti puoi elaborare all’ora, o quanti agenti possono lavorare insieme. Segue una regola semplice:

```text
your throughput ≈ concurrent requests × per-stream tokens per second
```

Cioè: il tuo throughput è circa le richieste concorrenti per i token al secondo di ogni stream. Vale solo finché il provider mantiene stabile la velocità per stream mentre aggiungi carico. Misurala; non darla per scontata.

Il throughput è limitato dal tuo limite di [concorrenza](https://broadrouter.com/it/glossary/concurrency/) e dai tuoi rate limit, non solo dal modello. Se un job è lento, controlla se le richieste vengono eseguite una dopo l’altra quando potrebbero girare in parallelo.

## Su BroadNet Inference

BroadNet pubblica limiti per chiave, non un dato di throughput di sistema. La sua pagina dei piani indica una velocità tipica di circa 100 token al secondo per DeepSeek V4.1 Flash, il modello dei piani; non pubblica velocità per gli altri modelli. A titolo di esempio, se ogni stream girasse a quel valore:

| Opzione | Richieste in parallelo | Limite superiore se la velocità reggesse |
| --- | --- | --- |
| Chiave a consumo | 4 (e 30 richieste al minuto) | 4 stream × circa 100 token al secondo ciascuno |
| Chiave oraria (Gemma 4 VL 26B) | 1 stream, 300,000 token al minuto | non pubblicato; misuralo |
| Sessione di un piano flat | 1 richiesta alla volta | circa 100 token al secondo |

Per scalare un piano flat aggiungi sessioni, una per ogni agente che lavora in parallelo; vedi [sessioni illimitate per API LLM](https://broadrouter.com/it/guides/unlimited-llm-api-sessions/) e [far girare agenti di coding in parallelo](https://broadrouter.com/it/blog/run-parallel-coding-agents-flat-rate/). Quella velocità è il valore tipico dichiarato da BroadNet per DeepSeek V4.1 Flash, non una garanzia per altri modelli o sotto carico.

## Domande frequenti

### Il throughput è la stessa cosa dei token al secondo?

Solo a livello di sistema. I token al secondo per stream sono la velocità che vede una singola richiesta. Il throughput somma tutti gli stream. NVIDIA li chiama TPS per utente e TPS totali per sistema.

### Come ottengo più throughput da un’API LLM?

Esegui più richieste in parallelo, fino ai tuoi limiti di concorrenza e di rate limit, e tieni brevi le singole richieste. Se ogni richiesta sfrutta già al massimo il suo slot, l’unico modo per crescere sono più slot, chiavi o sessioni.

### Un throughput più alto significa latenza più bassa?

No. Il throughput è il lavoro totale al secondo su tutte le richieste; la latenza è quanto dura una singola richiesta. Servire più richieste insieme alza il throughput totale ma può rallentare ciascuna richiesta, ed è per questo che NVIDIA riporta separatamente TPS per utente e TPS totali.

## Vedi anche

-   [Token al secondo (tokens per second)](https://broadrouter.com/it/glossary/tokens-per-second/) (termine)
-   [Concorrenza (concurrency)](https://broadrouter.com/it/glossary/concurrency/) (termine)
-   [Latenza (latency)](https://broadrouter.com/it/glossary/latency/) (termine)
-   [KV cache (cache chiave-valore)](https://broadrouter.com/it/glossary/kv-cache/) (termine)
-   [Batch API](https://broadrouter.com/it/glossary/batch-api/) (termine)
-   [Speculative decoding (decodifica speculativa)](https://broadrouter.com/it/glossary/speculative-decoding/) (termine)
-   [Come funzionano i piani API LLM illimitati per gli agenti](https://broadrouter.com/it/guides/unlimited-llm-api-sessions/) (guida)
-   [Codici di errore di BroadNet Inference e quando ritentare](https://broadrouter.com/it/guides/errors-and-retries/) (guida)
-   [Come far girare agenti di coding in parallelo con un’API LLM flat](https://broadrouter.com/it/blog/run-parallel-coding-agents-flat-rate/) (articolo)
-   [Latenza degli LLM: TTFT, token al secondo e tempo end-to-end](https://broadrouter.com/it/blog/llm-latency-ttft-throughput/) (articolo)

Provalo sul tuo carico di lavoro reale. I nuovi account partono con USD 5 di credito per Gemma e trascrizione. DeepSeek, GLM e Qwen3.8 richiedono una ricarica.

[Inizia](https://inference.broadnet.ai/account/?utm_source=broadrouter&utm_medium=referral&utm_campaign=it-glossary-throughput&utm_content=page-cta) ·

**Fonti**

-   [NVIDIA NIM, metriche di benchmarking LLM (TPS totali per sistema, TPS per utente, RPS)](https://docs.nvidia.com/nim/benchmarking/llm/latest/metrics.html)
-   [Kwon et al., PagedAttention e vLLM, arXiv 2309.06180](https://arxiv.org/abs/2309.06180)
-   [Riferimento API di BroadNet Inference, limiti (in inglese)](https://inference.broadnet.ai/docs?utm_source=broadrouter&utm_medium=referral&utm_campaign=it-glossary-throughput&utm_content=sources#limits)
-   [Piani di BroadNet Inference (velocità tipica, una richiesta per sessione) (in inglese)](https://inference.broadnet.ai/plans?utm_source=broadrouter&utm_medium=referral&utm_campaign=it-glossary-throughput&utm_content=sources)
