---
title: "Cos’è la latenza di un LLM? Il tempo di risposta spiegato"
description: "La latenza di un LLM è quanto dura una richiesta, dall’invio del prompt all’ultimo token. Le sue parti (TTFT, latenza tra token), i percentili e cosa la fa cambiare."
url: https://broadrouter.com/it/glossary/latency/
lang: it
updated: 2026-11-16
publisher: BroadRouter (a BroadNet site); API by BroadNet Inference, https://inference.broadnet.ai
---

Tradotto dall’inglese con l’aiuto dell’IA. [Leggi l’originale in inglese](https://broadrouter.com/glossary/latency/) (aggiornato il 2026-11-16).

# Latenza (latency)

Aggiornato 2026-11-16

La latenza, per un’API di modelli linguistici, è il tempo che passa dall’invio di una richiesta alla ricezione dell’ultimo token di output. È la somma del time to first token e del tempo di generazione, e di solito si riporta in percentili come p50 e p95 invece che come media.

Detto anche: latenza LLM, latenza end-to-end, tempo di risposta, latenza tra token, latency, LLM latency, end-to-end latency, response time, e2e latency, inter-token latency

La latenza è il numero che gli utenti percepiscono. Ed è anche quello che più spesso sorprende i team quando passano da una demo alla produzione.

## Come funziona

La guida alle metriche di NVIDIA dà la formula di base per una richiesta:

```text
e2e_latency = TTFT + generation_time
ITL = (e2e_latency - TTFT) / (output_tokens - 1)
```

Il [time to first token](https://broadrouter.com/it/glossary/time-to-first-token/) copre rete, coda e lettura del prompt. Il tempo di generazione (generation\_time) è tutto ciò che viene dopo il primo token: (token di output − 1) × latenza tra token (ITL), o circa token di output × ITL per una risposta lunga. La latenza end-to-end (e2e\_latency), dice NVIDIA, “includes queueing, batching, and network latency” (traduzione: include coda, batching e latenza di rete).

Un esempio con numeri tondi: supponi che un modello trasmetta 50 token di output al secondo. Una risposta da 600 token richiede 600 ÷ 50 = 12 secondi di generazione. Aggiungi un secondo di TTFT e la richiesta dura circa 13 secondi. Dimezzi la risposta e risparmi 6 secondi; dimezzi il TTFT e risparmi mezzo secondo. Qui domina la lunghezza dell’output.

In un’applicazione una richiesta raramente è da sola. La latenza percepita sullo schermo dell’utente comprende anche i retry dopo gli errori, l’attesa di uno slot di [concorrenza](https://broadrouter.com/it/glossary/concurrency/), le chiamate agli strumenti tra un turno e l’altro del modello e il tuo stesso codice.

## Perché è importante

La guida di OpenAI sulla latenza elenca sette principi: elaborare i token più in fretta, generare meno token, usare meno token di input, fare meno richieste, parallelizzare, far aspettare meno gli utenti e non usare un LLM per default. Quasi tutti sono scelte di design, non scelte di provider.

Riporta i percentili. Un p50 di 4 secondi con un p95 di 30 secondi significa che un utente su venti aspetta mezzo minuto o più. Le medie nascondono questa coda, ed è proprio la coda a determinare i timeout.

Latenza e [throughput](https://broadrouter.com/it/glossary/throughput/) tirano in direzioni opposte. NVIDIA nota che, al crescere delle richieste concorrenti, i token al secondo dell’intero sistema aumentano mentre quelli per singolo utente calano. Un provider molto carico può servire più persone e allo stesso tempo sembrare più lento a ciascuna.

## Su BroadNet Inference

La pagina dei piani di BroadNet indica una velocità tipica di circa 100 token al secondo. La documentazione non pubblica valori di TTFT né percentili di latenza. Una chiave a consumo consente 4 richieste in corso contemporaneamente; la documentazione elenca un limite di concorrenza tra le cause dell’HTTP 429, e ogni retry che ne segue aggiunge latenza dal tuo lato. Le esecuzioni lunghe degli agenti dovrebbero avere timeout e retry limitati; vedi [timeout e retry per agenti di lunga durata](https://broadrouter.com/it/blog/long-running-agents-timeouts-retries/). Per misurare ogni componente dal client, vedi la [guida alla latenza degli LLM](https://broadrouter.com/it/blog/llm-latency-ttft-throughput/).

## Domande frequenti

### Che differenza c’è tra latenza e throughput?

La latenza è quanto dura una singola richiesta. Il throughput è quanto lavoro un sistema completa al secondo su tutte le richieste. Un server può aumentare il throughput raggruppando più richieste mentre ognuna diventa più lenta.

### Cos’è la latenza tra token (inter-token latency)?

Lo scarto medio tra un token di output e l’altro dopo il primo, detto anche time per output token. NVIDIA la definisce come latenza end-to-end meno TTFT, divisa per i token di output meno uno.

### Come posso ridurre la latenza di un LLM?

Genera meno token di output, invia prompt più corti, usa lo streaming così gli utenti vedono il testo prima, ed esegui in parallelo le chiamate indipendenti. La guida di OpenAI sulla latenza li elenca tra i suoi sette principi.

## Vedi anche

-   [Time to first token (TTFT)](https://broadrouter.com/it/glossary/time-to-first-token/) (termine)
-   [Throughput](https://broadrouter.com/it/glossary/throughput/) (termine)
-   [Token al secondo (tokens per second)](https://broadrouter.com/it/glossary/tokens-per-second/) (termine)
-   [Concorrenza (concurrency)](https://broadrouter.com/it/glossary/concurrency/) (termine)
-   [Rate limit (limite di frequenza)](https://broadrouter.com/it/glossary/rate-limit/) (termine)
-   [Streaming delle chat completions e connessioni interrotte](https://broadrouter.com/it/guides/streaming-chat-completions/) (guida)
-   [Codici di errore di BroadNet Inference e quando ritentare](https://broadrouter.com/it/guides/errors-and-retries/) (guida)
-   [Latenza degli LLM: TTFT, token al secondo e tempo end-to-end](https://broadrouter.com/it/blog/llm-latency-ttft-throughput/) (articolo)
-   [Agenti di lunga durata: timeout, retry e checkpoint che reggono](https://broadrouter.com/it/blog/long-running-agents-timeouts-retries/) (articolo)

Provalo sul tuo carico di lavoro reale. I nuovi account partono con USD 5 di credito per Gemma e trascrizione. DeepSeek, GLM e Qwen3.8 richiedono una ricarica.

[Inizia](https://inference.broadnet.ai/account/?utm_source=broadrouter&utm_medium=referral&utm_campaign=it-glossary-latency&utm_content=page-cta) ·

**Fonti**

-   [NVIDIA NIM, metriche di benchmark per LLM (latenza end-to-end, latenza tra token)](https://docs.nvidia.com/nim/benchmarking/llm/latest/metrics.html)
-   [OpenAI, guida all’ottimizzazione della latenza (sette principi)](https://developers.openai.com/api/docs/guides/latency-optimization)
-   [Piani di BroadNet Inference (velocità tipica) (in inglese)](https://inference.broadnet.ai/plans?utm_source=broadrouter&utm_medium=referral&utm_campaign=it-glossary-latency&utm_content=sources)
