La latenza è il numero che gli utenti percepiscono. Ed è anche quello che più spesso sorprende i team quando passano da una demo alla produzione.
Come funziona
La guida alle metriche di NVIDIA dà la formula di base per una richiesta:
e2e_latency = TTFT + generation_time
ITL = (e2e_latency - TTFT) / (output_tokens - 1)
Il time to first token copre rete, coda e lettura del prompt. Il tempo di generazione (generation_time) è tutto ciò che viene dopo il primo token: (token di output − 1) × latenza tra token (ITL), o circa token di output × ITL per una risposta lunga. La latenza end-to-end (e2e_latency), dice NVIDIA, “includes queueing, batching, and network latency” (traduzione: include coda, batching e latenza di rete).
Un esempio con numeri tondi: supponi che un modello trasmetta 50 token di output al secondo. Una risposta da 600 token richiede 600 ÷ 50 = 12 secondi di generazione. Aggiungi un secondo di TTFT e la richiesta dura circa 13 secondi. Dimezzi la risposta e risparmi 6 secondi; dimezzi il TTFT e risparmi mezzo secondo. Qui domina la lunghezza dell’output.
In un’applicazione una richiesta raramente è da sola. La latenza percepita sullo schermo dell’utente comprende anche i retry dopo gli errori, l’attesa di uno slot di concorrenza, le chiamate agli strumenti tra un turno e l’altro del modello e il tuo stesso codice.
Perché è importante
La guida di OpenAI sulla latenza elenca sette principi: elaborare i token più in fretta, generare meno token, usare meno token di input, fare meno richieste, parallelizzare, far aspettare meno gli utenti e non usare un LLM per default. Quasi tutti sono scelte di design, non scelte di provider.
Riporta i percentili. Un p50 di 4 secondi con un p95 di 30 secondi significa che un utente su venti aspetta mezzo minuto o più. Le medie nascondono questa coda, ed è proprio la coda a determinare i timeout.
Latenza e throughput tirano in direzioni opposte. NVIDIA nota che, al crescere delle richieste concorrenti, i token al secondo dell’intero sistema aumentano mentre quelli per singolo utente calano. Un provider molto carico può servire più persone e allo stesso tempo sembrare più lento a ciascuna.
Su BroadNet Inference
La pagina dei piani di BroadNet indica una velocità tipica di circa 100 token al secondo. La documentazione non pubblica valori di TTFT né percentili di latenza. Una chiave a consumo consente 4 richieste in corso contemporaneamente; la documentazione elenca un limite di concorrenza tra le cause dell’HTTP 429, e ogni retry che ne segue aggiunge latenza dal tuo lato. Le esecuzioni lunghe degli agenti dovrebbero avere timeout e retry limitati; vedi timeout e retry per agenti di lunga durata. Per misurare ogni componente dal client, vedi la guida alla latenza degli LLM.