Latenz ist die Zahl, die Nutzer spüren. Sie ist auch die, die Teams beim Schritt von der Demo in die Produktion am häufigsten überrascht.
So funktioniert es
Der Metrik-Leitfaden von NVIDIA gibt die Grundformel für eine Anfrage an:
e2e_latency = TTFT + generation_time
ITL = (e2e_latency - TTFT) / (output_tokens - 1)
Die Time to First Token umfasst Netzwerk, Warteschlange und das Lesen des Prompts. Die Generierungszeit ist alles nach dem ersten Token: (Output-Tokens − 1) × Inter-Token-Latenz (ITL), bei einer langen Antwort also ungefähr Output-Tokens × ITL. Die End-to-End-Latenz „includes queueing, batching, and network latency“, so NVIDIA (Übersetzung: „umfasst Warteschlange, Batching und Netzwerklatenz“).
Ein Rechenbeispiel mit runden Zahlen: Angenommen, ein Modell streamt 50 Output-Tokens pro Sekunde. Eine Antwort mit 600 Tokens braucht 600 ÷ 50 = 12 Sekunden zur Generierung. Plus eine Sekunde TTFT dauert die Anfrage etwa 13 Sekunden. Halbieren Sie die Antwort, sparen Sie 6 Sekunden; halbieren Sie die TTFT, sparen Sie eine halbe Sekunde. Hier dominiert die Output-Länge.
In einer Anwendung steht eine Anfrage selten allein. Die Latenz auf dem Bildschirm des Nutzers umfasst auch Retries nach Fehlern, Wartezeit auf einen freien Concurrency-Slot, Tool Calls zwischen Modellrunden und Ihren eigenen Code.
Warum es wichtig ist
Der Latenz-Leitfaden von OpenAI nennt sieben Prinzipien: Tokens schneller verarbeiten, weniger Tokens erzeugen, weniger Input-Tokens verwenden, weniger Anfragen stellen, parallelisieren, Nutzer weniger warten lassen und nicht automatisch zu einem LLM greifen. Die meisten davon sind Designentscheidungen, keine Anbieterentscheidungen.
Geben Sie Perzentile an. Ein p50 von 4 Sekunden bei einem p95 von 30 Sekunden heißt, dass einer von zwanzig Nutzern eine halbe Minute oder länger wartet. Durchschnitte verbergen diesen Ausläufer, und an ihm bemessen sich die Timeouts.
Latenz und Durchsatz ziehen in entgegengesetzte Richtungen. NVIDIA merkt an, dass mit mehr gleichzeitigen Anfragen die Tokens pro Sekunde des Gesamtsystems steigen, während die Tokens pro Sekunde pro Nutzer sinken. Ein ausgelasteter Anbieter kann mehr Menschen bedienen und sich für jeden Einzelnen trotzdem langsamer anfühlen.
Bei BroadNet Inference
Die Plan-Seite von BroadNet nennt eine typische Geschwindigkeit von etwa 100 Tokens pro Sekunde. Die Dokumentation veröffentlicht keine TTFT- oder Perzentilwerte zur Latenz. Ein Pay-as-you-go-Schlüssel erlaubt 4 gleichzeitig laufende Anfragen; die Dokumentation nennt ein Concurrency-Limit unter den Ursachen für HTTP 429, und jeder Retry danach erhöht die Latenz auf Ihrer Seite. Lange Agentenläufe sollten Timeouts und begrenzte Retries setzen; siehe Timeouts und Retries für lang laufende Agenten. Wie Sie jeden Teil im Client messen, zeigt der Leitfaden zur LLM-Latenz.