BroadRouter
Loslegen

Latenz (LLM)

Aktualisiert

Latenz ist bei einer Sprachmodell-API die Zeit, die eine Anfrage vom Senden bis zum Empfang des letzten Output-Tokens braucht. Sie ist die Summe aus Time to First Token und Generierungszeit und wird meist als Perzentile wie p50 und p95 angegeben statt als Durchschnitt.

Auch genannt: Latenz, LLM-Latenz, Antwortzeit, End-to-End-Latenz, Inter-Token-Latenz, LLM latency, end-to-end latency, response time, e2e latency, inter-token latency

Latenz ist die Zahl, die Nutzer spüren. Sie ist auch die, die Teams beim Schritt von der Demo in die Produktion am häufigsten überrascht.

So funktioniert es

Der Metrik-Leitfaden von NVIDIA gibt die Grundformel für eine Anfrage an:

e2e_latency = TTFT + generation_time
ITL = (e2e_latency - TTFT) / (output_tokens - 1)

Die Time to First Token umfasst Netzwerk, Warteschlange und das Lesen des Prompts. Die Generierungszeit ist alles nach dem ersten Token: (Output-Tokens − 1) × Inter-Token-Latenz (ITL), bei einer langen Antwort also ungefähr Output-Tokens × ITL. Die End-to-End-Latenz „includes queueing, batching, and network latency“, so NVIDIA (Übersetzung: „umfasst Warteschlange, Batching und Netzwerklatenz“).

Ein Rechenbeispiel mit runden Zahlen: Angenommen, ein Modell streamt 50 Output-Tokens pro Sekunde. Eine Antwort mit 600 Tokens braucht 600 ÷ 50 = 12 Sekunden zur Generierung. Plus eine Sekunde TTFT dauert die Anfrage etwa 13 Sekunden. Halbieren Sie die Antwort, sparen Sie 6 Sekunden; halbieren Sie die TTFT, sparen Sie eine halbe Sekunde. Hier dominiert die Output-Länge.

In einer Anwendung steht eine Anfrage selten allein. Die Latenz auf dem Bildschirm des Nutzers umfasst auch Retries nach Fehlern, Wartezeit auf einen freien Concurrency-Slot, Tool Calls zwischen Modellrunden und Ihren eigenen Code.

Warum es wichtig ist

Der Latenz-Leitfaden von OpenAI nennt sieben Prinzipien: Tokens schneller verarbeiten, weniger Tokens erzeugen, weniger Input-Tokens verwenden, weniger Anfragen stellen, parallelisieren, Nutzer weniger warten lassen und nicht automatisch zu einem LLM greifen. Die meisten davon sind Designentscheidungen, keine Anbieterentscheidungen.

Geben Sie Perzentile an. Ein p50 von 4 Sekunden bei einem p95 von 30 Sekunden heißt, dass einer von zwanzig Nutzern eine halbe Minute oder länger wartet. Durchschnitte verbergen diesen Ausläufer, und an ihm bemessen sich die Timeouts.

Latenz und Durchsatz ziehen in entgegengesetzte Richtungen. NVIDIA merkt an, dass mit mehr gleichzeitigen Anfragen die Tokens pro Sekunde des Gesamtsystems steigen, während die Tokens pro Sekunde pro Nutzer sinken. Ein ausgelasteter Anbieter kann mehr Menschen bedienen und sich für jeden Einzelnen trotzdem langsamer anfühlen.

Bei BroadNet Inference

Die Plan-Seite von BroadNet nennt eine typische Geschwindigkeit von etwa 100 Tokens pro Sekunde. Die Dokumentation veröffentlicht keine TTFT- oder Perzentilwerte zur Latenz. Ein Pay-as-you-go-Schlüssel erlaubt 4 gleichzeitig laufende Anfragen; die Dokumentation nennt ein Concurrency-Limit unter den Ursachen für HTTP 429, und jeder Retry danach erhöht die Latenz auf Ihrer Seite. Lange Agentenläufe sollten Timeouts und begrenzte Retries setzen; siehe Timeouts und Retries für lang laufende Agenten. Wie Sie jeden Teil im Client messen, zeigt der Leitfaden zur LLM-Latenz.

Häufige Fragen

Was ist der Unterschied zwischen Latenz und Durchsatz?

Latenz ist die Dauer einer einzelnen Anfrage. Durchsatz ist die Arbeit, die ein System pro Sekunde über alle Anfragen hinweg erledigt. Ein Server kann den Durchsatz steigern, indem er mehr Anfragen bündelt, während jede einzelne langsamer wird.

Was ist Inter-Token-Latenz?

Der durchschnittliche Abstand zwischen Output-Tokens nach dem ersten, auch Time per Output Token genannt. NVIDIA definiert sie als End-to-End-Latenz minus TTFT, geteilt durch die Zahl der Output-Tokens minus eins.

Wie kann ich die LLM-Latenz senken?

Weniger Output-Tokens erzeugen, kürzere Prompts senden, die Antwort streamen, damit Nutzer früher Text sehen, und unabhängige Aufrufe parallel ausführen. Der Latenz-Leitfaden von OpenAI nennt diese Punkte unter seinen sieben Prinzipien.

Als Markdown lesenChatGPT fragenClaude fragenPerplexity fragen