---
title: "Was ist LLM-Latenz? End-to-End-Antwortzeit erklärt | BroadRouter"
description: "LLM-Latenz ist die Dauer einer Anfrage, vom Senden des Prompts bis zum letzten Token. Ihre Teile (TTFT, Inter-Token-Latenz), Perzentile und was sie beeinflusst."
url: https://broadrouter.com/de/glossary/latency/
lang: de
updated: 2026-11-16
publisher: BroadRouter (a BroadNet site); API by BroadNet Inference, https://inference.broadnet.ai
---

Mit KI-Unterstützung aus dem Englischen übersetzt. [Englisches Original lesen](https://broadrouter.com/glossary/latency/) (aktualisiert am 2026-11-16).

# Latenz (LLM)

Aktualisiert 2026-11-16

Latenz ist bei einer Sprachmodell-API die Zeit, die eine Anfrage vom Senden bis zum Empfang des letzten Output-Tokens braucht. Sie ist die Summe aus Time to First Token und Generierungszeit und wird meist als Perzentile wie p50 und p95 angegeben statt als Durchschnitt.

Auch genannt: Latenz, LLM-Latenz, Antwortzeit, End-to-End-Latenz, Inter-Token-Latenz, LLM latency, end-to-end latency, response time, e2e latency, inter-token latency

Latenz ist die Zahl, die Nutzer spüren. Sie ist auch die, die Teams beim Schritt von der Demo in die Produktion am häufigsten überrascht.

## So funktioniert es

Der Metrik-Leitfaden von NVIDIA gibt die Grundformel für eine Anfrage an:

```text
e2e_latency = TTFT + generation_time
ITL = (e2e_latency - TTFT) / (output_tokens - 1)
```

Die [Time to First Token](https://broadrouter.com/de/glossary/time-to-first-token/) umfasst Netzwerk, Warteschlange und das Lesen des Prompts. Die Generierungszeit ist alles nach dem ersten Token: (Output-Tokens − 1) × Inter-Token-Latenz (ITL), bei einer langen Antwort also ungefähr Output-Tokens × ITL. Die End-to-End-Latenz „includes queueing, batching, and network latency“, so NVIDIA (Übersetzung: „umfasst Warteschlange, Batching und Netzwerklatenz“).

Ein Rechenbeispiel mit runden Zahlen: Angenommen, ein Modell streamt 50 Output-Tokens pro Sekunde. Eine Antwort mit 600 Tokens braucht 600 ÷ 50 = 12 Sekunden zur Generierung. Plus eine Sekunde TTFT dauert die Anfrage etwa 13 Sekunden. Halbieren Sie die Antwort, sparen Sie 6 Sekunden; halbieren Sie die TTFT, sparen Sie eine halbe Sekunde. Hier dominiert die Output-Länge.

In einer Anwendung steht eine Anfrage selten allein. Die Latenz auf dem Bildschirm des Nutzers umfasst auch Retries nach Fehlern, Wartezeit auf einen freien [Concurrency](https://broadrouter.com/de/glossary/concurrency/)\-Slot, Tool Calls zwischen Modellrunden und Ihren eigenen Code.

## Warum es wichtig ist

Der Latenz-Leitfaden von OpenAI nennt sieben Prinzipien: Tokens schneller verarbeiten, weniger Tokens erzeugen, weniger Input-Tokens verwenden, weniger Anfragen stellen, parallelisieren, Nutzer weniger warten lassen und nicht automatisch zu einem LLM greifen. Die meisten davon sind Designentscheidungen, keine Anbieterentscheidungen.

Geben Sie Perzentile an. Ein p50 von 4 Sekunden bei einem p95 von 30 Sekunden heißt, dass einer von zwanzig Nutzern eine halbe Minute oder länger wartet. Durchschnitte verbergen diesen Ausläufer, und an ihm bemessen sich die Timeouts.

Latenz und [Durchsatz](https://broadrouter.com/de/glossary/throughput/) ziehen in entgegengesetzte Richtungen. NVIDIA merkt an, dass mit mehr gleichzeitigen Anfragen die Tokens pro Sekunde des Gesamtsystems steigen, während die Tokens pro Sekunde pro Nutzer sinken. Ein ausgelasteter Anbieter kann mehr Menschen bedienen und sich für jeden Einzelnen trotzdem langsamer anfühlen.

## Bei BroadNet Inference

Die Plan-Seite von BroadNet nennt eine typische Geschwindigkeit von etwa 100 Tokens pro Sekunde. Die Dokumentation veröffentlicht keine TTFT- oder Perzentilwerte zur Latenz. Ein Pay-as-you-go-Schlüssel erlaubt 4 gleichzeitig laufende Anfragen; die Dokumentation nennt ein Concurrency-Limit unter den Ursachen für HTTP 429, und jeder Retry danach erhöht die Latenz auf Ihrer Seite. Lange Agentenläufe sollten Timeouts und begrenzte Retries setzen; siehe [Timeouts und Retries für lang laufende Agenten](https://broadrouter.com/de/blog/long-running-agents-timeouts-retries/). Wie Sie jeden Teil im Client messen, zeigt der [Leitfaden zur LLM-Latenz](https://broadrouter.com/de/blog/llm-latency-ttft-throughput/).

## Häufige Fragen

### Was ist der Unterschied zwischen Latenz und Durchsatz?

Latenz ist die Dauer einer einzelnen Anfrage. Durchsatz ist die Arbeit, die ein System pro Sekunde über alle Anfragen hinweg erledigt. Ein Server kann den Durchsatz steigern, indem er mehr Anfragen bündelt, während jede einzelne langsamer wird.

### Was ist Inter-Token-Latenz?

Der durchschnittliche Abstand zwischen Output-Tokens nach dem ersten, auch Time per Output Token genannt. NVIDIA definiert sie als End-to-End-Latenz minus TTFT, geteilt durch die Zahl der Output-Tokens minus eins.

### Wie kann ich die LLM-Latenz senken?

Weniger Output-Tokens erzeugen, kürzere Prompts senden, die Antwort streamen, damit Nutzer früher Text sehen, und unabhängige Aufrufe parallel ausführen. Der Latenz-Leitfaden von OpenAI nennt diese Punkte unter seinen sieben Prinzipien.

## Siehe auch

-   [Time to First Token (TTFT)](https://broadrouter.com/de/glossary/time-to-first-token/) (Begriff)
-   [Durchsatz (Throughput)](https://broadrouter.com/de/glossary/throughput/) (Begriff)
-   [Tokens pro Sekunde (TPS)](https://broadrouter.com/de/glossary/tokens-per-second/) (Begriff)
-   [Concurrency (Parallelität)](https://broadrouter.com/de/glossary/concurrency/) (Begriff)
-   [Rate Limit (Ratenbegrenzung)](https://broadrouter.com/de/glossary/rate-limit/) (Begriff)
-   [Chat Completions streamen und abgebrochene Verbindungen behandeln](https://broadrouter.com/de/guides/streaming-chat-completions/) (Anleitung)
-   [Fehlercodes von BroadNet Inference: Wann ist ein Retry sinnvoll?](https://broadrouter.com/de/guides/errors-and-retries/) (Anleitung)
-   [LLM-Latenz: TTFT vs. Tokens pro Sekunde vs. End-to-End-Zeit](https://broadrouter.com/de/blog/llm-latency-ttft-throughput/) (Artikel)
-   [Lang laufende Agenten: Timeouts, Retries und Checkpoints, die halten](https://broadrouter.com/de/blog/long-running-agents-timeouts-retries/) (Artikel)

Testen Sie es mit Ihrem echten Workload. Neue Konten starten mit USD 5 Guthaben für Gemma und Transkription. DeepSeek, GLM und Qwen3.8 erfordern eine Aufladung.

[Loslegen](https://inference.broadnet.ai/account/?utm_source=broadrouter&utm_medium=referral&utm_campaign=de-glossary-latency&utm_content=page-cta) ·

**Quellen**

-   [NVIDIA NIM, Benchmark-Metriken für LLMs (End-to-End-Latenz, Inter-Token-Latenz)](https://docs.nvidia.com/nim/benchmarking/llm/latest/metrics.html)
-   [OpenAI, Leitfaden zur Latenzoptimierung (sieben Prinzipien)](https://developers.openai.com/api/docs/guides/latency-optimization)
-   [Pläne von BroadNet Inference (typische Geschwindigkeit) (auf Englisch)](https://inference.broadnet.ai/plans?utm_source=broadrouter&utm_medium=referral&utm_campaign=de-glossary-latency&utm_content=sources)
