---
title: "Was ist Time to First Token (TTFT) bei LLM-APIs? | BroadRouter"
description: "Time to First Token (TTFT) ist die Wartezeit vom Senden einer LLM-Anfrage bis zum ersten Output-Token. Bestandteile: Warteschlange, Prefill, Netzwerk."
url: https://broadrouter.com/de/glossary/time-to-first-token/
lang: de
updated: 2026-11-16
publisher: BroadRouter (a BroadNet site); API by BroadNet Inference, https://inference.broadnet.ai
---

Mit KI-Unterstützung aus dem Englischen übersetzt. [Englisches Original lesen](https://broadrouter.com/glossary/time-to-first-token/) (aktualisiert am 2026-11-16).

# Time to First Token (TTFT)

Aktualisiert 2026-11-16

Time to First Token (TTFT) ist die Zeit vom Senden einer Anfrage an ein Sprachmodell bis zum Eintreffen des ersten Output-Tokens. Sie umfasst Netzwerkzeit, Warteschlange auf dem Server und Prefill, den Schritt, in dem das Modell den ganzen Prompt liest; sie wächst daher mit Prompt-Länge und Last.

Auch genannt: TTFT, Time to First Token, Zeit bis zum ersten Token, Latenz bis zum ersten Token, first-token latency, time to first content token, first token time

Die TTFT ist die Pause, bevor irgendetwas passiert. Im Chatfenster ist sie der leere Bildschirm, beim Voicebot die Funkstille.

## So funktioniert es

Der Benchmark-Leitfaden von NVIDIA zerlegt die TTFT in drei Teile: „request queuing time, prefill time, and network latency“ (Übersetzung: „Wartezeit der Anfrage in der Warteschlange, Prefill-Zeit und Netzwerklatenz“). Jeder hat seine eigene Ursache:

| Teil | Was ihn bestimmt | Was Sie ändern können |
| --- | --- | --- |
| Netzwerk | Entfernung, TLS-Aufbau, Proxys | Verbindungen wiederverwenden; aus einer nahen Region aufrufen |
| Warteschlange | Auslastung des Servers | Zeiten außerhalb der Spitzen, ein weniger ausgelastetes Modell oder Tier |
| Prefill | Prompt-Länge, Modellgröße | Kürzere Prompts, stabile cachebare Präfixe |

Bei langen Inputs ist das Prefill meist der größte Posten. Das Modell schickt den ganzen Prompt durch jede Schicht, um den [KV-Cache](https://broadrouter.com/de/glossary/kv-cache/) aufzubauen, bevor es das erste Token erzeugen kann. NVIDIA merkt an, dass sich auf einem ausgelasteten Server das Prefill einer Anfrage mit der Generierung einer anderen überschneiden kann; die TTFT schwankt also auch mit dem Traffic anderer Nutzer.

Zwei Definitionen sind wichtig, wenn Sie Zahlen lesen. AIPerf von NVIDIA zählt das erste Token nur, wenn es Inhalt trägt. Für gestreamten Text in der Responses API misst der Leitfaden von OpenAI die TTFT „until you receive the first nonempty response.output\_text.delta“ (Übersetzung: „bis zum Empfang des ersten nicht leeren response.output\_text.delta“). Bei [Reasoning-Tokens](https://broadrouter.com/de/glossary/reasoning-tokens/) kann das erste sichtbare Wort viel später kommen als das erste erzeugte Token; sagen Sie also, welches Sie meinen.

## Warum es wichtig ist

Die TTFT bestimmt stärker als die reine Geschwindigkeit, wie schnell sich ein Produkt anfühlt. Der Leitfaden von OpenAI sagt: „a long prompt can delay the first token, especially when much of the input is new“ (Übersetzung: „ein langer Prompt kann das erste Token verzögern, besonders wenn ein Großteil des Inputs neu ist“). Hier helfen [gecachte Input-Tokens](https://broadrouter.com/de/glossary/cached-input-tokens/). Derselbe Leitfaden sagt, Prompt-Caching „can reuse an eligible exact prefix match“ (Übersetzung: „kann eine geeignete exakte Präfix-Übereinstimmung wiederverwenden“), und schlägt vor, die TTFT mit und ohne Cache-Treffer zu vergleichen. Ein gecachtes Präfix überspringt einen Teil des Prefills, sodass ein wiederholter System-Prompt weniger kostet und früher starten kann.

Bei Agenten fällt die TTFT bei jedem Schritt an. Zwanzig Tool Calls mit zwei Sekunden TTFT ergeben vierzig Sekunden Wartezeit, noch bevor irgendein Output mitgezählt ist.

Die TTFT ist ein Teil der End-to-End-[Latenz](https://broadrouter.com/de/glossary/latency/). Der Rest ist die Generierungszeit, bestimmt durch die [Tokens pro Sekunde](https://broadrouter.com/de/glossary/tokens-per-second/).

## Bei BroadNet Inference

Die BroadNet-Dokumentation beschreibt [Streaming](https://broadrouter.com/de/glossary/streaming/) mit Server-Sent Events, das mit `data: [DONE]` endet; so beobachten Sie das erste Token im Client. DeepSeek V4.1 Flash, GLM 5.3 und Qwen3.8 27B denken vor der Antwort nach, die Zeit bis zum ersten sichtbaren Text schließt also das Nachdenken ein. BroadNet veröffentlicht keinen TTFT-Wert. Ein Messskript und Auswertungen nach p50/p95 finden Sie in [LLM-Latenz: TTFT vs. Tokens pro Sekunde](https://broadrouter.com/de/blog/llm-latency-ttft-throughput/).

## Häufige Fragen

### Warum ist die TTFT bei einem langen Prompt hoch?

Das Modell muss jedes Prompt-Token lesen und seinen KV-Cache aufbauen, bevor es etwas schreiben kann. Laut dem Metrik-Leitfaden von NVIDIA erhöhen längere Prompts die TTFT aus genau diesem Grund.

### Verkürzt Streaming die Time to First Token?

Nein. Mit Streaming sehen Sie das erste Token, sobald es existiert; ohne Streaming warten Sie auf die ganze Antwort. Die Arbeit auf dem Server bis zu diesem Token ist in beiden Fällen dieselbe.

### Zählt ein leerer erster Chunk als erstes Token?

In den meisten Benchmarks nicht. AIPerf von NVIDIA ignoriert anfängliche Antworten ohne Inhalt, und OpenAI misst die TTFT bis zum ersten nicht leeren Text-Delta.

## Siehe auch

-   [Latenz (LLM)](https://broadrouter.com/de/glossary/latency/) (Begriff)
-   [Tokens pro Sekunde (TPS)](https://broadrouter.com/de/glossary/tokens-per-second/) (Begriff)
-   [KV-Cache](https://broadrouter.com/de/glossary/kv-cache/) (Begriff)
-   [Streaming](https://broadrouter.com/de/glossary/streaming/) (Begriff)
-   [Gecachte Input-Tokens (Cached Input Tokens)](https://broadrouter.com/de/glossary/cached-input-tokens/) (Begriff)
-   [Speculative Decoding (spekulatives Dekodieren)](https://broadrouter.com/de/glossary/speculative-decoding/) (Begriff)
-   [Prefill und Decode](https://broadrouter.com/de/glossary/prefill-and-decode/) (Begriff)
-   [Chat Completions streamen und abgebrochene Verbindungen behandeln](https://broadrouter.com/de/guides/streaming-chat-completions/) (Anleitung)
-   [Warum ein Reasoning-Modell eine leere Antwort liefert](https://broadrouter.com/de/guides/reasoning-tokens-empty-response/) (Anleitung)
-   [LLM-Latenz: TTFT vs. Tokens pro Sekunde vs. End-to-End-Zeit](https://broadrouter.com/de/blog/llm-latency-ttft-throughput/) (Artikel)
-   [LLM-Streaming erklärt: SSE-Chunks, Deltas, Usage und Abbruch](https://broadrouter.com/de/blog/llm-streaming-sse-explained/) (Artikel)

Testen Sie es mit Ihrem echten Workload. Neue Konten starten mit USD 5 Guthaben für Gemma und Transkription. DeepSeek, GLM und Qwen3.8 erfordern eine Aufladung.

[Loslegen](https://inference.broadnet.ai/account/?utm_source=broadrouter&utm_medium=referral&utm_campaign=de-glossary-time-to-first-token&utm_content=page-cta) ·

**Quellen**

-   [NVIDIA NIM, Benchmark-Metriken für LLMs (Time to First Token)](https://docs.nvidia.com/nim/benchmarking/llm/latest/metrics.html)
-   [OpenAI, Leitfaden zur Latenzoptimierung](https://developers.openai.com/api/docs/guides/latency-optimization)
-   [API-Referenz von BroadNet Inference, Streaming und Reasoning (auf Englisch)](https://inference.broadnet.ai/docs?utm_source=broadrouter&utm_medium=referral&utm_campaign=de-glossary-time-to-first-token&utm_content=sources)
