BroadRouter

Time to First Token (TTFT)

Aktualisiert

Time to First Token (TTFT) ist die Zeit vom Senden einer Anfrage an ein Sprachmodell bis zum Eintreffen des ersten Output-Tokens. Sie umfasst Netzwerkzeit, Warteschlange auf dem Server und Prefill, den Schritt, in dem das Modell den ganzen Prompt liest; sie wächst daher mit Prompt-Länge und Last.

Auch genannt: TTFT, Time to First Token, Zeit bis zum ersten Token, Latenz bis zum ersten Token, first-token latency, time to first content token, first token time

Die TTFT ist die Pause, bevor irgendetwas passiert. Im Chatfenster ist sie der leere Bildschirm, beim Voicebot die Funkstille.

So funktioniert es

Der Benchmark-Leitfaden von NVIDIA zerlegt die TTFT in drei Teile: „request queuing time, prefill time, and network latency“ (Übersetzung: „Wartezeit der Anfrage in der Warteschlange, Prefill-Zeit und Netzwerklatenz“). Jeder hat seine eigene Ursache:

Teil Was ihn bestimmt Was Sie ändern können
Netzwerk Entfernung, TLS-Aufbau, Proxys Verbindungen wiederverwenden; aus einer nahen Region aufrufen
Warteschlange Auslastung des Servers Zeiten außerhalb der Spitzen, ein weniger ausgelastetes Modell oder Tier
Prefill Prompt-Länge, Modellgröße Kürzere Prompts, stabile cachebare Präfixe

Bei langen Inputs ist das Prefill meist der größte Posten. Das Modell schickt den ganzen Prompt durch jede Schicht, um den KV-Cache aufzubauen, bevor es das erste Token erzeugen kann. NVIDIA merkt an, dass sich auf einem ausgelasteten Server das Prefill einer Anfrage mit der Generierung einer anderen überschneiden kann; die TTFT schwankt also auch mit dem Traffic anderer Nutzer.

Zwei Definitionen sind wichtig, wenn Sie Zahlen lesen. AIPerf von NVIDIA zählt das erste Token nur, wenn es Inhalt trägt. Für gestreamten Text in der Responses API misst der Leitfaden von OpenAI die TTFT „until you receive the first nonempty response.output_text.delta“ (Übersetzung: „bis zum Empfang des ersten nicht leeren response.output_text.delta“). Bei Reasoning-Tokens kann das erste sichtbare Wort viel später kommen als das erste erzeugte Token; sagen Sie also, welches Sie meinen.

Warum es wichtig ist

Die TTFT bestimmt stärker als die reine Geschwindigkeit, wie schnell sich ein Produkt anfühlt. Der Leitfaden von OpenAI sagt: „a long prompt can delay the first token, especially when much of the input is new“ (Übersetzung: „ein langer Prompt kann das erste Token verzögern, besonders wenn ein Großteil des Inputs neu ist“). Hier helfen gecachte Input-Tokens. Derselbe Leitfaden sagt, Prompt-Caching „can reuse an eligible exact prefix match“ (Übersetzung: „kann eine geeignete exakte Präfix-Übereinstimmung wiederverwenden“), und schlägt vor, die TTFT mit und ohne Cache-Treffer zu vergleichen. Ein gecachtes Präfix überspringt einen Teil des Prefills, sodass ein wiederholter System-Prompt weniger kostet und früher starten kann.

Bei Agenten fällt die TTFT bei jedem Schritt an. Zwanzig Tool Calls mit zwei Sekunden TTFT ergeben vierzig Sekunden Wartezeit, noch bevor irgendein Output mitgezählt ist.

Die TTFT ist ein Teil der End-to-End-Latenz. Der Rest ist die Generierungszeit, bestimmt durch die Tokens pro Sekunde.

Bei BroadNet Inference

Die BroadNet-Dokumentation beschreibt Streaming mit Server-Sent Events, das mit data: [DONE] endet; so beobachten Sie das erste Token im Client. DeepSeek V4.1 Flash, GLM 5.3 und Qwen3.8 27B denken vor der Antwort nach, die Zeit bis zum ersten sichtbaren Text schließt also das Nachdenken ein. BroadNet veröffentlicht keinen TTFT-Wert. Ein Messskript und Auswertungen nach p50/p95 finden Sie in LLM-Latenz: TTFT vs. Tokens pro Sekunde.

Häufige Fragen

Warum ist die TTFT bei einem langen Prompt hoch?

Das Modell muss jedes Prompt-Token lesen und seinen KV-Cache aufbauen, bevor es etwas schreiben kann. Laut dem Metrik-Leitfaden von NVIDIA erhöhen längere Prompts die TTFT aus genau diesem Grund.

Verkürzt Streaming die Time to First Token?

Nein. Mit Streaming sehen Sie das erste Token, sobald es existiert; ohne Streaming warten Sie auf die ganze Antwort. Die Arbeit auf dem Server bis zu diesem Token ist in beiden Fällen dieselbe.

Zählt ein leerer erster Chunk als erstes Token?

In den meisten Benchmarks nicht. AIPerf von NVIDIA ignoriert anfängliche Antworten ohne Inhalt, und OpenAI misst die TTFT bis zum ersten nicht leeren Text-Delta.

Als Markdown lesenChatGPT fragenClaude fragenPerplexity fragen