Eine Chat-Anfrage erledigt zwei verschiedene Aufgaben: den Prompt lesen, dann die Antwort schreiben. Inferenz-Ingenieure nennen das Prefill und Decode, und beide verhalten sich auf einer GPU sehr unterschiedlich.
So funktioniert es
- Prefill. Das Modell liest jedes Prompt-Token in einem parallelen Durchlauf und legt die Attention-Keys und -Values jedes Tokens im KV-Cache ab. Noch wird nichts zurückgegeben.
- Decode. Das Modell erzeugt ein Token, hängt dessen Keys und Values an den Cache an und wiederholt das, bis es aufhört oder
max_tokenserreicht.
Das Sarathi-Serve-Paper bringt den Unterschied auf den Punkt: „Prefill iterations have high latency but saturate GPU compute due to parallel processing of the input prompt“ (Übersetzung: „Prefill-Iterationen haben hohe Latenz, lasten die GPU-Rechenleistung aber durch die parallele Verarbeitung des Prompts voll aus“), während „decode iterations have low latency but also low compute utilization.“ (Übersetzung: „Decode-Iterationen niedrige Latenz, aber auch geringe Rechenauslastung haben.“)
Die beiden Phasen entsprechen den beiden Latenzwerten, die Nutzer spüren. Das DistServe-Paper benennt sie: „time to first token (TTFT) for the prefill phase and time per output token (TPOT) of each request for the decoding phase.“ (Übersetzung: „Time to First Token (TTFT) für die Prefill-Phase und Time per Output Token (TPOT) jeder Anfrage für die Decoding-Phase.“)
Ein durchgerechnetes Beispiel: Eine Anfrage mit einem Prompt von 20.000 Tokens und einer Antwort von 300 Tokens erledigt den Prefill aller 20.000 Tokens, bevor das erste gestreamte Token erscheint, dann folgen 300 aufeinanderfolgende Decode-Schritte. Halbieren Sie den Prompt, verkürzt sich die Wartezeit aufs erste Token; wie schnell die 300 Tokens ankommen, ändert sich nicht.
Warum es wichtig ist
- Die Time to First Token folgt der Prompt-Größe. Lange System-Prompts, Dokumente und Tool-Listen erhöhen alle die Prefill-Arbeit. Gecachte Präfixe überspringen einen Teil davon, deshalb können gecachte Input-Tokens lange Prompts schneller starten lassen.
- Tokens pro Sekunde ist ein Decode-Wert. Die Ausgabegeschwindigkeit hängt davon ab, wie schnell jeder Decode-Schritt läuft, und genau das versucht Speculative Decoding zu steigern.
- Die Phasen stören sich gegenseitig. Wenn ein Server beide auf derselben GPU ausführt, kann ein großer Prefill die Decodes anderer Nutzer anhalten. DistServe berichtet von „strong prefill-decoding interferences“ (Übersetzung: „starken Interferenzen zwischen Prefill und Decoding“) und verlegt die Phasen auf verschiedene GPUs. Sarathi-Serve dagegen „splits a prefill request into near equal sized chunks“ (Übersetzung: „teilt eine Prefill-Anfrage in nahezu gleich große Chunks“) und plant sie „without pausing ongoing decodes“ (Übersetzung: „ohne laufende Decodes anzuhalten“) ein.
- Engines legen den Zielkonflikt offen. Laut Tuning-Leitfaden von vLLM erlaubt Chunked Prefill, Prefill-Chunks mit Decode-Anfragen zu bündeln. Ein kleineres
max_num_batched_tokensverbessert die Latenz zwischen Tokens, ein größeres begünstigt TTFT und Durchsatz.
Der Leitfaden zu Latenz, TTFT und Durchsatz zeigt, wie Sie beide Phasen clientseitig messen.
Bei BroadNet Inference
BroadNet veröffentlicht nicht, wie seine Server Prefill und Decode einplanen. Sehen können Sie die Wirkung: Streamen Sie eine Antwort wie in der Streaming-Anleitung, loggen Sie die Zeit bis zum ersten Content-Chunk (vor allem Prefill plus Warteschlange) und die Rate der Chunks danach (Decode). Bei GLM 5.3, DeepSeek V4.1 Flash und Qwen3.8 27B werden auch Reasoning-Tokens im Decode erzeugt, sie verzögern also die sichtbare Antwort und zählen zu max_tokens.
Häufige Fehler
- Ein langsames erstes Token der Ausgabegeschwindigkeit des Modells anlasten. Prüfen Sie zuerst die Prompt-Länge.
- Mit einem winzigen Prompt benchmarken. Echte Prompts mit langem Kontext haben einen viel längeren Prefill.