BroadRouter

Prefill und Decode

Aktualisiert

Prefill und Decode sind die beiden Phasen der LLM-Inferenz. Im Prefill verarbeitet das Modell den ganzen Prompt parallel und füllt seinen KV-Cache; im Decode erzeugt es die Antwort Token für Token und nutzt diesen Cache wieder. Prefill bestimmt vor allem die Time to First Token, Decode die Ausgabegeschwindigkeit.

Auch genannt: Prefill, Prefill-Phase, Decode-Phase, Decoding-Phase, Prompt-Verarbeitung, prefill phase, decode phase, prefill stage, prompt processing

Eine Chat-Anfrage erledigt zwei verschiedene Aufgaben: den Prompt lesen, dann die Antwort schreiben. Inferenz-Ingenieure nennen das Prefill und Decode, und beide verhalten sich auf einer GPU sehr unterschiedlich.

So funktioniert es

  1. Prefill. Das Modell liest jedes Prompt-Token in einem parallelen Durchlauf und legt die Attention-Keys und -Values jedes Tokens im KV-Cache ab. Noch wird nichts zurückgegeben.
  2. Decode. Das Modell erzeugt ein Token, hängt dessen Keys und Values an den Cache an und wiederholt das, bis es aufhört oder max_tokens erreicht.

Das Sarathi-Serve-Paper bringt den Unterschied auf den Punkt: „Prefill iterations have high latency but saturate GPU compute due to parallel processing of the input prompt“ (Übersetzung: „Prefill-Iterationen haben hohe Latenz, lasten die GPU-Rechenleistung aber durch die parallele Verarbeitung des Prompts voll aus“), während „decode iterations have low latency but also low compute utilization.“ (Übersetzung: „Decode-Iterationen niedrige Latenz, aber auch geringe Rechenauslastung haben.“)

Die beiden Phasen entsprechen den beiden Latenzwerten, die Nutzer spüren. Das DistServe-Paper benennt sie: „time to first token (TTFT) for the prefill phase and time per output token (TPOT) of each request for the decoding phase.“ (Übersetzung: „Time to First Token (TTFT) für die Prefill-Phase und Time per Output Token (TPOT) jeder Anfrage für die Decoding-Phase.“)

Ein durchgerechnetes Beispiel: Eine Anfrage mit einem Prompt von 20.000 Tokens und einer Antwort von 300 Tokens erledigt den Prefill aller 20.000 Tokens, bevor das erste gestreamte Token erscheint, dann folgen 300 aufeinanderfolgende Decode-Schritte. Halbieren Sie den Prompt, verkürzt sich die Wartezeit aufs erste Token; wie schnell die 300 Tokens ankommen, ändert sich nicht.

Warum es wichtig ist

  • Die Time to First Token folgt der Prompt-Größe. Lange System-Prompts, Dokumente und Tool-Listen erhöhen alle die Prefill-Arbeit. Gecachte Präfixe überspringen einen Teil davon, deshalb können gecachte Input-Tokens lange Prompts schneller starten lassen.
  • Tokens pro Sekunde ist ein Decode-Wert. Die Ausgabegeschwindigkeit hängt davon ab, wie schnell jeder Decode-Schritt läuft, und genau das versucht Speculative Decoding zu steigern.
  • Die Phasen stören sich gegenseitig. Wenn ein Server beide auf derselben GPU ausführt, kann ein großer Prefill die Decodes anderer Nutzer anhalten. DistServe berichtet von „strong prefill-decoding interferences“ (Übersetzung: „starken Interferenzen zwischen Prefill und Decoding“) und verlegt die Phasen auf verschiedene GPUs. Sarathi-Serve dagegen „splits a prefill request into near equal sized chunks“ (Übersetzung: „teilt eine Prefill-Anfrage in nahezu gleich große Chunks“) und plant sie „without pausing ongoing decodes“ (Übersetzung: „ohne laufende Decodes anzuhalten“) ein.
  • Engines legen den Zielkonflikt offen. Laut Tuning-Leitfaden von vLLM erlaubt Chunked Prefill, Prefill-Chunks mit Decode-Anfragen zu bündeln. Ein kleineres max_num_batched_tokens verbessert die Latenz zwischen Tokens, ein größeres begünstigt TTFT und Durchsatz.

Der Leitfaden zu Latenz, TTFT und Durchsatz zeigt, wie Sie beide Phasen clientseitig messen.

Bei BroadNet Inference

BroadNet veröffentlicht nicht, wie seine Server Prefill und Decode einplanen. Sehen können Sie die Wirkung: Streamen Sie eine Antwort wie in der Streaming-Anleitung, loggen Sie die Zeit bis zum ersten Content-Chunk (vor allem Prefill plus Warteschlange) und die Rate der Chunks danach (Decode). Bei GLM 5.3, DeepSeek V4.1 Flash und Qwen3.8 27B werden auch Reasoning-Tokens im Decode erzeugt, sie verzögern also die sichtbare Antwort und zählen zu max_tokens.

Häufige Fehler

  • Ein langsames erstes Token der Ausgabegeschwindigkeit des Modells anlasten. Prüfen Sie zuerst die Prompt-Länge.
  • Mit einem winzigen Prompt benchmarken. Echte Prompts mit langem Kontext haben einen viel längeren Prefill.

Häufige Fragen

Warum kommt bei einem langen Prompt das erste Token so spät?

Jedes Prompt-Token muss durch den Prefill, bevor das Modell irgendetwas schreiben kann. Ein längerer Prompt heißt mehr Prefill-Arbeit, also wächst die Time to First Token mit der Prompt-Länge, außer ein Teil des Prompts kommt aus dem Cache.

Verzögert eine längere Antwort das erste Token?

Nein. Das erste Token wartet auf den Prefill des Prompts. Eine längere Antwort fügt nur weitere Decode-Schritte hinzu, nachdem das erste Token angekommen ist.

Was ist Chunked Prefill?

Ein Scheduling-Verfahren, das einen langen Prompt in Stücke teilt und sie mit laufenden Decode-Schritten mischt, damit ein großer Prompt andere Nutzer nicht ausbremst. vLLM aktiviert es standardmäßig, wo es möglich ist.

Als Markdown lesenChatGPT fragenClaude fragenPerplexity fragen