BroadRouter

プリフィルとデコード(prefill and decode)

更新日

プリフィルとデコードは LLM 推論の 2 つのフェーズです。プリフィルではプロンプト全体を並列に処理して KV キャッシュを埋め、デコードではそのキャッシュを使って 1 トークンずつ生成します。前者は主に初回トークンまでの時間、後者は出力速度を決めます。

別名: プリフィル、デコード、プリフィルフェーズ、デコードフェーズ、PD 分離、プロンプト処理、prefill、prefill phase、decode phase、prefill stage、prompt processing

チャットのリクエストは、プロンプトを読み、回答を書くという 2 つの異なる仕事をします。推論エンジニアはこれをプリフィルとデコードと呼び、GPU 上での振る舞いはまったく異なります。

仕組み

  1. プリフィル。 モデルはすべてのプロンプトトークンを 1 回の並列処理で読み込み、各トークンのアテンションのキーと値を KV キャッシュに保存します。この時点ではまだ何も返しません。
  2. デコード。 モデルは 1 トークンを生成し、そのキーと値をキャッシュに追加します。停止するか max_tokens に達するまでこれを繰り返します。

Sarathi-Serve の論文は、この対比を端的に述べています。“Prefill iterations have high latency but saturate GPU compute due to parallel processing of the input prompt”(訳:プリフィルの反復はレイテンシが高いが、入力プロンプトを並列処理するため GPU の計算能力を使い切る)一方、“decode iterations have low latency but also low compute utilization.”(訳:デコードの反復はレイテンシが低いが、計算の利用率も低い。)

2 つのフェーズは、ユーザーが体感する 2 つのレイテンシ指標に対応します。DistServe の論文はそれを “time to first token (TTFT) for the prefill phase and time per output token (TPOT) of each request for the decoding phase.”(訳:プリフィルフェーズの最初のトークンまでの時間(TTFT)と、デコードフェーズにおける各リクエストの出力トークンあたりの時間(TPOT))と名付けています。

具体例です。プロンプトが 20,000 トークン、回答が 300 トークンのリクエストでは、20,000 トークンすべてのプリフィルを終えてから最初のストリーミングトークンが現れ、その後に 300 回の逐次的なデコードのステップが続きます。プロンプトを半分にすれば最初のトークンまでの待ち時間は短くなりますが、300 トークンが届く速さは変わりません。

なぜ重要か

  • 最初のトークンまでの時間はプロンプトの長さに比例する。 長いシステムプロンプト、文書、ツールの一覧はすべてプリフィルの作業を増やします。キャッシュされたプレフィックスはその一部を省けるため、キャッシュ入力トークンによって長いプロンプトの出だしが速くなることがあります。
  • トークン毎秒はデコードの指標。 出力速度は各デコードのステップの速さで決まり、投機的デコーディングはそれを引き上げようとするものです。
  • フェーズ同士が干渉する。 サーバーが同じ GPU で両方を動かすと、大きなプリフィルがほかのユーザーのデコードを止めることがあります。DistServe は “strong prefill-decoding interferences”(訳:プリフィルとデコードの強い干渉)を報告し、2 つのフェーズを別々の GPU に分けています。Sarathi-Serve は代わりに “splits a prefill request into near equal sized chunks”(訳:プリフィルのリクエストをほぼ同じサイズのチャンクに分割)し、“without pausing ongoing decodes”(訳:進行中のデコードを止めずに)スケジュールします。
  • エンジンはトレードオフを設定で公開している。 vLLM のチューニングガイドによると、チャンク化プリフィルによってプリフィルのチャンクとデコードのリクエストを同じバッチにできます。max_num_batched_tokens を小さくするとトークン間のレイテンシが改善し、大きくすると TTFT とスループットが有利になります。

レイテンシ、TTFT、スループットのガイドでは、クライアント側から両方のフェーズを測る方法を紹介しています。

BroadNet Inference の場合

BroadNet は、サーバーがプリフィルとデコードをどうスケジュールしているかを公開していません。見えるのはその結果です。ストリーミングのガイドのように応答をストリーミングし、最初のコンテンツチャンクまでの時間(主にプリフィルと待ち行列)と、その後のチャンクの速度(デコード)を記録してください。GLM 5.3、DeepSeek V4.1 Flash、Qwen3.8 27B では推論トークンもデコードで生成されるため、目に見える回答を遅らせ、max_tokens にも数えられます。

よくある間違い

  • 最初のトークンが遅いのをモデルの出力速度のせいにする。まずプロンプトの長さを確認してください。
  • ごく短いプロンプトでベンチマークする。長いコンテキストを持つ実際のプロンプトでは、プリフィルがはるかに長くなります。

よくある質問

プロンプトが長いと最初のトークンが遅くなるのはなぜですか?

モデルが何かを書き始める前に、すべてのプロンプトトークンがプリフィルを通る必要があるからです。プロンプトが長いほどプリフィルの作業が増えるので、プロンプトの一部がキャッシュから提供されない限り、最初のトークンまでの時間はプロンプトの長さとともに伸びます。

回答が長いと最初のトークンは遅くなりますか?

いいえ。最初のトークンが待つのはプロンプトのプリフィルです。回答が長くなっても、最初のトークンが届いたあとのデコードのステップが増えるだけです。

チャンク化プリフィル(chunked prefill)とは何ですか?

長いプロンプトを分割し、進行中のデコードのステップと混ぜて実行するスケジューリング手法です。1 つの大きなプロンプトがほかのユーザーを止めないようにします。vLLM は可能な場合デフォルトで有効にしています。

Markdown で読むChatGPT に聞くClaude に聞くPerplexity に聞く