チャットのリクエストは、プロンプトを読み、回答を書くという 2 つの異なる仕事をします。推論エンジニアはこれをプリフィルとデコードと呼び、GPU 上での振る舞いはまったく異なります。
仕組み
- プリフィル。 モデルはすべてのプロンプトトークンを 1 回の並列処理で読み込み、各トークンのアテンションのキーと値を KV キャッシュに保存します。この時点ではまだ何も返しません。
- デコード。 モデルは 1 トークンを生成し、そのキーと値をキャッシュに追加します。停止するか
max_tokensに達するまでこれを繰り返します。
Sarathi-Serve の論文は、この対比を端的に述べています。“Prefill iterations have high latency but saturate GPU compute due to parallel processing of the input prompt”(訳:プリフィルの反復はレイテンシが高いが、入力プロンプトを並列処理するため GPU の計算能力を使い切る)一方、“decode iterations have low latency but also low compute utilization.”(訳:デコードの反復はレイテンシが低いが、計算の利用率も低い。)
2 つのフェーズは、ユーザーが体感する 2 つのレイテンシ指標に対応します。DistServe の論文はそれを “time to first token (TTFT) for the prefill phase and time per output token (TPOT) of each request for the decoding phase.”(訳:プリフィルフェーズの最初のトークンまでの時間(TTFT)と、デコードフェーズにおける各リクエストの出力トークンあたりの時間(TPOT))と名付けています。
具体例です。プロンプトが 20,000 トークン、回答が 300 トークンのリクエストでは、20,000 トークンすべてのプリフィルを終えてから最初のストリーミングトークンが現れ、その後に 300 回の逐次的なデコードのステップが続きます。プロンプトを半分にすれば最初のトークンまでの待ち時間は短くなりますが、300 トークンが届く速さは変わりません。
なぜ重要か
- 最初のトークンまでの時間はプロンプトの長さに比例する。 長いシステムプロンプト、文書、ツールの一覧はすべてプリフィルの作業を増やします。キャッシュされたプレフィックスはその一部を省けるため、キャッシュ入力トークンによって長いプロンプトの出だしが速くなることがあります。
- トークン毎秒はデコードの指標。 出力速度は各デコードのステップの速さで決まり、投機的デコーディングはそれを引き上げようとするものです。
- フェーズ同士が干渉する。 サーバーが同じ GPU で両方を動かすと、大きなプリフィルがほかのユーザーのデコードを止めることがあります。DistServe は “strong prefill-decoding interferences”(訳:プリフィルとデコードの強い干渉)を報告し、2 つのフェーズを別々の GPU に分けています。Sarathi-Serve は代わりに “splits a prefill request into near equal sized chunks”(訳:プリフィルのリクエストをほぼ同じサイズのチャンクに分割)し、“without pausing ongoing decodes”(訳:進行中のデコードを止めずに)スケジュールします。
- エンジンはトレードオフを設定で公開している。 vLLM のチューニングガイドによると、チャンク化プリフィルによってプリフィルのチャンクとデコードのリクエストを同じバッチにできます。
max_num_batched_tokensを小さくするとトークン間のレイテンシが改善し、大きくすると TTFT とスループットが有利になります。
レイテンシ、TTFT、スループットのガイドでは、クライアント側から両方のフェーズを測る方法を紹介しています。
BroadNet Inference の場合
BroadNet は、サーバーがプリフィルとデコードをどうスケジュールしているかを公開していません。見えるのはその結果です。ストリーミングのガイドのように応答をストリーミングし、最初のコンテンツチャンクまでの時間(主にプリフィルと待ち行列)と、その後のチャンクの速度(デコード)を記録してください。GLM 5.3、DeepSeek V4.1 Flash、Qwen3.8 27B では推論トークンもデコードで生成されるため、目に見える回答を遅らせ、max_tokens にも数えられます。
よくある間違い
- 最初のトークンが遅いのをモデルの出力速度のせいにする。まずプロンプトの長さを確認してください。
- ごく短いプロンプトでベンチマークする。長いコンテキストを持つ実際のプロンプトでは、プリフィルがはるかに長くなります。