一次对话请求要做两件不同的事:读提示词,再写回答。推理工程师称之为 Prefill 和 Decode,二者在 GPU 上的表现截然不同。
工作原理
- Prefill。 模型在一次并行计算中读完所有提示词 token,并把每个 token 的注意力键和值存进 KV 缓存。此时还没有任何返回。
- Decode。 模型生成一个 token,把它的键和值追加到缓存中,如此重复,直到停止或达到
max_tokens。
Sarathi-Serve 论文把对比说得很直白:“Prefill iterations have high latency but saturate GPU compute due to parallel processing of the input prompt”(译文:Prefill 迭代延迟高,但由于并行处理输入提示词,能把 GPU 算力用满),而 “decode iterations have low latency but also low compute utilization.”(译文:Decode 迭代延迟低,但算力利用率也低。)
这两个阶段正好对应用户能感受到的两个延迟指标。DistServe 论文给它们命了名:“time to first token (TTFT) for the prefill phase and time per output token (TPOT) of each request for the decoding phase.”(译文:Prefill 阶段的首 token 时间(TTFT),以及解码阶段每个请求的每输出 token 时间(TPOT)。)
举个例子:一个提示词为 20,000 token、回答为 300 token 的请求,要先完成全部 20,000 token 的 Prefill,第一个流式 token 才会出现,之后是 300 个依次进行的 Decode 步骤。把提示词砍掉一半,能缩短等待首个 token 的时间;但不会改变那 300 个 token 到达的速度。
为什么重要
- 首 token 延迟跟随提示词长度。 长系统提示词、文档和工具列表都会增加 Prefill 工作量。命中缓存的前缀可以跳过其中一部分,这就是为什么缓存输入 token 能让长提示词更快开始输出。
- 每秒 token 数是 Decode 指标。 输出速度取决于每个 Decode 步骤跑得多快,投机解码就是为了提高这一点。
- 两个阶段会相互干扰。 服务器在同一块 GPU 上同时运行两者时,一个大的 Prefill 可能会让其他用户的 Decode 暂停。DistServe 报告了 “strong prefill-decoding interferences”(译文:严重的 Prefill 与 Decode 相互干扰),并把两个阶段放到不同的 GPU 上。Sarathi-Serve 则 “splits a prefill request into near equal sized chunks”(译文:把 Prefill 请求切分成大小接近的块),并在 “without pausing ongoing decodes”(译文:不暂停正在进行的 Decode)的情况下调度它们。
- 推理引擎把这种取舍交给你。 vLLM 的调优指南说,分块预填充让它可以把 Prefill 块和 Decode 请求合批。
max_num_batched_tokens设得小,token 间延迟更好;设得大,则有利于首 token 延迟和吞吐量。
延迟、TTFT 与吞吐量指南演示了如何在客户端测量这两个阶段。
在 BroadNet Inference 上
BroadNet 没有公开其服务器如何调度 Prefill 和 Decode。你能看到的是效果:按流式输出指南流式获取响应,记录到第一个内容块的时间(主要是 Prefill 加排队)以及之后内容块的速率(Decode)。在 GLM 5.3、DeepSeek V4.1 Flash 和 Qwen3.8 27B 上,思考 token 也在 Decode 阶段生成,所以它们会推迟可见回答的出现,并计入 max_tokens。
常见错误
- 把首个 token 慢归咎于模型的输出速度。先检查提示词长度。
- 用很短的提示词做基准测试。带长上下文的真实提示词,Prefill 要长得多。