BroadRouter

首 token 延迟(TTFT,time to first token)

更新于

首 token 延迟(TTFT)是从向语言模型发出请求到第一个输出 token 到达的时间。它包括网络时间、服务器上的排队时间和预填充(模型读取整个提示词的步骤),所以会随提示词长度和负载增加。

又称: 首 token 时间、首字延迟、首字时间、首包延迟、首 token 响应时间、TTFT、time to first token、first-token latency、time to first content token、first token time

TTFT 是一切开始之前的停顿。在聊天窗口里,它是一片空白;在语音机器人里,它是冷场。

工作原理

NVIDIA 的基准测试指南把 TTFT 拆成三部分:“request queuing time, prefill time, and network latency.”(译文:请求排队时间、预填充时间和网络延迟。)每一部分都有各自的成因:

部分 由什么决定 你能改变什么
网络 距离、TLS 握手、代理 复用连接;从就近的区域调用
排队 服务器有多忙 错峰调用、换负载较低的模型或档位
预填充 提示词长度、模型大小 缩短提示词,使用稳定、可缓存的前缀

对长输入来说,预填充通常是大头。模型要让整个提示词经过每一层,建立 KV 缓存,然后才能生成第一个 token。NVIDIA 指出,在繁忙的服务器上,一个请求的预填充可能与另一个请求的生成重叠,所以 TTFT 也会随着其他人的流量而波动。

阅读数据时,有两种定义需要注意。NVIDIA 的 AIPerf 只在第一个 token 带有内容时才计数。对于 Responses API 中的流式文本,OpenAI 的指南把 TTFT 计到 “until you receive the first nonempty response.output_text.delta”(译文:直到收到第一个非空的 response.output_text.delta)为止。有思考 token 时,第一个可见的字可能比第一个生成的 token 晚很多,所以要说清楚你指的是哪一个。

为什么重要

TTFT 比原始速度更能决定一个产品给人的快慢感受。OpenAI 的指南说 “a long prompt can delay the first token, especially when much of the input is new”(译文:长提示词会推迟第一个 token,尤其是当大部分输入都是新内容时)。这正是缓存输入 token 发挥作用的地方。同一份指南说,提示缓存 “can reuse an eligible exact prefix match”(译文:可以复用符合条件的完全匹配前缀),并建议对比有无缓存命中时的 TTFT。缓存的前缀跳过了一部分预填充,所以重复的系统提示词更便宜,也可能更快开始。

对智能体来说,每一步都要付出 TTFT。二十次工具调用、每次 TTFT 两秒,在计入任何输出之前就多等了四十秒。

TTFT 是端到端延迟的一部分,其余部分是生成时间,由每秒 token 数决定。

在 BroadNet Inference 上

BroadNet 的文档描述了使用 Server-Sent Events 的流式输出,以 data: [DONE] 结束,你在客户端正是通过它观察到第一个 token。DeepSeek V4.1 Flash、GLM 5.3 和 Qwen3.8 27B 会先思考再回答,所以第一段可见文字出现之前的时间包含了思考。BroadNet 没有公布 TTFT 数据。计时脚本和 p50/p95 报告方法,请看大模型延迟:TTFT 与每秒 token 数。

常见问题

提示词很长时,TTFT 为什么会变慢?

模型必须先读完每一个提示词 token、建立 KV 缓存,才能开始输出。NVIDIA 的指标指南说,较长的提示词正是因此会增加 TTFT。

流式输出能缩短首 token 延迟吗?

不能。流式输出让你在第一个 token 生成后立刻看到它;不用流式输出,就要等整个回复完成。在这个 token 之前,服务端的工作量是一样的。

空的第一个数据块算首 token 吗?

在大多数基准测试中不算。NVIDIA 的 AIPerf 会忽略没有内容的初始响应,OpenAI 则把 TTFT 计到第一个非空的文本增量为止。

以 Markdown 格式阅读问 ChatGPT问 Claude问 Perplexity