速度分两部分:多久才开始出字,以及开始之后文字流得有多快。每秒 token 数衡量的是第二部分。
工作原理
NVIDIA 的基准测试文档定义了相关指标:
- 首 token 延迟(TTFT): 从发出请求到收到第一个 token 的时间。它随提示词长度增长。
- token 间延迟(ITL): 输出 token 之间的平均间隔。
- 单用户 TPS: 一个请求的输出 token 数除以它的端到端耗时,所以按 NVIDIA 的定义,它包含了 TTFT。很多仪表盘则像本页一样,引用的是首 token 之后的解码速度。
- 系统 TPS: 所有同时进行的请求的输出 token 总数,也叫吞吐量。
它们此消彼长。NVIDIA 指出,随着并发升高,系统 TPS 上升,而单用户 TPS 下降。服务商宣传的数字和你单个请求的速度,可能都是真实的,却依然不同。
估算一条回复耗时的简便公式:
total time ≈ TTFT + output tokens ÷ tokens per second
即:总耗时 ≈ TTFT + 输出 token 数 ÷ 每秒 token 数。
举个例子,假设一路流每秒 50 个 token:一条 1,000 token 的回答在首个 token 之后大约需要 20 秒。如果模型还要写 2,000 个思考 token,那么在回答开始之前还要再加约 40 秒。首 token 延迟另算。
为什么重要
- 用户体验。 流式输出让文字随到随显,所以 TTFT 和 TPS 决定了回复感觉起来有多快。
- 智能体吞吐量。 编程智能体要等每条回复回来才走下一步。输出越快,每小时能走的步数越多。
- 套餐限制。 在没有 token 计量的套餐上,速度就成了你能用多少 token 的真正上限。
在 BroadNet Inference 上
BroadNet 的套餐页面给出了 DeepSeek V4.1 Flash 的典型速度 约每秒 100 个 token。不限量套餐上的一个会话同一时间处理一个请求,所以按这个速度,一个会话不间断地生成 30 天,会产出 约 2.59亿 个输出 token。真实的智能体要花时间读取内容、执行工具和等待,所以实际数字会更低。
要在套餐上获得更高的总吞吐量,就增加会话:每个并行工作的智能体一个。参见不限量会话如何工作和并行运行编程智能体。
常见错误
- 只用一个请求来比较服务商。请用你自己的提示词规模,在大量请求上测量 TTFT 和 TPS。
- 设置客户端超时时忘了算上思考时间。