每秒 token 数告诉你一条回答流得有多快,吞吐量告诉你整个系统能干完多少活。
工作原理
NVIDIA 的基准测试指南把两者区分开。**系统总 TPS(Total TPS per system)**是 “total output token throughput across all simultaneous requests”(译文:所有同时进行的请求的输出 token 总吞吐量):全部输出 token 数除以从第一个请求到最后一个响应的时间。**单用户 TPS(TPS per user)**是一个请求的输出长度除以它的端到端耗时。**每秒请求数(RPS)**统计的是完成的请求数,而不是 token 数。
关键的一句是:“As the number of concurrent requests increases, total system TPS increases while TPS per user decreases.”(译文:随着并发请求数增加,系统总 TPS 上升,而单用户 TPS 下降。)总 TPS 一直上升,直到 GPU 饱和;越过这个点,它反而可能下降。
在服务端,瓶颈通常是显存。PagedAttention 论文解释说,高吞吐量服务 “requires batching sufficiently many requests at a time”(译文:需要一次批处理足够多的请求),而每个请求的 KV 缓存决定了能放下多少个。更好的显存管理让 vLLM 在相同延迟下达到了早期系统 2 到 4 倍的吞吐量。
为什么重要
对 API 调用方来说,吞吐量关乎你这一端:每小时能处理多少文档,或者能有多少个智能体同时工作。它遵循一条简单的规律:
your throughput ≈ concurrent requests × per-stream tokens per second
(即:你的吞吐量 ≈ 并发请求数 × 单路流每秒 token 数。)这只在服务商随着负载增加仍能保持单路流速度稳定时才成立。请实测,不要想当然。
吞吐量受你的并发上限和速率限制约束,而不只是取决于模型。如果任务很慢,检查一下是不是本可以并行的请求在一个接一个地跑。
在 BroadNet Inference 上
BroadNet 公布的是按密钥计的限制,而不是系统吞吐量数字。它的套餐页面给出了套餐模型 DeepSeek V4.1 Flash 的典型速度 约每秒 100 个 token;其他模型没有公布速度。举例来说,如果每路流都以这个速度运行:
| 方案 | 并行请求数 | 速度保持不变时的上限 |
|---|---|---|
| 按量付费密钥 | 4(另有每分钟 30 个请求的限制) | 4 路流 × 每路 约每秒 100 个 token |
| 按小时密钥(Gemma 4 VL 26B) | 1 路流,每分钟 300,000 个 token | 未公布;请实测 |
| 包月套餐会话 | 同一时间 1 个请求 | 约每秒 100 个 token |
要扩展包月套餐,就增加会话,每个并行工作的智能体一个;参见不限量大模型 API 会话和并行运行编程智能体。这个速度是 BroadNet 为 DeepSeek V4.1 Flash 给出的典型数值,不是对其他模型或高负载情况的保证。