BroadRouter
开始使用

吞吐量(throughput)

更新于

在大模型推理服务中,吞吐量(throughput)是系统在所有并发请求上单位时间内完成的总工作量,通常以每秒输出 token 数或每秒请求数衡量。它不同于单路流速度,后者是单个请求接收 token 的快慢。

又称: 系统吞吐量、总吞吐量、总 token 速率、每秒请求数、system throughput、aggregate throughput、total tokens per second、requests per second、RPS

每秒 token 数告诉你一条回答流得有多快,吞吐量告诉你整个系统能干完多少活。

工作原理

NVIDIA 的基准测试指南把两者区分开。**系统总 TPS(Total TPS per system)**是 “total output token throughput across all simultaneous requests”(译文:所有同时进行的请求的输出 token 总吞吐量):全部输出 token 数除以从第一个请求到最后一个响应的时间。**单用户 TPS(TPS per user)**是一个请求的输出长度除以它的端到端耗时。**每秒请求数(RPS)**统计的是完成的请求数,而不是 token 数。

关键的一句是:“As the number of concurrent requests increases, total system TPS increases while TPS per user decreases.”(译文:随着并发请求数增加,系统总 TPS 上升,而单用户 TPS 下降。)总 TPS 一直上升,直到 GPU 饱和;越过这个点,它反而可能下降。

在服务端,瓶颈通常是显存。PagedAttention 论文解释说,高吞吐量服务 “requires batching sufficiently many requests at a time”(译文:需要一次批处理足够多的请求),而每个请求的 KV 缓存决定了能放下多少个。更好的显存管理让 vLLM 在相同延迟下达到了早期系统 2 到 4 倍的吞吐量。

为什么重要

对 API 调用方来说,吞吐量关乎你这一端:每小时能处理多少文档,或者能有多少个智能体同时工作。它遵循一条简单的规律:

your throughput ≈ concurrent requests × per-stream tokens per second

(即:你的吞吐量 ≈ 并发请求数 × 单路流每秒 token 数。)这只在服务商随着负载增加仍能保持单路流速度稳定时才成立。请实测,不要想当然。

吞吐量受你的并发上限和速率限制约束,而不只是取决于模型。如果任务很慢,检查一下是不是本可以并行的请求在一个接一个地跑。

在 BroadNet Inference 上

BroadNet 公布的是按密钥计的限制,而不是系统吞吐量数字。它的套餐页面给出了套餐模型 DeepSeek V4.1 Flash 的典型速度 约每秒 100 个 token;其他模型没有公布速度。举例来说,如果每路流都以这个速度运行:

方案 并行请求数 速度保持不变时的上限
按量付费密钥 4(另有每分钟 30 个请求的限制) 4 路流 × 每路 约每秒 100 个 token
按小时密钥(Gemma 4 VL 26B) 1 路流,每分钟 300,000 个 token 未公布;请实测
包月套餐会话 同一时间 1 个请求 约每秒 100 个 token

要扩展包月套餐,就增加会话,每个并行工作的智能体一个;参见不限量大模型 API 会话和并行运行编程智能体。这个速度是 BroadNet 为 DeepSeek V4.1 Flash 给出的典型数值,不是对其他模型或高负载情况的保证。

常见问题

吞吐量就是每秒 token 数吗?

只在系统层面是。单路流的每秒 token 数是一个请求感受到的速度,吞吐量则是所有流加起来。NVIDIA 分别称之为单用户 TPS(TPS per user)和系统总 TPS(total TPS per system)。

怎样从大模型 API 获得更高的吞吐量?

在并发和速率限制允许的范围内并行发更多请求,并让每个请求尽量简短。如果每个请求已经把名额用满,那么唯一的办法就是增加名额、密钥或会话。

吞吐量越高,延迟就越低吗?

不是。吞吐量是所有请求每秒完成的总工作量;延迟是单个请求花费的时间。同时服务更多请求会提高总吞吐量,却可能让每个请求变慢,这正是 NVIDIA 把单用户 TPS 和总 TPS 分开报告的原因。

以 Markdown 格式阅读问 ChatGPT问 Claude问 Perplexity