---
title: "什么是大模型吞吐量？系统级每秒 token 数 | BroadRouter"
description: "大模型吞吐量是系统在所有并发请求上每秒完成的总工作量，以每秒 token 数或每秒请求数计。它与单路流速度有什么不同。"
url: https://broadrouter.com/zh/glossary/throughput/
lang: zh-Hans
updated: 2026-11-14
publisher: BroadRouter (a BroadNet site); API by BroadNet Inference, https://inference.broadnet.ai
---

本页由英文原文借助 AI 翻译。 [阅读英文原文](https://broadrouter.com/glossary/throughput/) (2026-11-14 更新).

# 吞吐量（throughput）

更新于 2026-11-14

在大模型推理服务中，吞吐量（throughput）是系统在所有并发请求上单位时间内完成的总工作量，通常以每秒输出 token 数或每秒请求数衡量。它不同于单路流速度，后者是单个请求接收 token 的快慢。

又称： 系统吞吐量、总吞吐量、总 token 速率、每秒请求数、system throughput、aggregate throughput、total tokens per second、requests per second、RPS

[每秒 token 数](https://broadrouter.com/zh/glossary/tokens-per-second/)告诉你一条回答流得有多快，吞吐量告诉你整个系统能干完多少活。

## 工作原理

NVIDIA 的基准测试指南把两者区分开。\*\*系统总 TPS（Total TPS per system）\*\*是 “total output token throughput across all simultaneous requests”（译文：所有同时进行的请求的输出 token 总吞吐量）：全部输出 token 数除以从第一个请求到最后一个响应的时间。\*\*单用户 TPS（TPS per user）\*\*是一个请求的输出长度除以它的端到端耗时。\*\*每秒请求数（RPS）\*\*统计的是完成的请求数，而不是 token 数。

关键的一句是：“As the number of concurrent requests increases, total system TPS increases while TPS per user decreases.”（译文：随着并发请求数增加，系统总 TPS 上升，而单用户 TPS 下降。）总 TPS 一直上升，直到 GPU 饱和；越过这个点，它反而可能下降。

在服务端，瓶颈通常是显存。PagedAttention 论文解释说，高吞吐量服务 “requires batching sufficiently many requests at a time”（译文：需要一次批处理足够多的请求），而每个请求的 [KV 缓存](https://broadrouter.com/zh/glossary/kv-cache/)决定了能放下多少个。更好的显存管理让 vLLM 在相同延迟下达到了早期系统 2 到 4 倍的吞吐量。

## 为什么重要

对 API 调用方来说，吞吐量关乎你这一端：每小时能处理多少文档，或者能有多少个智能体同时工作。它遵循一条简单的规律：

```text
your throughput ≈ concurrent requests × per-stream tokens per second
```

（即：你的吞吐量 ≈ 并发请求数 × 单路流每秒 token 数。）这只在服务商随着负载增加仍能保持单路流速度稳定时才成立。请实测，不要想当然。

吞吐量受你的[并发](https://broadrouter.com/zh/glossary/concurrency/)上限和速率限制约束，而不只是取决于模型。如果任务很慢，检查一下是不是本可以并行的请求在一个接一个地跑。

## 在 BroadNet Inference 上

BroadNet 公布的是按密钥计的限制，而不是系统吞吐量数字。它的套餐页面给出了套餐模型 DeepSeek V4.1 Flash 的典型速度 约每秒 100 个 token；其他模型没有公布速度。举例来说，如果每路流都以这个速度运行：

| 方案 | 并行请求数 | 速度保持不变时的上限 |
| --- | --- | --- |
| 按量付费密钥 | 4（另有每分钟 30 个请求的限制） | 4 路流 × 每路 约每秒 100 个 token |
| 按小时密钥（Gemma 4 VL 26B） | 1 路流，每分钟 300,000 个 token | 未公布；请实测 |
| 包月套餐会话 | 同一时间 1 个请求 | 约每秒 100 个 token |

要扩展包月套餐，就增加会话，每个并行工作的智能体一个；参见[不限量大模型 API 会话](https://broadrouter.com/zh/guides/unlimited-llm-api-sessions/)和[并行运行编程智能体](https://broadrouter.com/zh/blog/run-parallel-coding-agents-flat-rate/)。这个速度是 BroadNet 为 DeepSeek V4.1 Flash 给出的典型数值，不是对其他模型或高负载情况的保证。

## 常见问题

### 吞吐量就是每秒 token 数吗？

只在系统层面是。单路流的每秒 token 数是一个请求感受到的速度，吞吐量则是所有流加起来。NVIDIA 分别称之为单用户 TPS（TPS per user）和系统总 TPS（total TPS per system）。

### 怎样从大模型 API 获得更高的吞吐量？

在并发和速率限制允许的范围内并行发更多请求，并让每个请求尽量简短。如果每个请求已经把名额用满，那么唯一的办法就是增加名额、密钥或会话。

### 吞吐量越高，延迟就越低吗？

不是。吞吐量是所有请求每秒完成的总工作量；延迟是单个请求花费的时间。同时服务更多请求会提高总吞吐量，却可能让每个请求变慢，这正是 NVIDIA 把单用户 TPS 和总 TPS 分开报告的原因。

## 另请参阅

-   [每秒 token 数（TPS，tokens per second）](https://broadrouter.com/zh/glossary/tokens-per-second/) (术语)
-   [并发（concurrency）](https://broadrouter.com/zh/glossary/concurrency/) (术语)
-   [延迟（latency）](https://broadrouter.com/zh/glossary/latency/) (术语)
-   [KV 缓存（KV cache）](https://broadrouter.com/zh/glossary/kv-cache/) (术语)
-   [批处理 API（Batch API）](https://broadrouter.com/zh/glossary/batch-api/) (术语)
-   [投机解码（speculative decoding）](https://broadrouter.com/zh/glossary/speculative-decoding/) (术语)
-   [面向智能体的不限量 LLM API 套餐如何运作](https://broadrouter.com/zh/guides/unlimited-llm-api-sessions/) (指南)
-   [BroadNet Inference 错误码，以及什么时候该重试](https://broadrouter.com/zh/guides/errors-and-retries/) (指南)
-   [如何在固定价格大模型 API 上运行并行编程智能体](https://broadrouter.com/zh/blog/run-parallel-coding-agents-flat-rate/) (文章)
-   [大模型延迟：首 token 延迟、每秒 token 数与端到端耗时](https://broadrouter.com/zh/blog/llm-latency-ttft-throughput/) (文章)

用你的真实业务负载试一试。 新账户可获得 US$5 初始额度，用于 Gemma和转写。DeepSeek、GLM和Qwen3.8 需要先充值。

[开始使用](https://inference.broadnet.ai/account/?utm_source=broadrouter&utm_medium=referral&utm_campaign=zh-glossary-throughput&utm_content=page-cta) ·

**来源**

-   [NVIDIA NIM：大模型基准测试指标（系统总 TPS、单用户 TPS、RPS）](https://docs.nvidia.com/nim/benchmarking/llm/latest/metrics.html)
-   [Kwon 等，PagedAttention 与 vLLM，arXiv 2309.06180](https://arxiv.org/abs/2309.06180)
-   [BroadNet Inference API 参考：限制 （英文）](https://inference.broadnet.ai/docs?utm_source=broadrouter&utm_medium=referral&utm_campaign=zh-glossary-throughput&utm_content=sources#limits)
-   [BroadNet Inference 套餐（典型速度、每会话一个请求） （英文）](https://inference.broadnet.ai/plans?utm_source=broadrouter&utm_medium=referral&utm_campaign=zh-glossary-throughput&utm_content=sources)
