---
title: "大模型推理的每秒 token 数（TPS）是什么？ | BroadRouter"
description: "每秒 token 数衡量大模型生成输出的速度。单请求速度与系统吞吐量、首 token 延迟，以及如何估算一条回复需要多长时间。"
url: https://broadrouter.com/zh/glossary/tokens-per-second/
lang: zh-Hans
updated: 2026-11-14
publisher: BroadRouter (a BroadNet site); API by BroadNet Inference, https://inference.broadnet.ai
---

本页由英文原文借助 AI 翻译。[阅读英文原文](https://broadrouter.com/glossary/tokens-per-second/)（2026-11-14 更新）。

# 每秒 token 数（TPS，tokens per second）

更新于 2026-11-14

每秒 token 数（TPS）是语言模型生成输出 token 的速率，通常针对单个请求、在首个 token 到达之后测量。它决定了回复开始后流得有多快。把所有并发请求加起来就是系统吞吐量；首个 token 之前的等待时间则单独测量。

又称： 生成速度、输出速度、token 速率、推理速度、TPS、tok/s、output speed、generation speed

速度分两部分：多久才开始出字，以及开始之后文字流得有多快。每秒 token 数衡量的是第二部分。

## 工作原理

NVIDIA 的基准测试文档定义了相关指标：

-   **首 token 延迟（TTFT）：** 从发出请求到收到第一个 token 的时间。它随提示词长度增长。
-   **token 间延迟（ITL）：** 输出 token 之间的平均间隔。
-   **单用户 TPS：** 一个请求的输出 token 数除以它的端到端耗时，所以按 NVIDIA 的定义，它包含了 TTFT。很多仪表盘则像本页一样，引用的是首 token 之后的解码速度。
-   **系统 TPS：** 所有同时进行的请求的输出 token 总数，也叫[吞吐量](https://broadrouter.com/zh/glossary/throughput/)。

它们此消彼长。NVIDIA 指出，随着[并发](https://broadrouter.com/zh/glossary/concurrency/)升高，系统 TPS 上升，而单用户 TPS 下降。服务商宣传的数字和你单个请求的速度，可能都是真实的，却依然不同。

估算一条回复耗时的简便公式：

`total time ≈ TTFT + output tokens ÷ tokens per second`

即：总耗时 ≈ TTFT + 输出 token 数 ÷ 每秒 token 数。

举个例子，假设一路流每秒 50 个 token：一条 1,000 token 的回答在首个 token 之后大约需要 20 秒。如果模型还要写 2,000 个[思考 token](https://broadrouter.com/zh/glossary/reasoning-tokens/)，那么在回答开始之前还要再加约 40 秒。[首 token 延迟](https://broadrouter.com/zh/glossary/time-to-first-token/)另算。

## 为什么重要

-   **用户体验。** [流式输出](https://broadrouter.com/zh/glossary/streaming/)让文字随到随显，所以 TTFT 和 TPS 决定了回复感觉起来有多快。
-   **智能体吞吐量。** 编程智能体要等每条回复回来才走下一步。输出越快，每小时能走的步数越多。
-   **套餐限制。** 在没有 token 计量的套餐上，速度就成了你能用多少 token 的真正上限。

## 在 BroadNet Inference 上

BroadNet 的套餐页面给出了 DeepSeek V4.1 Flash 的典型速度 约每秒 100 个 token。不限量套餐上的一个会话同一时间处理一个请求，所以按这个速度，一个会话不间断地生成 30 天，会产出 约 2.59亿 个输出 token。真实的智能体要花时间读取内容、执行工具和等待，所以实际数字会更低。

要在套餐上获得更高的总吞吐量，就增加会话：每个并行工作的智能体一个。参见[不限量会话如何工作](https://broadrouter.com/zh/guides/unlimited-llm-api-sessions/)和[并行运行编程智能体](https://broadrouter.com/zh/blog/run-parallel-coding-agents-flat-rate/)。

## 常见错误

-   只用一个请求来比较服务商。请用你自己的提示词规模，在大量请求上测量 TTFT 和 TPS。
-   设置客户端超时时忘了算上思考时间。

## 常见问题

### 每秒多少 token 才算快？

取决于用途。对话回复只要文字出现得比人阅读得快，就会让人觉得响应及时。智能体和批处理任务更在意每个任务的总耗时，以及能并行跑多少个请求。

### 每秒 token 数包括提示词吗？

通常不包括。生成速度只统计输出 token。读取提示词的时间体现在首 token 延迟上，它随提示词长度增长。

### 思考 token 会拖慢回答吗？

会。它们和可见输出以同样的速度生成，所以一个先思考 2,000 个 token 的模型，回答会推迟生成这些 token 所需的时间。

## 另请参阅

-   [Token（词元）](https://broadrouter.com/zh/glossary/token/)（术语）
-   [并发（concurrency）](https://broadrouter.com/zh/glossary/concurrency/)（术语）
-   [流式输出（streaming）](https://broadrouter.com/zh/glossary/streaming/)（术语）
-   [思考 token（reasoning tokens）](https://broadrouter.com/zh/glossary/reasoning-tokens/)（术语）
-   [吞吐量（throughput）](https://broadrouter.com/zh/glossary/throughput/)（术语）
-   [延迟（latency）](https://broadrouter.com/zh/glossary/latency/)（术语）
-   [首 token 延迟（TTFT，time to first token）](https://broadrouter.com/zh/glossary/time-to-first-token/)（术语）
-   [投机解码（speculative decoding）](https://broadrouter.com/zh/glossary/speculative-decoding/)（术语）
-   [对话补全的流式输出，以及连接中断的处理](https://broadrouter.com/zh/guides/streaming-chat-completions/)（指南）
-   [面向智能体的不限量 LLM API 套餐如何运作](https://broadrouter.com/zh/guides/unlimited-llm-api-sessions/)（指南）
-   [大模型 API 包月还是按 token 付费：盈亏平衡怎么算](https://broadrouter.com/zh/blog/flat-rate-vs-pay-per-token-llm-api/)（文章）
-   [如何在固定价格大模型 API 上运行并行编程智能体](https://broadrouter.com/zh/blog/run-parallel-coding-agents-flat-rate/)（文章）

用你的真实业务负载试一试。新账户可获得 US$5 初始额度，用于 Gemma和转写。DeepSeek、GLM和Qwen3.8 需要先充值。

[开始使用](https://inference.broadnet.ai/account/?utm_source=broadrouter&utm_medium=referral&utm_campaign=zh-glossary-tokens-per-second&utm_content=page-cta) ·

**来源**

-   [NVIDIA NIM：大模型推理基准测试指标（TTFT、ITL、TPS）](https://docs.nvidia.com/nim/benchmarking/llm/latest/metrics.html)
-   [BroadNet Inference 套餐（典型速度）（英文）](https://inference.broadnet.ai/plans?utm_source=broadrouter&utm_medium=referral&utm_campaign=zh-glossary-tokens-per-second&utm_content=sources)
