“API 很慢”可能指三件不同的事,每件事的解决办法都不一样。聊天用户在等第一个字;智能体在等整个工具调用完成;批处理任务关心的是每小时处理多少 token。本文给出这三个数字的定义,演示怎样在自己的代码里测量它们,并说明每种优化实际改善的是哪个数字。
TTFT、每秒 token 数和端到端延迟分别是什么?
NVIDIA 的基准测试指南给出了清晰的定义,而且和你在客户端能观察到的一致:
| 指标 | 衡量什么 | 谁能感受到 | 受什么影响 |
|---|---|---|---|
| 首 token 延迟(TTFT) | 从发出请求到收到第一个 token | 聊天用户 | 网络、排队、提示词长度(prefill)、缓存命中 |
| token 间延迟(ITL) | token 之间的平均间隔 | 阅读流式回答的人 | 模型大小、硬件、服务器负载 |
| 单用户每秒 token 数 | 首个 token 之后的输出 token 数 ÷ 生成时间(从首个 token 到最后一个 token);等于 1 ÷ 平均 ITL | 阅读者、智能体 | 与 ITL 相同 |
| 端到端延迟 | 从发出请求到收到最后一个 token | 智能体、API、批处理 | TTFT + 生成时间 |
把它们联系起来的公式:
端到端 ≈ TTFT +(输出 token 数 − 1)× ITL ≈ TTFT + 输出 token 数 ÷ 单用户每秒 token 数
单用户速度和服务器吞吐量(服务器为所有用户生成的 token 总量)不是一回事;服务商可以提高其中一个,而另一个下降。
以 BroadNet 为其套餐模型公布的典型速度 约每秒 100 个 token 为例。生成时间随回答长度增长:一个 4,000 token 的代码文件,生成时间约为 50 token 分类结果的 80 倍,而两者等待的 TTFT 相同。回答短时,等待的大部分是 TTFT;回答长时,起决定作用的是速度和长度。
为什么思考模型还需要第四个数字?
DeepSeek V4.1 Flash 这样的思考(reasoning)模型会先思考再回答,而思考也是输出 token。如果模型以 约每秒 100 个 token 的速度花 800 个 token 思考,即使网络上的 TTFT 看起来很快,用户也要等这 800 个 token 全部生成后才能看到第一个可见的字。所以要单独测量首个内容 token 时间。在 BroadNet Inference 上,reasoning_effort: "low" 可以缩短简单步骤的思考;思考指南解释了其中的取舍。
怎样在客户端测量延迟?
在用户所在的位置计时,并开启流式输出。服务端计时会漏掉网络和中间的代理。
import os, time, statistics
from openai import OpenAI
client = OpenAI(base_url="https://inference.broadnet.ai/v1", api_key=os.environ["BROADNET_API_KEY"])
def timed(model, messages, max_tokens=1500):
t0 = time.perf_counter()
first = first_content = None
usage = None
stream = client.chat.completions.create(
model=model, messages=messages, max_tokens=max_tokens,
stream=True, stream_options={"include_usage": True},
)
for chunk in stream:
now = time.perf_counter()
if chunk.choices:
if first is None:
first = now
if chunk.choices[0].delta.content and first_content is None:
first_content = now
if chunk.usage:
usage = chunk.usage
end = time.perf_counter()
out = usage.completion_tokens if usage else 0
return {
"ttft": first - t0,
"ttfct": (first_content or end) - t0,
"e2e": end - t0,
"tps": (out - 1) / (end - first) if out > 1 and end > first else 0,
"prompt_tokens": usage.prompt_tokens if usage else None,
}
runs = [timed("broadnet/gemma-4-26b-a4b", [{"role": "user", "content": "Summarise SSE in 100 words."}]) for _ in range(50)]
for k in ("ttft", "ttfct", "e2e", "tps"):
xs = sorted(r[k] for r in runs)
print(k, "p50", round(statistics.median(xs), 3), "p95", round(xs[int(len(xs) * 0.95) - 1], 3))
公平的基准测试有五条规则:
- 固定提示词长度并注明。500 个提示词 token 和 200,000 个提示词 token 下的 TTFT 是两个不同的数字。token 计数器可以在发送前告诉你测试提示词有多长。
- 用
max_tokens和能写满它的提示词固定输出长度,这样每秒 token 数才有可比性。 - 报告 p50 和 p95,而不是平均值。用户记住的是长尾延迟。
- 把测试分散到不同时间。 负载在一天中会变化。
- 先预热。 第一次调用要承担 DNS、TLS 和建立连接的开销;复用同一个客户端。
什么才能真正改善每个数字?
| 要改善 | 做法 | 原因 |
|---|---|---|
| TTFT | 缩短或缓存提示词前缀 | prefill 时间随提示词长度增长;缓存的前缀可以省掉这部分计算 |
| TTFT | 保持连接预热,使用就近的区域 | 省掉建立连接和往返的时间 |
| 首个内容 token 时间 | 降低思考强度,或在简单步骤上使用非思考模型 | 回答之前的隐藏思考更少 |
| 每秒 token 数 | 在该步骤使用更小或更快的模型 | 解码速度取决于模型大小和部署方式 |
| 端到端 | 要求更短的输出(schema、字数限制) | 输出长度会成倍放大 ITL |
| 多次调用的端到端 | 在并发限制内并行运行相互独立的调用 | 每次调用不变,但总的墙钟时间下降 |
| 感知延迟 | 向用户流式输出 | 模型边写,用户边读 |
输出长度是最被低估的手段。要求“输出包含这四个字段的 JSON”,而不是“解释你的回答”,无需改动任何基础设施,就能把生成时间缩短一个数量级。结构化输出在这里很有用。
缓存这个手段见为缓存设计提示词结构。并行这个手段很快就会撞上速率限制;参见处理 429 错误。
提示词长度怎样改变这种取舍?
TTFT 随提示词增长,因为模型必须先处理完每个输入 token 才能开始写。这是超长提示词的隐性成本,也是长上下文还是 RAG 这一决策的考量之一:100 万 token 的提示词能回答 RAG 回答不了的问题,但开始得更慢。如果交互速度很重要,就让主路径保持简短,只在问题需要时才发送大段上下文。
BroadNet Inference 适合什么场景
BroadNet 为其套餐模型公布的典型速度是 约每秒 100 个 token,流式输出使用标准 SSE 格式,所以上面的代码无需修改即可运行。它没有公布 TTFT 数字或延迟 SLA,所以在决定之前,请用你自己的提示词测量;一个 $1 的 Meteor 小时足够跑 50 次的基准测试,初始额度也足够在 Gemma 4 VL 26B 上跑一次。如果你需要在大规模下保证亚秒级延迟,请仔细测试:按量付费密钥允许同时 4 个请求,更适合应用和智能体,而不是大流量的实时服务。模型及其价格见模型和价格页面。
