每个共享的 API 都会用限制来保护自己。弄清楚哪些限制适用,你就知道能跑多快,以及碰到限制时该怎么办。
工作原理
大模型 API 会同时统计好几项指标。例如 OpenAI 列出了:
- RPM: 每分钟请求数
- RPD: 每天请求数
- TPM: 每分钟 token 数
- TPD: 每天 token 数
先触发哪一项,就按哪一项限制。许多服务商还会限制并发,也就是同时在处理中的请求数。
超出限制时,服务器返回 429 Too Many Requests。MDN 将其描述为客户端 “sent too many requests in a given amount of time.”(译文:在给定时间内发送了过多请求。)Retry-After 响应头可能会说明需要等待多少秒。
一个安全的重试循环:
import random, time
for attempt in range(5):
r = send()
if r.status_code != 429:
break
wait = float(r.headers.get("Retry-After", 2 ** attempt))
time.sleep(wait + random.random())
OpenAI 官方 SDK 已经会对 429 和 5xx 错误做退避重试;设置 max_retries 即可,不必自己写循环。
为什么重要
- 吞吐量。 你的实际上限是所有限制中最低的那一个。在每分钟限 30 个请求的密钥上(BroadNet 的按量付费密钥就是如此),1,000 个请求至少需要 1,000 ÷ 30 分钟,无论模型有多快。速率限制计算器可以按你自己的限制帮你算。
- 可靠性。 没有处理的 429 看起来就像服务中断。退避策略能把它们变成短暂的延迟。
- 费用。 有些服务商在达到支出上限时也返回 429,这在按量付费密钥上很常见。重试前先读一下错误正文。
在 BroadNet Inference 上
| 密钥类型 | 限制 |
|---|---|
| 按量付费 | 每分钟 30 个请求,同时最多 4 个请求 |
| 按小时密钥 | 每分钟 120 个请求,一路流,每分钟 300,000 个 token |
| 不限量套餐 | 每个会话同一时间一个请求,没有 token 计量 |
当达到速率、并发、token 速率或支出上限时,BroadNet 会返回 429。请退避后重试。错误与重试指南涵盖了所有状态码,“不限量”到底意味着什么则说明了固定价格套餐仍有哪些限制。
常见错误
- 重试 401 或 403 错误。那是密钥或策略问题,不是速率限制。
- 多个 worker 共用一个密钥却没有共享的限流器。每个 worker 各自退避,而其他 worker 仍让密钥保持饱和。