BroadRouter

速率限制(rate limit)

更新于

速率限制是 API 对客户端在一个时间窗口内的使用量设定的上限,例如每分钟请求数或每分钟 token 数。超出限制的请求会被拒绝,通常返回 HTTP 429 Too Many Requests,直到用量回落到限制以下。

又称: 限流、速率限制、频率限制、每分钟请求数、每分钟 token 数、429 错误、RPM、TPM、requests per minute、tokens per minute、HTTP 429、throttling、rate limit

每个共享的 API 都会用限制来保护自己。弄清楚哪些限制适用,你就知道能跑多快,以及碰到限制时该怎么办。

工作原理

大模型 API 会同时统计好几项指标。例如 OpenAI 列出了:

  • RPM: 每分钟请求数
  • RPD: 每天请求数
  • TPM: 每分钟 token 数
  • TPD: 每天 token 数

先触发哪一项,就按哪一项限制。许多服务商还会限制并发,也就是同时在处理中的请求数。

超出限制时,服务器返回 429 Too Many Requests。MDN 将其描述为客户端 “sent too many requests in a given amount of time.”(译文:在给定时间内发送了过多请求。)Retry-After 响应头可能会说明需要等待多少秒。

一个安全的重试循环:

import random, time

for attempt in range(5):
    r = send()
    if r.status_code != 429:
        break
    wait = float(r.headers.get("Retry-After", 2 ** attempt))
    time.sleep(wait + random.random())

OpenAI 官方 SDK 已经会对 429 和 5xx 错误做退避重试;设置 max_retries 即可,不必自己写循环。

为什么重要

  • 吞吐量。 你的实际上限是所有限制中最低的那一个。在每分钟限 30 个请求的密钥上(BroadNet 的按量付费密钥就是如此),1,000 个请求至少需要 1,000 ÷ 30 分钟,无论模型有多快。速率限制计算器可以按你自己的限制帮你算。
  • 可靠性。 没有处理的 429 看起来就像服务中断。退避策略能把它们变成短暂的延迟。
  • 费用。 有些服务商在达到支出上限时也返回 429,这在按量付费密钥上很常见。重试前先读一下错误正文。

在 BroadNet Inference 上

密钥类型 限制
按量付费 每分钟 30 个请求,同时最多 4 个请求
按小时密钥 每分钟 120 个请求,一路流,每分钟 300,000 个 token
不限量套餐 每个会话同一时间一个请求,没有 token 计量

当达到速率、并发、token 速率或支出上限时,BroadNet 会返回 429。请退避后重试。错误与重试指南涵盖了所有状态码,“不限量”到底意味着什么则说明了固定价格套餐仍有哪些限制。

常见错误

  • 重试 401 或 403 错误。那是密钥或策略问题,不是速率限制。
  • 多个 worker 共用一个密钥却没有共享的限流器。每个 worker 各自退避,而其他 worker 仍让密钥保持饱和。

常见问题

遇到 429 应该重试吗?

应该,但要先等待。如果有 Retry-After 响应头就照它来;否则使用带随机抖动的指数退避,并限制重试次数。共用这个状态码的支出上限或账单类错误不要重试。

失败的请求也计入限制吗?

通常会。OpenAI 的指南说,失败的请求仍然计入每分钟的限制,所以在循环里立即重试只会让情况更糟。

速率限制和并发限制有什么区别?

速率限制统计一段时间内的请求数或 token 数。并发限制统计同一时刻正在运行的请求数。一个密钥可能先触发其中任何一个。

以 Markdown 格式阅读问 ChatGPT问 Claude问 Perplexity