BroadRouter

消费上限(spend limit)

更新于

消费上限是对 API 账户、项目或密钥在一段时间(通常是一个月)内可花费金额的限制。用量达到上限后,服务商会拒绝后续请求,常返回 HTTP 429 或 400 错误,直到周期重置或上限被调高。

又称: 消费限额、支出上限、花费上限、预算上限、用量上限、费用告警、spend limit、spending limit、spend cap、budget cap、usage cap

速率限制控制你能花得多快,消费上限控制你能花多少。

工作原理

服务商会叠加好几层上限。两个有文档可查的例子:

服务商 控制方式 达到后会怎样
Anthropic 按等级的每自然月消费上限(Start、Build、Scale;Custom 没有) 暂停使用,直到下个月 1 日 00:00 UTC;返回 HTTP 429 rate_limit_error,error.details.error_code 为 enforced_spend_limit_reached,没有 retry-after
Anthropic 你自己设置的更低上限,针对组织或工作区 HTTP 400 invalid_request_error,消息以 “You have reached your specified API usage limits” 开头
OpenAI 按等级的每月用量上限 指南中未说明
OpenAI 消费提醒 发送通知;流量照常
OpenAI 硬性消费上限,针对组织或项目 受影响的请求返回 429

Anthropic 的等级上限为每月 500 美元(Start)、1,000 美元(Build)和 200,000 美元(Scale)。OpenAI 的指南按等级列出每月用量上限,从 Free 的 100 美元到 Grow 的 200,000 美元,并说累计充值金额越过门槛时等级会提升。

棘手之处在于,消费上限的 429 看起来和速率限制的 429 一样。在 Anthropic 的 API 上,可以靠错误码区分两者,而且消费上限的响应没有 retry-after 头:

err = resp.json().get("error", {})
if resp.status_code == 429 and err.get("details", {}).get("error_code") == "enforced_spend_limit_reached":
    stop_job_and_alert()      # retrying will not help
elif resp.status_code == 429:
    backoff_and_retry()

为什么重要

  • 提醒总是来得晚。 一个跑得飞快的循环,在邮件到达之前就可能花掉很多钱。硬性上限能让它停下来。
  • 重试只会更糟。 对每个 429 都退避重试的客户端,会徒劳地反复撞消费上限。要把这两种情况分开处理。
  • 共享上限。 多个应用共用一个账户级上限时,一个失控的任务就会拖垮其他应用。按项目设预算,或在代码里自己维护预算,能把它们隔开。

在 BroadNet Inference 上

BroadNet 的 API 参考文档为按量付费密钥列出了六项限制。约束成本和吞吐的三项是:每分钟 30 个请求、同时进行 4 个,以及花费,其定义为 “the native budget shared by the account’s pay-as-you-go keys”(译文:账户内各按量付费密钥共享的原生预算);其余三项是可用模型、一年的密钥有效期,以及每个账户最多十个有效密钥。账户采用预付费,所以余额就是最外层的上限。有两个状态码需要关注:

  • 429:“A rate, concurrency, token-rate or spending limit was reached.”(译文:达到了速率、并发、token 速率或消费限制。)
  • 401:密钥缺失、无效或过期,或者账户共享的按量付费预算被封禁(文档原文为 “a blocked native PAYG budget holder”(译文:被封禁的原生 PAYG 预算持有者)),“including exhausted PAYG allowance”(译文:包括 PAYG 额度已用完)。

BroadNet 的隐私页面说密钥可按模型、速率和花费限定范围,但 API 参考文档没有按密钥或按项目的预算设置,所以请在每次请求前,在自己的代码里做一次累计预算检查,做法见大模型 API 花费控制。如果想要固定的最坏情况,固定价格套餐或 $0.50 的按小时密钥,在设计上就封顶了花费。重试处理见错误码与重试指南。

常见问题

触发消费上限的请求要不要重试?

不要。Anthropic 说,它的消费上限 429 不带 retry-after 头,在访问恢复之前重试都会失败。应当通知人工处理,或者停止任务。

消费提醒和消费上限是一回事吗?

不是。OpenAI 区分了两者:消费提醒只发通知,流量照常;硬性消费上限则会让请求返回 429。

能给每个 BroadNet 密钥单独设预算吗?

BroadNet 的隐私页面说,限定范围的 API 密钥可以按模型、速率和花费控制访问;但它的 API 参考文档把按量付费密钥的花费定义为账户内各密钥共享的原生预算,也没有给出按密钥设置预算的选项。请查看你的密钥详情,并在自己的代码里执行按应用的预算。

以 Markdown 格式阅读问 ChatGPT问 Claude问 Perplexity