BroadRouter

如何降低大模型 API 费用:按顺序执行的 10 步清单

BroadNet Inference 团队 · 阅读约 8 分钟 · 发布于

降低大模型 API 费用,先记录每个请求的 token 数,再按以下顺序优化:保持提示词前缀稳定以命中缓存,精简提示词,限制输出和思考,选用能通过测试的最小模型,把能等的任务批处理或错峰,缓存重复的回答,限制重试次数,用量超过盈亏平衡点后改用固定价格套餐。

大多数“大模型账单砍掉 70%”的清单,都把好建议和没人实测过的数字混在一起。这份清单按“先做什么”排序,每个数字都来自价格文件或服务商自己的文档。如果某一步在本站有更深入的文章,会附上链接。下文 BroadNet 的价格来自其价格文件,于 2026-11-14 同步。

大模型 API 账单由什么决定?

几乎每份账单都由四个数字决定:

  1. **新输入 token。**提示词中没有从缓存读取的部分。
  2. **缓存输入 token。**重复的前缀,按较低单价计费。
  3. **输出 token。**回答本身,在思考模型上还要加上思考 token。
  4. **请求次数。**每次调用(包括每次重试)都单独计费。

输出是最贵的单位。BroadNet 对话模型的价格,按每百万 token 计:

模型 输入 缓存输入 输出
DeepSeek V4.1 Flash $0.175 $0.0055 $0.52
Qwen3.8 27B $0.175 $0.0435 $2.17
GLM 5.3 $0.78 $0.173 $3.46
Gemma 4 VL 26B $0.10 未公布 $0.22

所以可用的杠杆就是:少发新 token、多从缓存读、少生成、少调用。大模型 API 怎么计费逐项讲解了每种计量单位。

清单一览

步骤 改动什么 降低什么 工作量
1. 度量 只加日志 暂不降低;告诉你该从哪里下手 低
2. 缓存前缀 提示词顺序 输入单价 低
3. 精简提示词 提示词内容 输入 token 中
4. 限制输出和思考 请求参数 输出 token 低
5. 选对模型规模 模型选择 所有单价 中
6. 批处理或错峰 调度 每 token 单价(在有此服务的地方) 中
7. 缓存回答 应用代码 整个请求 中
8. 限制重试和循环 应用代码 浪费的请求 低
9. 设置支出上限 账户和密钥 失控的账单 低
10. 核算固定价格的盈亏平衡点 计费方式 大用量下的总账单 低

1. 为什么要先度量,再动手削减?

因为账单不会告诉你原因。两个看起来一样的请求,token 数可能差十倍。每个 chat completion 都会返回一个 usage 块,其中有 prompt_tokens、completion_tokens,以及服务商提供时的缓存 token 数。按功能、按用户记录这些数字,但不要记录提示词正文。一周之后,你就知道哪个功能花钱最多,花在输入、缓存未命中还是输出上。

脱敏 PII 的用量日志给出了一个日志 schema。要在功能上线前估算规模,可以用 大模型 API 费用计算器,或参考上线前估算费用中的方法。

2. 提示词缓存怎么降低费用?

服务商会缓存完全重复的提示词开头部分,下一次调用就按缓存价读取这段前缀。OpenAI 对支持的模型默认开启缓存,起点是 1,024 个 token,并表示缓存输入 “discounted up to 95%“(译文:最高优惠 95%)(2026-11-15 查阅)。在 BroadNet 上,DeepSeek V4.1 Flash 的缓存输入每百万 token $0.0055,新输入则是 $0.175。

规则是:静态内容在前,变化的内容在后。依次是系统提示词、工具 schema、共享文档、历史消息,最后才是新问题。开头放一个时间戳,或者工具列表顺序被打乱,后面的所有内容都会缓存失效。

3. 哪些提示词删减是安全的?

删掉模型用不上的内容。常见的收获来自:写成大段散文的系统提示词、超出任务需要的 few-shot 示例、这一步根本不会调用的工具 schema、本可以用紧凑表格表示的冗长 JSON,以及本可以用摘要代替的完整对话历史。检索结果也容易膨胀:两段就能回答问题却塞了十段,既增加成本,也影响质量。

每做一次删减,都用一组固定输入测试,免得更便宜的提示词悄悄把答案弄坏。减少提示词 token 对上面每一项都做了实测。语言也有影响:在大多数分词器上,阿拉伯语每个词用的 token 比英语多;参见阿拉伯语与英语的每词 token 数。

4. 怎么限制输出和思考?

要求更少的内容,并设上限。要 JSON 字段而不是大段文字,要字数限制而不是一句“解释一下”,也不要让模型复述问题。然后设置 max_tokens,让失控的回答及时停下。

思考模型需要小心。BroadNet 的文档说思考内容计入 max_tokens,上限太低可能会返回空答案。请保留 1,000 个 token 或以上,简单步骤把 reasoning_effort 设为 low。在按 token 计费的密钥上,思考按输出计费。思考 token:为什么你付的比看到的多和空答案的解决办法分别讲了这两方面。

5. 怎样换用更便宜的模型而不牺牲质量?

比较每个成功任务的成本,而不是每 token 的价格。准备 50 到 100 个带预期输出的真实输入,让每个候选模型都跑一遍,再用花费除以通过数。一个每 token 更便宜、却有三分之一失败的模型,算上重试和人工复核,可能反而更贵。

先确认功能。在 BroadNet 上,工具调用和结构化输出只在 GLM 5.3 和 Qwen3.8 27B 的文档中有说明。Gemma 4 VL 26B 是 BroadNet 较小的文本加图像模型;用于简单任务时,请在上表中查看它的价格。许多应用对简单步骤用小模型、对困难步骤用大模型;模型由你在自己的代码里选择。切换前如何评估大模型给出了一份测试方案。

不要指望你当前的模型会降价。服务商很少下调现有模型的价格,省钱通常来自新版本。参见 OpenAI、Anthropic 与 Google API 价格历史和大模型 API 最大幅度的降价。

6. 能等的任务,可以批处理或错峰吗?

只要服务商提供,就可以,而且折扣很大。以下均于 2026-11-15 查阅:

服务商 折扣 限制条件
OpenAI Batch API 比同步调用便宜 50% 24 小时内完成;单独的速率限制
Anthropic Message Batches API 50% 异步;多数批次一小时内完成
DeepSeek API,非高峰时段 非高峰价格为高峰的一半 高峰为周一至周五 UTC 01:00 至 04:00 和 06:00 至 10:00

BroadNet Inference 没有 Batch API,也没有非高峰价格。在 BroadNet 上跑夜间任务,请用可续跑的任务执行器调用普通端点,并控制在密钥的限制之内。没有 Batch API 时如何批处理提供了代码。如果任务要跑好几个小时,固定价格的会话可能比按 token 更便宜(见第 10 步)。

7. 什么时候应该缓存整个回答?

当同样的问题带着同样的输入再次出现时。FAQ 机器人、重复条目的分类,以及流水线崩溃后的重跑,都在重复做同样的事。以模型、提示词和参数为键的精确匹配缓存,可以直接返回已存的答案,省掉这次调用。记得设置过期时间,避免答案过时。用 Python 缓存大模型响应给出了一个小实现。

8. 重试和循环怎样浪费钱?

重试的请求是一次新的推理,在按 token 计费的密钥上会再次计费。只在 429 和 5xx 错误时重试,使用指数退避加随机抖动,并限制尝试次数。永远不要重试 400:同样的错误请求会以同样的方式失败。

智能体还有第二个风险:不断调用模型的循环。给每个任务的步数设上限,同一个工具调用重复出现时就停止。处理 429 错误和降低编程智能体费用的 10 种方法分别讲了这两点。

9. 怎样防止账单失控?

告警只能事后通知你,上限才能真正拦住。使用预付余额;每个应用一个密钥,这样撤销一个不会影响其他;服务器密钥加上 IP 白名单。在代码里给每个任务设预算,花完就停。大模型 API 支出控制从账户到请求逐层讲解。

10. 固定价格套餐什么时候胜过按 token 计费?

当智能体一天中大部分时间都在运行时。BroadNet 的 DeepSeek V4.1 Flash 可以按 token 买,也可以按会话买:Full Moon 每月 $60,Orbit 每周 $15,Meteor 每小时 $1,没有 token 计量。一个会话同一时间运行一个请求。

BroadNet 按 token 计费的测算场景:

工作负载 按 token 每月费用 更便宜的选项
业余项目 $14.23 按量付费
日常助手 $42.67 按量付费
全职编程智能体 $65.40 Full Moon
全天运行的智能体 $196.20 Full Moon

在缓存命中率 80%、每个输出 token 对应 20 个输入 token 的条件下,盈亏平衡点约为每月 9.17亿 输入 token 和 4,600万 输出 token。轻度使用时按 token 仍然更便宜。请看完整的盈亏平衡计算,或在固定价格与按 token 计费计算器中试试你的用量。

哪些步骤应该跳过?

有些流行的建议,花的比省的还多:

  • **把提示词压缩到出问题。**如果回答质量下降、用户反复重试,省下的输入费用就白费了。
  • **每一轮都总结历史。**每次总结都是一次额外调用,而且会改变前缀,导致缓存未命中。偶尔总结一次,其余内容直接追加。
  • **只追求最低的每 token 价格。**速率限制、缺失的功能和失败率都会增加成本。
  • **为小工作负载自建部署。**GPU 按小时计费,不管忙不忙。自建部署与 API 的成本对比给出了盈亏平衡点在哪里。

BroadNet Inference 适合什么场景

BroadRouter 是 BroadNet 自己的网站,阅读本节时请考虑到这一点。BroadNet Inference 是一个 OpenAI 兼容的 API,有四个按 token 计价的对话模型,其中三个支持缓存输入,另有一个 DeepSeek V4.1 Flash 固定价格套餐,适合稳定运行的智能体。它不提供 Batch API 或非高峰价格,所以对于可以等待的大型任务,OpenAI 或 Anthropic 的批处理折扣、或 DeepSeek 的非高峰时段,可能更便宜。新账户可获得 $5 初始额度,可用于 Gemma 4 VL 26B、两个 Transcribe 模型和 Gemma 按小时密钥;DeepSeek、GLM 和 Qwen 需要先充值。自助服务不提供 SLA。查看价格或比较套餐。

常见问题

降低大模型 API 费用,最快的办法是什么?

从提示词缓存入手。把系统提示词、工具 schema 和共享文档放在最前面,并在每次调用之间保持逐字节一致。缓存输入的价格只是新输入的一小部分,而且不用换模型、不用改功能。然后限制输出,因为输出 token 比输入 token 贵。

Batch API 真的能让价格减半吗?

在 OpenAI 和 Anthropic 上是的。OpenAI 的 Batch API 打五折,完成窗口为 24 小时;Anthropic 的 Message Batches API 成本降低 50%(均于 2026-11-15 查阅)。BroadNet Inference 没有 Batch API,所以请改用可续跑的任务执行器,调用普通端点。

思考 token 会算进账单吗?

在按 token 计费的密钥上会。思考计入 completion tokens,按输出价计费。简单步骤可以把 reasoning_effort 设为 low,但 max_tokens 要保持在 1,000 或以上,以免答案被截断。

小模型一定更便宜吗?

按 token 算,通常是;按任务算,不一定。一个需要重试两次或需要更长提示词的小模型,可能比一次就做对的大模型花得更多。请在你自己的测试集上比较每个成功任务的成本。

固定价格套餐什么时候比按 token 付费便宜?

用量大且稳定的时候。在 BroadNet 上,一个 Full Moon 会话每月 $60,使用 DeepSeek V4.1 Flash。缓存命中率 80% 时,盈亏平衡点约为每月 9.17亿 输入 token 和 4,600万 输出 token。低于这个用量,按 token 计费更便宜。

重试要花钱吗?

要。重试的请求是一次新的推理,在按 token 计费的密钥上会再次计费。只在 429 和 5xx 错误时重试,配合退避,并限制尝试次数。

以 Markdown 格式阅读问 ChatGPT问 Claude问 Perplexity