BroadRouter

降低编程智能体大模型成本的 10 个方法(附节省估算)

BroadNet Inference 团队 · 阅读约 6 分钟 · 发布于

大部分开销来自每一轮重复发送的输入。保持提示词前缀稳定以命中缓存,直接指明文件,裁剪工具输出,降低思考强度,限制循环和重试次数,并把简单步骤交给更便宜的模型。在 DeepSeek V4.1 Flash 上,缓存输入的价格约为新输入的 3%。每月输入超过约 9.17亿 token 时,$60 的固定价格套餐更便宜。

编程智能体的账单增长方式和聊天应用不同。每一轮都会重发系统提示词、工具列表、已读取的文件以及到目前为止的对话。到第 30 轮时,一个请求可能携带几十万个输入 token,其中大部分是重复内容。下面十个方法针对的正是这些 token 的去向。每个方法都给出估算的节省额和计算过程,所用的是 2026-11-14 同步的 BroadNet Inference 价格。你的数字会有所不同,所以请在调整前后都做测量。

编程智能体的钱花在哪里?

三个计量项,按大多数智能体的占比从大到小排列:

  1. 输入,每一轮都会重发。大部分可以缓存。
  2. 输出,包括你看不到的思考 token。
  3. 浪费:重试、毫无进展的循环,以及没人需要的上下文。

在做任何改动之前,先读取一天真实工作中的 prompt_tokens、prompt_tokens_details.cached_tokens 和 completion_tokens。智能体循环的 token 花在哪里介绍了如何拆分这些数据。

哪些方法省得最多?

# 方法 削减的是什么 估算节省
1 保持提示词前缀稳定 新输入 输入费用降低一半或更多
2 直接指明文件,而不是让智能体去搜索 探索轮次 更少的轮次,更少的重发
3 裁剪工具输出 之后每一轮的输入 随日志大小而定
4 常规步骤降低思考强度 隐藏输出 取决于任务构成
5 限制每个任务的步数 失控循环 给最坏情况设上限
6 限制并记录重试 重复请求 每避免一次重试就省下一整个请求
7 每个任务开启新会话 过时的历史记录 每轮上下文更短
8 把简单步骤交给更便宜的模型 每 token 价格 在被分流的步骤上节省很多
9 少做摘要,多做追加 缓存未命中 让方法 1 持续有效
10 超过盈亏平衡点后改用固定价格套餐 token 计量本身 在我们的示例中每月 $5.40

1. 保持提示词前缀稳定,让它命中缓存

DeepSeek V4.1 Flash 的缓存输入每 1M 为 $0.0055;新输入为 $0.175,贵约 32 倍。提示词按以下顺序排列:系统提示词、工具、文件、历史记录、新消息。永远不要把时间戳放在开头。Cursor 在 2026 年 9 月报告称,其框架层面的改动(包括把系统提示词缩短约三分之二、只在需要时加载工具)使用户的 token 成本降低了 7%。参见如何组织提示词让前缀命中缓存。

估算节省。 假设每月 1,000M 输入 token。缓存命中率 50% 时,你要为 500M 支付新输入价格;命中率 80% 时,只需为 200M 支付。把缓存部分也算上,输入费用下降约 56%。参见如何提高缓存命中率,或在提示词缓存计算器中试算你自己的数字。

2. 告诉智能体哪些文件是关键

模糊的任务(“修复登录 bug”)会让智能体到处搜索:列出目录、打开文件、把它们读入上下文。它打开的每个文件之后每一轮都会重发。请指明文件和预期的改动。在仓库里放一份简短的项目地图,让智能体先读它。

估算节省。 如果一个 40,000 token 的文件在 30 轮任务的第 3 轮被读入,它会被重发约 27 次:仅这一个文件就超过一百万输入 token。不读它,就全部省下了。

3. 在工具输出进入上下文之前裁剪它

测试运行器、构建日志和 git diff 可能返回几万个 token。只给智能体看日志的最后 100 行,或者只看失败的测试。大多数智能体工具都允许为命令设置输出上限。

估算节省。 计算方式与方法 2 相同:每裁掉一个 token,剩下的每一轮都能省下一次。

4. 常规步骤降低思考强度

DeepSeek V4.1 Flash 和 GLM 5.3 会先思考再回答,而思考按输出计费。对于重命名、格式化和小改动,设置 reasoning_effort: "low"。max_tokens 要留足让回答完成,否则你为思考付了钱,却得到一个空回复。参见思考 token 的成本。

估算节省。 在同样 20 个任务上,比较调整前后的 completion_tokens_details.reasoning_tokens。节省额等于减少量乘以输出价格(每 1M $0.52)。

5. 限制每个任务的步数

一个修不好测试的智能体可能循环 100 轮,而且每一轮都比上一轮更大。为每个任务设置最大轮数,同一个工具调用重复三次就停止。步数上限能把无上限的成本变成有上限的成本。

6. 限制并记录重试

被重试的请求是一次新的推理,在按 token 计费的密钥上会再次计费。对 429 和 5xx 进行带退避、有固定上限的重试;不要重试 400 或 422 等其他 4xx 错误。参见错误与重试。

7. 每个任务开启新会话

上一个任务的历史记录对下一个任务来说只是累赘。每个任务开一个新会话,可以让上下文保持精简。这与缓存并不冲突:系统提示词和工具仍然构成一个共享的、可缓存的前缀。

8. 把简单步骤交给更便宜的模型

不是每一步都需要同一个模型。提交信息、更新日志条目和简单分类可以交给 Gemma 4 VL 26B,每 1M 输入 $0.10、输出 $0.22。如果你在工具调用密集的步骤中使用 GLM 5.3,就把其余步骤交给 DeepSeek V4.1 Flash:GLM 5.3 的输出价格约为它的 6.7 倍。参见 GLM 5.3 vs DeepSeek V4.1 Flash。

注意。 要衡量每个完成任务的成本。需要两倍轮数的便宜模型,可能反而更贵。

9. 少做摘要,其余时候只追加

智能体压缩历史记录时,会改写提示词,缓存也就从头开始。只在上下文接近上限时一次性做一大步摘要,然后继续追加。这样方法 1 才能持续有效。

10. 超过盈亏平衡点后改用固定价格套餐

按 token 计费对小用量有利。全职运行的智能体用量可不小。在 BroadNet 的计算示例中,一个全职编程智能体(1,000M 输入、缓存 80%,50M 输出)按 token 计费每月 $65.40;一个全天候运行的智能体为 $196.20。一个 Full Moon 会话每月 $60,不计 token,同一时间处理一个请求。到了这一步,方法 1 到 9 仍能节省时间,但不再节省钱。用固定价格 vs 按 token 计费计算器核对你自己的用量,或者阅读盈亏平衡的计算和用固定价格运行并行智能体。

怎样衡量一个方法是否奏效?

  1. 从待办中挑选 20 个有代表性的任务。
  2. 用当前设置运行它们,并记录每个任务的 token。
  3. 每次只应用一个方法,然后重新运行。
  4. 比较每个完成任务的成本,而不是每个请求的成本。

如果不是编程智能体而是其他应用,同样的手段按通用顺序整理在如何降低大模型 API 成本中。

常用智能体的配置指南:Aider、Cline、Zoo Code(已停止服务的 Roo Code 的分支)和 OpenCode。

BroadNet Inference 适合什么场景

BroadNet 为编程智能体提供 DeepSeek V4.1 Flash 的低价缓存输入;对于重度使用,还有每月 $60 起的不限量会话。它们都通过这些智能体已经支持的 OpenAI 兼容端点提供。BroadNet 不运行闭源前沿模型,所以如果你的智能体在最难的步骤上需要这类模型,就把那个模型留在它自己的厂商那里,把大部分轮次发到这里。查看套餐。

常见问题

为什么编程智能体运行起来这么贵?

它们每一轮都会重发系统提示词、工具定义、文件内容和历史记录,所以输入 token 随每一步增长。思考(reasoning)还会额外产生看不见的输出。

降低编程智能体成本,最有效的一招是什么?

让提示词开头在各轮之间保持完全一致,这样它就按缓存输入计费。在 DeepSeek V4.1 Flash 上,缓存输入每 1M 为 $0.0055,新输入为 $0.175。

编程智能体换用更便宜的模型,一定更省钱吗?

不一定。较弱的模型如果需要更多步骤,或者失败后重试,总成本可能更高。要衡量每个完成任务的成本,而不是每个 token 的价格。

编程智能体什么时候用固定价格套餐更划算?

对于 DeepSeek V4.1 Flash,大约在每月 9.17亿 输入 token、4,600万 输出 token 且缓存命中率 80% 时。全职运行的智能体通常会超过这个量。

怎样防止编程智能体陷入循环、白白消耗 token?

限制每个任务的轮数,同一个工具调用重复三次就停止,并限制 429 和 5xx 错误的重试次数。步数上限能把无上限的成本变成有上限的成本。

以 Markdown 格式阅读问 ChatGPT问 Claude问 Perplexity