BroadRouter

智能体 token 预算:智能体循环的 token 都花在哪里

BroadNet Inference 团队 · 阅读约 5 分钟 · 发布于

智能体循环每次调用都会重发全部上下文:系统提示词、工具定义、对话历史、文件内容和工具输出,再加上新的一步。输入通常是输出的许多倍。按调用记录 prompt_tokens、cached_tokens 和 completion_tokens,找出最大的重复块,然后精简工具、限制工具输出,并重开过长的会话。

一次聊天的成本,是你输入的内容加上模型写出的内容。智能体则贵得多,因为它会调用模型几十次,而且每次几乎都把所有内容重发一遍。如果你想降低这部分成本,或者只是不想再撞上上下文窗口的上限,就需要知道每个请求中哪一部分最大。本文把智能体循环拆成五个部分,介绍如何用 API 自身的用量数据测量每一部分,并列出应该先裁剪什么。

为什么智能体要把所有内容都重发一遍?

Chat Completions API 是无状态的。模型在两次调用之间什么都不记得,所以智能体每一步都要发送完整的上下文。一个 40 步的任务,如果每次调用携带 30,000 token,总共要读取 120 万输入 token,产出的输出可能只有 40,000 token。正是这个 30 比 1 的比例,让输入 token 及其缓存价格主导了智能体的账单。

token 都花在哪里?

部分 是什么 每次调用都重复? 常见诱因
系统提示词 智能体指令、规则文件、项目说明 是 冗长的规则文件
工具 schema 每个工具的名称、描述和 JSON Schema 是 内置工具,加上每一个 MCP 服务器
历史记录 之前的消息、工具调用和结果 是,而且不断增长 长会话
文件读取与工具输出 文件内容、测试日志、搜索结果 是,直到被移除 读取整个文件、输出冗长的命令
输出 可见回答、工具调用和思考 否 思考强度、重写整个文件

前两项是固定开销。Cursor 在 2026 年 9 月写道,系统提示词和工具定义“had become one of the largest sources of spend that we fully control”(译文:已成为我们完全可控的最大开销来源之一),并把文件读取称为“another large source of token spend”(译文:另一个 token 开销大户)。它所做的改动,包括把系统提示词删减约三分之二,以及对在不到 20% 的对话中用到的工具改为按需加载,使用户的 token 成本降低了 7%。GitHub 的 VS Code 团队也为 Copilot 指出了同样的两项成本:重复的提示词前缀和工具定义开销。

怎样测量?

你不需要专门的追踪产品。每个响应里的 usage 块就足够了。

  1. 开启用量统计。 使用流式输出时,加上 stream_options: {"include_usage": true};用量会在最后一个分块中返回。参见流式输出。
  2. 按调用记录: 步骤编号、prompt_tokens、prompt_tokens_details.cached_tokens、completion_tokens,以及在有报告时的 completion_tokens_details.reasoning_tokens。
  3. 测量一次固定开销。 发送一个只包含系统提示词、工具和单词“hi”的请求。它的 prompt_tokens 就是你的下限。
  4. 测量工具输出。 在追加每个工具结果之前,统计它的字符数。除以四可以粗略得到英文的 token 数;把样本粘贴到免费的 token 计数器,就能得到你所用模型分词器下的准确数字。
r = client.chat.completions.create(model=MODEL, messages=msgs, tools=tools)
u = r.usage
cached = getattr(u.prompt_tokens_details, "cached_tokens", 0) or 0
log.info("step=%d prompt=%d cached=%d out=%d", step, u.prompt_tokens, cached, u.completion_tokens)

按步骤绘制 prompt_tokens 曲线。斜率稳定说明历史记录在增长。突然跳升说明有大文件或大日志进入了上下文。下限很高说明工具太多。

在 Aider 中,/tokens 会报告当前上下文里有什么,/drop 可以把文件从上下文中移除。

应该先裁剪什么?

按“大小 × 重复次数”排序,而不是按哪个最容易:

  1. 未使用的工具。 每个工具 schema 都会跟着每次调用发送。OpenAI 的指南说函数定义“are billed as input tokens”(译文:按输入 token 计费),并作为一条软性规则,建议在一轮开始时少于 20 个函数。在当前任务中停用你用不到的 MCP 服务器;opencode 的文档明确指出 MCP 工具会占用模型上下文。
  2. 工具输出。 限制命令输出(测试日志只取最后 200 行,而不是 20,000 行)。搜索结果只返回路径和行号,再只读取需要的部分。
  3. 文件读取。 读函数,而不是整个文件。Aider 的仓库地图默认使用 1k token 预算(--map-tokens),而不是整个文件。
  4. 历史记录。 每次改动开一个新任务。必须继续某个会话时,把旧的轮次替换成一段简短摘要。
  5. 系统提示词。 删掉模型本来就会遵守的规则。其余部分保持稳定。
  6. 输出。 要求输出 diff,而不是整个文件。常规步骤把 reasoning_effort 设为 low。思考 token 按输出计费。

为什么要保持前缀稳定?

服务商会缓存重复的前缀,并按更低的价格计费。在 BroadNet Inference 上,DeepSeek V4.1 Flash 的缓存输入每 1M token 为 $0.0055,新输入为 $0.175。GLM 5.3 为 $0.173 对 $0.78。系统提示词里的时间戳,或者每次调用工具顺序都不同,都会让缓存从那一处开始失效。把稳定的部分放在前面并固定顺序,把变化的部分放在最后。更多内容见缓存输入 token 详解;提示词缓存计算器可以算出某个命中率能省多少。

缓存降低的是前缀的价格,而不是它的大小。缓存 token 仍然占用上下文窗口,处理它们仍然需要时间。

一份智能体预算的计算示例是什么样的?

以上面那个 40 步的任务为例,其中 80% 的输入命中缓存:

部分 token 计费方式
新输入 240,000 输入价格
缓存输入 960,000 缓存输入价格
输出(含思考) 40,000 输出价格

每次调用删掉 5,000 token 未使用的工具 schema,这个任务就少了 200,000 个输入 token,约占总量的六分之一,而智能体的行为完全不变。裁剪之外的降本手段,比如模型选择、缓存和固定价格套餐,参见降低编程智能体大模型成本的 10 个方法。对于多智能体方案,再乘以智能体的数量;参见多智能体方案的成本。想逐步模拟你自己的循环,请使用智能体运行成本估算器。

BroadNet Inference 适合什么场景

BroadNet Inference 在 usage 块中返回提示词 token 和补全 token,模型有报告时还会返回缓存 token 和思考 token,所以上面的测量方法可以直接照用。DeepSeek V4.1 Flash 的缓存输入价格低,稳定的前缀会带来回报。如果你觉得不值得花时间去裁剪,不限量套餐会去掉 DeepSeek V4.1 Flash 的 token 计量,每个会话每月 $60;上下文窗口限制仍然适用,精简的上下文也仍然跑得更快。套餐见 inference.broadnet.ai/plans。

常见问题

为什么我的编程智能体用掉这么多输入 token?

因为 API 是无状态的。每次调用都会重发系统提示词、每一个工具定义、到目前为止的对话,以及仍在上下文中的全部文件内容。会话一长,这些内容就要乘以步数。

怎样查看智能体每一步用了多少 token?

读取每个响应的 usage 块。如果用流式输出,把 stream_options 的 include_usage 设为 true,并读取最后一个分块。连同步骤编号一起记录 prompt_tokens、prompt_tokens_details.cached_tokens 和 completion_tokens。

工具定义算输入 token 吗?

算。工具列表是提示词的一部分,每次调用都会发送。MCP 服务器会把它们的工具加进这个列表,所以 opencode 的文档建议只添加你需要的服务器。

提示词缓存能解决这个问题吗?

它降低的是重复前缀的价格,而不是它的大小。缓存输入仍然占用上下文窗口。在 BroadNet 上,DeepSeek V4.1 Flash 的缓存输入每 1M token 为 $0.0055,新输入为 $0.175。

思考 token 算在预算里吗?

算,在输出一侧。思考模型把思考计入 max_tokens,按量付费时按输出计费。常规步骤请把 reasoning_effort 设为 low。

以 Markdown 格式阅读问 ChatGPT问 Claude问 Perplexity