BroadRouter

上线新功能前,怎样估算大模型 API 费用

BroadNet Inference 团队 · 阅读约 6 分钟 · 发布于 · 更新于

估算大模型 API 费用,要以一次用户操作为单位,而不是一次 API 调用:数清每次操作的调用次数,在真实样本上测量每次调用的输入、缓存和输出 token,再乘以用户数和每月操作数。加上思考和重试,并分别按低、预期、高三种情景定价。我们用 DeepSeek V4.1 Flash 计算的示例为每月 $42.67。

上线前估算大模型 API 费用,要为一次用户操作定价,而不是为一次 API 调用定价。数清它背后的调用次数,在 20 到 50 个真实样本上测量新输入、缓存输入和输出 token,乘以每月操作数,再加上思考和重试。我们以 DeepSeek V4.1 Flash 计算的客服回复示例,结果为每月 $42.67。

这是针对单个功能的上线前预测;有了付费用户之后,SaaS 每用户大模型成本一文介绍了利润率和定价档位。

大模型 API 费用的计算公式是什么?

monthly cost = actions per month × calls per action
             × ( new input tokens × input price
               + cached input tokens × cached price
               + output tokens × output price ) / 1,000,000

输出 token 包含思考。缓存 token 是服务商以更低价格复用的输入。其余的都靠测量。免费的大模型 API 费用计算器可以把这个公式应用到任何模型的标价上。

怎样一步步建立成本模型?

  1. 确定工作单元。 “起草一条客服回复”“总结一通电话”“修复一个失败的测试”。为它定价,而不是为“一个请求”定价。
  2. 数清每次操作的调用次数。 一个检索式回答可能只有一次调用;一个先规划、再修改、再检查的智能体可能有十次。再加上重试率:超时后重试的请求会再次计费。
  3. 在真实样本上测量每次调用的 token。 拿 20 到 50 个贴近真实的输入,而不是干净的演示数据。在调用任何 API 之前,可以先粘贴到 token 计数器里粗略数一下。从每个响应中读取 usage.prompt_tokens、usage.prompt_tokens_details.cached_tokens 和 usage.completion_tokens。使用流式输出时,设置 stream_options: {"include_usage": true};流式输出指南说明了它出现在哪里。
  4. 区分新输入和缓存输入。 系统提示词、工具列表和共享文档如果放在最前面且保持不变,就可以被缓存。用户输入的文本则不行。
  5. 把思考计入输出。 DeepSeek V4.1 Flash、GLM 5.3 和 Qwen3.8 27B 会先思考再回答。这些思考 token 按输出计费,而且往往比可见的回复还多。参见为什么思考的花费比你看到的多。
  6. 估算用量。 活跃用户数 × 每位用户每天的操作数 × 30。
  7. 相乘并汇总。 把 token 总数换算成百万,再乘以每百万价格。
  8. 按三种情景定价。 低、预期、高。上线时的流量不确定,提示词也会随时间变长。
  9. 不只核对费用,也要核对限制。 高峰时的每分钟请求数和同时请求数,必须在你的密钥的速率限制之内。
  10. 决定计费方式。 波动大、由用户驱动的流量按 token 计费;全天候运行的智能体用固定价格套餐。

估算示例是什么样的?以客服回复起草为例

一个客服工单应用新增了“起草回复”功能。下面的数字是用于说明的假设,请逐一换成你的实测值。

输入项 数值 来源
使用该功能的客服人员(员工) 500 产品规划
每位客服每天起草数 4 试点用量
每月天数 30
每月操作数 60,000 500 × 4 × 30
每次操作的调用数 1 一次带检索文章的调用
每次调用的输入 token 5,000 系统提示词、工单对话、三篇帮助文章
输入中命中缓存的比例 50% 稳定的系统提示词和文章前缀
每次调用的输出 token 500 约 200 可见,300 思考
模型 DeepSeek V4.1 Flash 每百万 $0.175 / $0.0055 / $0.52

汇总如下:

项目 每月 token 数 每百万价格
新输入 1.5 亿 $0.175
缓存输入 1.5 亿 $0.0055
输出(含思考) 3,000 万 $0.52
预期月度费用 $42.67

也就是 3 亿输入 token 和 3,000 万输出 token:60,000 × 5,000 和 60,000 × 500。

低情景和高情景应该拉开多大?

情景 每月操作数 输入 / 输出 token 月度费用
低:采用缓慢 20,000 1 亿 / 1,000 万 $14.23
预期 60,000 3 亿 / 3,000 万 $42.67
高:采用量 3 倍 180,000 9 亿 / 9,000 万 3 × $42.67

三种情景的缓存比例都保持 50%。如果缓存比例下降,账单就会上升:在这个模型上,新输入每百万 $0.175,而缓存输入为 $0.0055。参见如何保持高缓存比例。

什么对估算影响最大?

  • 上下文长度。 检索十篇文章而不是三篇,输入可能翻倍。每次修改提示词后都要重新测量 token。
  • 思考。 简单的草稿把 reasoning_effort 设为 low,可以减少隐藏的输出。参见思考与 max_tokens。
  • 重试和循环。 5% 的重试率会让每一项都增加 5%。没有步数上限的智能体循环则根本没有上限。参见大模型 API 支出控制。
  • 模型选择。 Gemma 4 VL 26B 每百万输入 $0.10、输出 $0.22,但它的上下文是 32,768 token,而且 BroadNet 没有为它列出思考功能。为了省钱换模型之前,先测试质量。
  • 语言。 同样的内容,用阿拉伯语或印地语可能比英语需要多得多的 token,差距取决于分词器。我们的各语言真实成本数据集列出了每种语言在各模型和服务商上每百万字符的价格。
  • 提示词增长。 上线后,为了处理各种边界情况,提示词往往会变长。每次发布都重新测量。
  • 价格变动。 标价很少变动,但可能上涨。在 11 家服务商存档的价格页面中,我们记录了 2024 年至 2026 年 11 月间 52 次标价上涨,每次都是把某个模型的价格与它自己此前的价格相比(同期降价 100 次);按混合价格计算,涨幅中位数为 40%。参见如何为大模型 API 涨价做预算。

如果估算结果太高,在修改功能之前,先按降低大模型 API 费用的 10 步清单逐项检查。

用量在速率限制之内吗?

每月 60,000 次操作,大约是每天 2,000 次。如果一天中十分之一的草稿集中在最忙的一小时,那就是每小时 200 次,约每分钟 3 次。BroadNet 按量付费密钥每分钟允许 30 个请求、同时 4 个请求,所以一个密钥就够了。高情景也要核对,或者把你自己的高峰数据放进速率限制计算器算一算。速率和同时请求数之间的换算,参见并发。如果遇到 429,退避后重试。

这个功能应该用固定价格套餐吗?

大概不应该。一个 Full Moon 会话每月 $60,但一个会话同一时间只运行一个请求,而许多用户同时点击“起草”需要并行请求。固定价格套餐适合持续工作的智能体,例如编程智能体。盈亏平衡计算显示,全职编程智能体按 token 计费每月 $65.40,高于套餐价格。

怎样把估算变成预算?

  1. 把预期数字写进计划,把高情景数字设为告警阈值。
  2. 在生产环境中记录每次操作的 token 数,每周和模型对比。
  3. 在代码中设置硬性上限:max_tokens、步数限制和重试限制。
  4. 每当更换模型、修改提示词或调整检索设置时,重新估算。

你可以在大模型 API 费用计算器中用自己的数字重新计算按 token 的费用,或者在价格页面上比较套餐与按 token 计费。

BroadNet Inference 适合什么场景

BroadNet Inference 在一个价格文件中公布了它提供的每个聊天和转写模型的按 token 价格,所以上面的估算可以写进代码里维护。新账户可获得 $5 的初始额度,可用于 Gemma 4 VL 26B 和两个语音转写模型,因此可以在 Gemma 上测量样本;DeepSeek、GLM 和 Qwen 需要充值。如果你的功能需要闭源前沿模型,那一部分 BroadNet 不是合适的服务商。

常见问题

还没有用户时,怎样估算 token 数?

准备 20 到 50 个贴近真实的输入,用你打算使用的模型跑一遍,从 usage 字段读取 prompt_tokens、cached_tokens 和 completion_tokens,再求出每次调用的平均值。

一次普通的聊天请求大概多少 token?

差别很大。一轮简短的对话可能只有几百个 token,而带检索文档或长历史记录的请求可能有好几万。请测量你自己的提示词。

大模型费用估算需要留安全余量吗?

需要。按预期用量的两到三倍设定一个高情景,并为重试以及功能扩展后变长的提示词留出预算。然后设置硬性上限,让 bug 也无法突破它。

什么时候应该考虑改用包月套餐?

当一个智能体或工作进程一天中大部分时间都在同一个模型上运行时。在 BroadNet 上使用 DeepSeek V4.1 Flash,一个 Full Moon 会话每月 $60,不计 token,同一时间一个请求。

以 Markdown 格式阅读问 ChatGPT问 Claude问 Perplexity