服务商的控制台告诉你花了多少钱,却很少告诉你是哪个功能、哪个客户花的,也无法告诉你为什么周二账单突然上涨。你自己的用量日志可以。本文介绍日志结构、填充日志的包装函数、如何计算每次调用的成本,以及如何把个人数据挡在日志之外。拿到这些数字之后怎么用,见其他文章:每用户成本与 SaaS 定价和预算与循环保护。
每次大模型调用应该记录什么?
每次尝试一行,包括重试:
| 字段 | 示例 | 用途 |
|---|---|---|
ts |
2026-11-14T09:12:03Z | 时间序列、故障时间线 |
feature |
support_reply |
按功能统计成本 |
user_hash |
hmac:4f1c… |
按用户统计成本,又不存储身份 |
tenant |
acme |
B2B 应用中按客户统计成本 |
model |
broadnet/deepseek-v4.1-flash | 查价格、比较模型 |
prompt_tokens |
18,240 | 输入成本 |
cached_tokens |
16,384 | 缓存输入更便宜;跟踪缓存命中率 |
reasoning_tokens |
612 | 思考模型隐藏的输出成本 |
completion_tokens |
1,104 | 输出成本(包含思考) |
cost_usd |
计算得出 | 财务要的那个数字 |
latency_ms, ttft_ms |
4,210 / 690 | 性能退化 |
status |
200, 429, 503 | 错误率和重试率 |
request_id |
X-Request-ID 的值 |
支持工单和账单争议 |
prompt_version |
support-v14 |
把成本变化和提示词变化对应起来 |
不记录提示词文本,也不记录回复文本。这些后面再说,而且必须先脱敏。
如何计算每次调用的成本?
读取 usage 字段,对每种 token 分别计价。BroadNet 在 pricing.json 中公布了机器可读的价格,包含每个模型输入、缓存输入和输出的每百万 token 价格:
import json, urllib.request
PRICES = {m["id"]: m for m in json.load(urllib.request.urlopen("https://inference.broadnet.ai/pricing.json"))["models"]}
def call_cost(model: str, usage) -> float:
p = PRICES[model]
details = getattr(usage, "prompt_tokens_details", None)
cached = (getattr(details, "cached_tokens", 0) or 0) if details else 0
new_input = usage.prompt_tokens - cached
return (
new_input * (p.get("input_per_m") or 0)
+ cached * (p.get("cached_input_per_m") or p.get("input_per_m") or 0)
+ usage.completion_tokens * (p.get("output_per_m") or 0)
) / 1_000_000
把价格文件缓存起来,每天刷新一次,而不是每次调用都去获取。两个容易犯的错误:把缓存 token 按新输入计价(成本被高估),以及忘了思考 token 已经包含在 completion_tokens 里(不要重复计算)。
日志包装函数是什么样的?
import hashlib, hmac, os, time, logging
from openai import OpenAI
log = logging.getLogger("llm.usage")
client = OpenAI(base_url="https://inference.broadnet.ai/v1", api_key=os.environ["BROADNET_API_KEY"])
HASH_KEY = os.environ["USAGE_HASH_KEY"].encode()
def user_hash(user_id: str) -> str:
return "hmac:" + hmac.new(HASH_KEY, user_id.encode(), hashlib.sha256).hexdigest()[:16]
def chat(*, feature: str, user_id: str, prompt_version: str, **kwargs):
t0 = time.perf_counter()
row = {"feature": feature, "user_hash": user_hash(user_id),
"model": kwargs["model"], "prompt_version": prompt_version}
try:
raw = client.chat.completions.with_raw_response.create(**kwargs)
resp = raw.parse()
u = resp.usage
d = getattr(u, "completion_tokens_details", None)
row.update(
status=200,
request_id=raw.headers.get("x-request-id"),
prompt_tokens=u.prompt_tokens,
cached_tokens=getattr(getattr(u, "prompt_tokens_details", None), "cached_tokens", 0) or 0,
reasoning_tokens=(getattr(d, "reasoning_tokens", 0) or 0) if d else 0,
completion_tokens=u.completion_tokens,
cost_usd=round(call_cost(kwargs["model"], u), 6),
)
return resp
except Exception as e:
row.update(status=getattr(e, "status_code", "error"),
request_id=getattr(getattr(e, "response", None), "headers", {}).get("x-request-id"))
raise
finally:
row["latency_ms"] = int((time.perf_counter() - t0) * 1000)
log.info("llm_call", extra={"llm": row})
with_raw_response 能拿到响应头,所以你可以保存 X-Request-ID。对于流式调用,加上 stream_options={"include_usage": True},并从最后一个分块中填充这一行,做法见 SSE 流式输出一文。HASH_KEY 要保密且保持不变:同一个用户总是映射到同一个哈希值,但没有密钥就无法反推。
如何把成本归到用户和功能上?
把上面这些行存进任意 SQL 数据库后,归因只需一条查询:
SELECT feature, model,
count(*) AS calls,
sum(cost_usd) AS cost,
sum(cached_tokens)::float / nullif(sum(prompt_tokens), 0) AS cache_rate,
avg(completion_tokens) AS avg_out
FROM llm_calls
WHERE ts >= now() - interval '7 days'
GROUP BY feature, model
ORDER BY cost DESC;
把 feature 换成 user_hash 或 tenant,就是按客户统计的成本。有三个后续分析很快就能见效:
- **成本最高的前 1% 用户。**往往是某个循环或机器人。
cache_rate下降是另一个早期预警;提示词缓存计算器能告诉你缓存命中率每提高一个百分点值多少钱。 - **按成功结果计算成本,**而不是按调用:关联你自己的成功事件。
- **重试占比。**状态为 429 或 5xx 的行显示你在失败上花了多少钱;参见处理 429 错误。
如何让大模型日志不含 PII?
最安全的日志根本不含提示词文本。当你确实需要文本(用于调试或评估)时,按顺序做下面几步:
- **抽样。**只为一小部分调用和失败的调用保留文本,而不是全部。
- **写入前脱敏。**在写日志的进程里完成脱敏。事后再脱敏,意味着原始文本已经落在磁盘和备份里了。
- **多层检测。**结构化数据用正则,姓名和地址用 NER 工具。
- **分开存储。**把文本放在另一张表或另一个存储桶里,访问更严格、保留期更短,通过
request_id关联。 - **绝不记录密钥。**OWASP 日志备忘单把访问令牌、密码和加密密钥列为不应写入日志的数据;API 密钥也属于这一类。
一个最简单的正则层:
import re
PATTERNS = [
(re.compile(r"[\w.+-]+@[\w-]+\.[\w.-]+"), "[EMAIL]"),
(re.compile(r"\+?\d[\d\s().-]{7,}\d"), "[PHONE]"),
(re.compile(r"\b(?:\d[ -]?){13,19}\b"), "[CARD]"),
(re.compile(r"\b(sk|key|bearer)[-_ ]?[A-Za-z0-9]{16,}\b", re.I), "[SECRET]"),
]
def redact(text: str) -> str:
for pat, label in PATTERNS:
text = pat.sub(label, text)
return text
它能抓住明显的情况,但会漏掉姓名、地址和任何不常见的内容。Microsoft Presidio 为这些内容增加了实体识别,而它的 README 也直说,不能保证找出所有敏感信息。要为遗漏做好准备:较短的保留期和严格的访问控制,能在漏网之鱼出现时限制损失。
BroadNet Inference 的定位
当模型报告缓存和思考 token 时,BroadNet Inference 会在 usage 字段中返回它们;每个响应都带有 X-Request-ID;还有一个公开的价格文件可以加载来计算成本。在它那一侧,提示词和回答仅为处理请求而使用,不会保留;它只保留不含内容的记录,例如耗时、token 数和费用(零数据保留如何运作)。这样一来,你自己的日志就是任何提示词文本的唯一副本,所以上面的脱敏规则决定了你实际的保留情况。BroadNet 的对话请求没有按用户区分的元数据字段,所以归因要在你的包装函数里做。如果想为每个团队设置独立预算,就使用不同的密钥;密钥指南介绍了标签和白名单。
