BroadRouter
开始使用

大模型 API 用量日志:按用户和功能算成本,脱敏 PII

BroadNet Inference 团队 · 阅读约 4 分钟 · 发布于

把每次大模型调用都包在一个函数里,记录模型、功能、哈希后的用户 ID、输入、缓存、思考和输出 token、成本、延迟、状态以及服务商的请求 ID。成本按价格表计算,而不是看账单。默认只记录元数据;如果必须保留提示词文本,写入前先脱敏,并设置较短的保留期。

服务商的控制台告诉你花了多少钱,却很少告诉你是哪个功能、哪个客户花的,也无法告诉你为什么周二账单突然上涨。你自己的用量日志可以。本文介绍日志结构、填充日志的包装函数、如何计算每次调用的成本,以及如何把个人数据挡在日志之外。拿到这些数字之后怎么用,见其他文章:每用户成本与 SaaS 定价和预算与循环保护。

每次大模型调用应该记录什么?

每次尝试一行,包括重试:

字段 示例 用途
ts 2026-11-14T09:12:03Z 时间序列、故障时间线
feature support_reply 按功能统计成本
user_hash hmac:4f1c… 按用户统计成本,又不存储身份
tenant acme B2B 应用中按客户统计成本
model broadnet/deepseek-v4.1-flash 查价格、比较模型
prompt_tokens 18,240 输入成本
cached_tokens 16,384 缓存输入更便宜;跟踪缓存命中率
reasoning_tokens 612 思考模型隐藏的输出成本
completion_tokens 1,104 输出成本(包含思考)
cost_usd 计算得出 财务要的那个数字
latency_ms, ttft_ms 4,210 / 690 性能退化
status 200, 429, 503 错误率和重试率
request_id X-Request-ID 的值 支持工单和账单争议
prompt_version support-v14 把成本变化和提示词变化对应起来

不记录提示词文本,也不记录回复文本。这些后面再说,而且必须先脱敏。

如何计算每次调用的成本?

读取 usage 字段,对每种 token 分别计价。BroadNet 在 pricing.json 中公布了机器可读的价格,包含每个模型输入、缓存输入和输出的每百万 token 价格:

import json, urllib.request

PRICES = {m["id"]: m for m in json.load(urllib.request.urlopen("https://inference.broadnet.ai/pricing.json"))["models"]}

def call_cost(model: str, usage) -> float:
    p = PRICES[model]
    details = getattr(usage, "prompt_tokens_details", None)
    cached = (getattr(details, "cached_tokens", 0) or 0) if details else 0
    new_input = usage.prompt_tokens - cached
    return (
        new_input * (p.get("input_per_m") or 0)
        + cached * (p.get("cached_input_per_m") or p.get("input_per_m") or 0)
        + usage.completion_tokens * (p.get("output_per_m") or 0)
    ) / 1_000_000

把价格文件缓存起来,每天刷新一次,而不是每次调用都去获取。两个容易犯的错误:把缓存 token 按新输入计价(成本被高估),以及忘了思考 token 已经包含在 completion_tokens 里(不要重复计算)。

日志包装函数是什么样的?

import hashlib, hmac, os, time, logging
from openai import OpenAI

log = logging.getLogger("llm.usage")
client = OpenAI(base_url="https://inference.broadnet.ai/v1", api_key=os.environ["BROADNET_API_KEY"])
HASH_KEY = os.environ["USAGE_HASH_KEY"].encode()

def user_hash(user_id: str) -> str:
    return "hmac:" + hmac.new(HASH_KEY, user_id.encode(), hashlib.sha256).hexdigest()[:16]

def chat(*, feature: str, user_id: str, prompt_version: str, **kwargs):
    t0 = time.perf_counter()
    row = {"feature": feature, "user_hash": user_hash(user_id),
           "model": kwargs["model"], "prompt_version": prompt_version}
    try:
        raw = client.chat.completions.with_raw_response.create(**kwargs)
        resp = raw.parse()
        u = resp.usage
        d = getattr(u, "completion_tokens_details", None)
        row.update(
            status=200,
            request_id=raw.headers.get("x-request-id"),
            prompt_tokens=u.prompt_tokens,
            cached_tokens=getattr(getattr(u, "prompt_tokens_details", None), "cached_tokens", 0) or 0,
            reasoning_tokens=(getattr(d, "reasoning_tokens", 0) or 0) if d else 0,
            completion_tokens=u.completion_tokens,
            cost_usd=round(call_cost(kwargs["model"], u), 6),
        )
        return resp
    except Exception as e:
        row.update(status=getattr(e, "status_code", "error"),
                   request_id=getattr(getattr(e, "response", None), "headers", {}).get("x-request-id"))
        raise
    finally:
        row["latency_ms"] = int((time.perf_counter() - t0) * 1000)
        log.info("llm_call", extra={"llm": row})

with_raw_response 能拿到响应头,所以你可以保存 X-Request-ID。对于流式调用,加上 stream_options={"include_usage": True},并从最后一个分块中填充这一行,做法见 SSE 流式输出一文。HASH_KEY 要保密且保持不变:同一个用户总是映射到同一个哈希值,但没有密钥就无法反推。

如何把成本归到用户和功能上?

把上面这些行存进任意 SQL 数据库后,归因只需一条查询:

SELECT feature, model,
       count(*)                          AS calls,
       sum(cost_usd)                     AS cost,
       sum(cached_tokens)::float / nullif(sum(prompt_tokens), 0) AS cache_rate,
       avg(completion_tokens)            AS avg_out
FROM llm_calls
WHERE ts >= now() - interval '7 days'
GROUP BY feature, model
ORDER BY cost DESC;

把 feature 换成 user_hash 或 tenant,就是按客户统计的成本。有三个后续分析很快就能见效:

  1. **成本最高的前 1% 用户。**往往是某个循环或机器人。cache_rate 下降是另一个早期预警;提示词缓存计算器能告诉你缓存命中率每提高一个百分点值多少钱。
  2. **按成功结果计算成本,**而不是按调用:关联你自己的成功事件。
  3. **重试占比。**状态为 429 或 5xx 的行显示你在失败上花了多少钱;参见处理 429 错误。

如何让大模型日志不含 PII?

最安全的日志根本不含提示词文本。当你确实需要文本(用于调试或评估)时,按顺序做下面几步:

  1. **抽样。**只为一小部分调用和失败的调用保留文本,而不是全部。
  2. **写入前脱敏。**在写日志的进程里完成脱敏。事后再脱敏,意味着原始文本已经落在磁盘和备份里了。
  3. **多层检测。**结构化数据用正则,姓名和地址用 NER 工具。
  4. **分开存储。**把文本放在另一张表或另一个存储桶里,访问更严格、保留期更短,通过 request_id 关联。
  5. **绝不记录密钥。**OWASP 日志备忘单把访问令牌、密码和加密密钥列为不应写入日志的数据;API 密钥也属于这一类。

一个最简单的正则层:

import re
PATTERNS = [
    (re.compile(r"[\w.+-]+@[\w-]+\.[\w.-]+"), "[EMAIL]"),
    (re.compile(r"\+?\d[\d\s().-]{7,}\d"), "[PHONE]"),
    (re.compile(r"\b(?:\d[ -]?){13,19}\b"), "[CARD]"),
    (re.compile(r"\b(sk|key|bearer)[-_ ]?[A-Za-z0-9]{16,}\b", re.I), "[SECRET]"),
]
def redact(text: str) -> str:
    for pat, label in PATTERNS:
        text = pat.sub(label, text)
    return text

它能抓住明显的情况,但会漏掉姓名、地址和任何不常见的内容。Microsoft Presidio 为这些内容增加了实体识别,而它的 README 也直说,不能保证找出所有敏感信息。要为遗漏做好准备:较短的保留期和严格的访问控制,能在漏网之鱼出现时限制损失。

BroadNet Inference 的定位

当模型报告缓存和思考 token 时,BroadNet Inference 会在 usage 字段中返回它们;每个响应都带有 X-Request-ID;还有一个公开的价格文件可以加载来计算成本。在它那一侧,提示词和回答仅为处理请求而使用,不会保留;它只保留不含内容的记录,例如耗时、token 数和费用(零数据保留如何运作)。这样一来,你自己的日志就是任何提示词文本的唯一副本,所以上面的脱敏规则决定了你实际的保留情况。BroadNet 的对话请求没有按用户区分的元数据字段,所以归因要在你的包装函数里做。如果想为每个团队设置独立预算,就使用不同的密钥;密钥指南介绍了标签和白名单。

常见问题

怎样按用户统计大模型 API 的成本?

给每次调用打上用户标识,从响应中读取 usage 字段,用 token 数乘以你的价格表,每次调用写一行日志,再按用户标识分组。用哈希后的 ID,不要用邮箱。

应该记录完整的提示词和回复吗?

默认不应该。个人数据就藏在里面。每次调用都记录 token 数和元数据,只对抽样或失败的调用保留全文,并且先脱敏、设置较短的保留期。

为什么我算出的成本和服务商账单对不上?

通常是因为缓存 token 被按新输入计价、思考 token 没算进输出,或者重试没有记录。每次尝试都要记录,包括返回了 usage 的失败请求。

流式响应怎么拿到 token 用量?

把 stream_options 的 include_usage 设为 true。最后一个分块会带上 usage 字段,choices 列表为空。

大模型日志用什么 PII 脱敏工具?

先用正则处理邮箱、电话号码和银行卡号等结构化数据,再加上 Microsoft Presidio 这类基于 NER 的工具处理姓名和地址。Presidio 自己的 README 也说,它不能保证找出所有内容。

以 Markdown 格式阅读问 ChatGPT问 Claude问 Perplexity