プロバイダーのダッシュボードは、いくら使ったかは教えてくれます。しかし、どの機能やどの顧客が使ったのかはほとんど分からず、火曜日に請求が跳ね上がった理由も分かりません。自前の利用ログならそれが分かります。この記事では、ログのスキーマ、それを埋めるラッパー、呼び出しごとのコストの計算方法、個人データを残さない方法を紹介します。得られた数字をどう使うかは、ユーザーあたりのコストと SaaS の価格設定と予算とループ対策で扱っています。
LLM の呼び出しごとに何を記録すべきですか?
再試行も含め、試行 1 回につき 1 行です。
| フィールド | 例 | 理由 |
|---|---|---|
ts |
2026-11-14T09:12:03Z | 時系列分析、障害のタイムライン |
feature |
support_reply |
機能ごとのコスト |
user_hash |
hmac:4f1c… |
身元を保存せずにユーザーごとのコスト |
tenant |
acme |
B2B アプリでの顧客ごとのコスト |
model |
broadnet/deepseek-v4.1-flash | 価格の参照、モデルの比較 |
prompt_tokens |
18,240 | 入力コスト |
cached_tokens |
16,384 | キャッシュ入力は安い。キャッシュ率を追跡 |
reasoning_tokens |
612 | 推論モデルの隠れた出力コスト |
completion_tokens |
1,104 | 出力コスト(推論を含む) |
cost_usd |
計算値 | 経理が求める数字 |
latency_ms, ttft_ms |
4,210 / 690 | 性能の劣化 |
status |
200, 429, 503 | エラー率と再試行率 |
request_id |
X-Request-ID の値 |
サポートへの問い合わせと請求の確認 |
prompt_version |
support-v14 |
コストの変化をプロンプトの変更と結び付ける |
プロンプトの本文もレスポンスの本文も記録しません。それは後の話で、しかもマスキングが前提です。
呼び出しごとのコストはどう計算しますか?
usage ブロックを読み、トークンの種類ごとに価格を付けます。BroadNet は機械可読な価格を pricing.json で公開しており、モデルごとに入力、キャッシュ入力、出力の 100 万トークンあたりの価格が載っています。
import json, urllib.request
PRICES = {m["id"]: m for m in json.load(urllib.request.urlopen("https://inference.broadnet.ai/pricing.json"))["models"]}
def call_cost(model: str, usage) -> float:
p = PRICES[model]
details = getattr(usage, "prompt_tokens_details", None)
cached = (getattr(details, "cached_tokens", 0) or 0) if details else 0
new_input = usage.prompt_tokens - cached
return (
new_input * (p.get("input_per_m") or 0)
+ cached * (p.get("cached_input_per_m") or p.get("input_per_m") or 0)
+ usage.completion_tokens * (p.get("output_per_m") or 0)
) / 1_000_000
価格ファイルは呼び出しのたびに取得するのではなく、キャッシュして毎日更新してください。よくある間違いが 2 つあります。キャッシュされたトークンを新規入力として計算する(コストを過大に見積もる)ことと、推論トークンがすでに completion_tokens に含まれていることを忘れる(二重に加算しない)ことです。
ログ用のラッパーはどうなりますか?
import hashlib, hmac, os, time, logging
from openai import OpenAI
log = logging.getLogger("llm.usage")
client = OpenAI(base_url="https://inference.broadnet.ai/v1", api_key=os.environ["BROADNET_API_KEY"])
HASH_KEY = os.environ["USAGE_HASH_KEY"].encode()
def user_hash(user_id: str) -> str:
return "hmac:" + hmac.new(HASH_KEY, user_id.encode(), hashlib.sha256).hexdigest()[:16]
def chat(*, feature: str, user_id: str, prompt_version: str, **kwargs):
t0 = time.perf_counter()
row = {"feature": feature, "user_hash": user_hash(user_id),
"model": kwargs["model"], "prompt_version": prompt_version}
try:
raw = client.chat.completions.with_raw_response.create(**kwargs)
resp = raw.parse()
u = resp.usage
d = getattr(u, "completion_tokens_details", None)
row.update(
status=200,
request_id=raw.headers.get("x-request-id"),
prompt_tokens=u.prompt_tokens,
cached_tokens=getattr(getattr(u, "prompt_tokens_details", None), "cached_tokens", 0) or 0,
reasoning_tokens=(getattr(d, "reasoning_tokens", 0) or 0) if d else 0,
completion_tokens=u.completion_tokens,
cost_usd=round(call_cost(kwargs["model"], u), 6),
)
return resp
except Exception as e:
row.update(status=getattr(e, "status_code", "error"),
request_id=getattr(getattr(e, "response", None), "headers", {}).get("x-request-id"))
raise
finally:
row["latency_ms"] = int((time.perf_counter() - t0) * 1000)
log.info("llm_call", extra={"llm": row})
with_raw_response を使うとヘッダーが取得できるので、X-Request-ID を残せます。ストリーミングの呼び出しでは stream_options={"include_usage": True} を追加し、SSE ストリーミングの記事のように最後のチャンクから行を埋めてください。HASH_KEY は秘密にし、変えないでください。同じユーザーは常に同じハッシュになりますが、鍵がなければハッシュから元に戻すことはできません。
コストをユーザーと機能にどう割り当てますか?
上の行を任意の SQL ストアに入れれば、割り当てはクエリ 1 つで済みます。
SELECT feature, model,
count(*) AS calls,
sum(cost_usd) AS cost,
sum(cached_tokens)::float / nullif(sum(prompt_tokens), 0) AS cache_rate,
avg(completion_tokens) AS avg_out
FROM llm_calls
WHERE ts >= now() - interval '7 days'
GROUP BY feature, model
ORDER BY cost DESC;
feature を user_hash や tenant に置き換えれば、顧客ごとのコストになります。すぐに効果が出る追加分析が 3 つあります。
- **コスト上位 1% のユーザー。**単一のループやボットであることがよくあります。
cache_rateの低下はもう 1 つの早期警告です。キャッシュ率 1 ポイントの価値はプロンプトキャッシュ計算ツールで分かります。 - **呼び出し単位ではなく、成功した成果あたりのコスト。**自社の成功イベントと結合します。
- **再試行の割合。**ステータス 429 や 5xx の行を見れば、失敗にいくら使っているかが分かります。429 エラーへの対処を参照してください。
LLM のログに PII を残さないには?
最も安全なログは、プロンプトの本文をまったく含まないものです。デバッグや評価のために本文が必要なときは、次の手順を順番に行ってください。
- **サンプリングする。**本文はすべてではなく、ごく一部の呼び出しと失敗した呼び出しだけに残します。
- **書き込む前にマスキングする。**ログを書き込むプロセスの中でマスキングを実行します。後からマスキングするということは、生のテキストがすでにディスクとバックアップに残っているということです。
- **検出器を重ねる。**構造化データには正規表現、名前や住所には NER ツールを使います。
- **別に保存する。**本文はアクセス制限が厳しく保持期間が短い別のテーブルやバケットに置き、
request_idで関連付けます。 - **秘密情報は絶対に記録しない。**OWASP のロギングのチートシートは、アクセストークン、パスワード、暗号鍵を除外すべきデータとして挙げています。API キーもそのリストに入ります。
最小限の正規表現の層は次のとおりです。
import re
PATTERNS = [
(re.compile(r"[\w.+-]+@[\w-]+\.[\w.-]+"), "[EMAIL]"),
(re.compile(r"\+?\d[\d\s().-]{7,}\d"), "[PHONE]"),
(re.compile(r"\b(?:\d[ -]?){13,19}\b"), "[CARD]"),
(re.compile(r"\b(sk|key|bearer)[-_ ]?[A-Za-z0-9]{16,}\b", re.I), "[SECRET]"),
]
def redact(text: str) -> str:
for pat, label in PATTERNS:
text = pat.sub(label, text)
return text
これで明らかなケースは捕まえられますが、名前、住所、変わったものは見逃します。Microsoft Presidio はそれらに対してエンティティ認識を加えますが、その README には、すべての機密情報を見つけられる保証はないとはっきり書かれています。漏れは起きるものとして計画してください。保持期間を短くし、アクセスを厳しくしておけば、漏れたときの被害を抑えられます。
BroadNet Inference の位置付け
BroadNet Inference は、モデルが報告する場合はキャッシュトークンと推論トークンを含む usage ブロックを返し、すべてのレスポンスに X-Request-ID を付け、コスト計算に読み込める公開の価格ファイルを提供しています。BroadNet 側では、プロンプトと回答はリクエストの処理に使われるだけで保持されず、残るのはタイミング、トークン数、コストといった内容を含まない記録だけです(ゼロデータ保持の仕組み)。そのため、プロンプトの本文の唯一のコピーはあなた自身のログになり、上記のマスキングのルールが実際の保持のあり方を決めます。BroadNet のチャットリクエストにはユーザーごとのメタデータフィールドがないので、コストの割り当てはラッパーで行います。チームごとに予算を分けるには別々のキーを使ってください。ラベルと許可リストはキーのガイドで扱っています。
