BroadRouter
始める

LLM API の利用ログ:ユーザー別・機能別のコストと PII のマスキング

BroadNet Inference チーム · 約 4 分で読めます · 公開日

LLM 呼び出しは 1 つの関数でラップし、モデル、機能、ハッシュ化したユーザー ID、入力・キャッシュ・推論・出力トークン、コスト、レイテンシ、ステータス、リクエスト ID を記録します。コストは請求書でなく価格表から計算します。既定はメタデータのみ。本文を残すなら書き込み前にマスキングし、保持期間を短くします。

プロバイダーのダッシュボードは、いくら使ったかは教えてくれます。しかし、どの機能やどの顧客が使ったのかはほとんど分からず、火曜日に請求が跳ね上がった理由も分かりません。自前の利用ログならそれが分かります。この記事では、ログのスキーマ、それを埋めるラッパー、呼び出しごとのコストの計算方法、個人データを残さない方法を紹介します。得られた数字をどう使うかは、ユーザーあたりのコストと SaaS の価格設定と予算とループ対策で扱っています。

LLM の呼び出しごとに何を記録すべきですか?

再試行も含め、試行 1 回につき 1 行です。

フィールド 例 理由
ts 2026-11-14T09:12:03Z 時系列分析、障害のタイムライン
feature support_reply 機能ごとのコスト
user_hash hmac:4f1c… 身元を保存せずにユーザーごとのコスト
tenant acme B2B アプリでの顧客ごとのコスト
model broadnet/deepseek-v4.1-flash 価格の参照、モデルの比較
prompt_tokens 18,240 入力コスト
cached_tokens 16,384 キャッシュ入力は安い。キャッシュ率を追跡
reasoning_tokens 612 推論モデルの隠れた出力コスト
completion_tokens 1,104 出力コスト(推論を含む)
cost_usd 計算値 経理が求める数字
latency_ms, ttft_ms 4,210 / 690 性能の劣化
status 200, 429, 503 エラー率と再試行率
request_id X-Request-ID の値 サポートへの問い合わせと請求の確認
prompt_version support-v14 コストの変化をプロンプトの変更と結び付ける

プロンプトの本文もレスポンスの本文も記録しません。それは後の話で、しかもマスキングが前提です。

呼び出しごとのコストはどう計算しますか?

usage ブロックを読み、トークンの種類ごとに価格を付けます。BroadNet は機械可読な価格を pricing.json で公開しており、モデルごとに入力、キャッシュ入力、出力の 100 万トークンあたりの価格が載っています。

import json, urllib.request

PRICES = {m["id"]: m for m in json.load(urllib.request.urlopen("https://inference.broadnet.ai/pricing.json"))["models"]}

def call_cost(model: str, usage) -> float:
    p = PRICES[model]
    details = getattr(usage, "prompt_tokens_details", None)
    cached = (getattr(details, "cached_tokens", 0) or 0) if details else 0
    new_input = usage.prompt_tokens - cached
    return (
        new_input * (p.get("input_per_m") or 0)
        + cached * (p.get("cached_input_per_m") or p.get("input_per_m") or 0)
        + usage.completion_tokens * (p.get("output_per_m") or 0)
    ) / 1_000_000

価格ファイルは呼び出しのたびに取得するのではなく、キャッシュして毎日更新してください。よくある間違いが 2 つあります。キャッシュされたトークンを新規入力として計算する(コストを過大に見積もる)ことと、推論トークンがすでに completion_tokens に含まれていることを忘れる(二重に加算しない)ことです。

ログ用のラッパーはどうなりますか?

import hashlib, hmac, os, time, logging
from openai import OpenAI

log = logging.getLogger("llm.usage")
client = OpenAI(base_url="https://inference.broadnet.ai/v1", api_key=os.environ["BROADNET_API_KEY"])
HASH_KEY = os.environ["USAGE_HASH_KEY"].encode()

def user_hash(user_id: str) -> str:
    return "hmac:" + hmac.new(HASH_KEY, user_id.encode(), hashlib.sha256).hexdigest()[:16]

def chat(*, feature: str, user_id: str, prompt_version: str, **kwargs):
    t0 = time.perf_counter()
    row = {"feature": feature, "user_hash": user_hash(user_id),
           "model": kwargs["model"], "prompt_version": prompt_version}
    try:
        raw = client.chat.completions.with_raw_response.create(**kwargs)
        resp = raw.parse()
        u = resp.usage
        d = getattr(u, "completion_tokens_details", None)
        row.update(
            status=200,
            request_id=raw.headers.get("x-request-id"),
            prompt_tokens=u.prompt_tokens,
            cached_tokens=getattr(getattr(u, "prompt_tokens_details", None), "cached_tokens", 0) or 0,
            reasoning_tokens=(getattr(d, "reasoning_tokens", 0) or 0) if d else 0,
            completion_tokens=u.completion_tokens,
            cost_usd=round(call_cost(kwargs["model"], u), 6),
        )
        return resp
    except Exception as e:
        row.update(status=getattr(e, "status_code", "error"),
                   request_id=getattr(getattr(e, "response", None), "headers", {}).get("x-request-id"))
        raise
    finally:
        row["latency_ms"] = int((time.perf_counter() - t0) * 1000)
        log.info("llm_call", extra={"llm": row})

with_raw_response を使うとヘッダーが取得できるので、X-Request-ID を残せます。ストリーミングの呼び出しでは stream_options={"include_usage": True} を追加し、SSE ストリーミングの記事のように最後のチャンクから行を埋めてください。HASH_KEY は秘密にし、変えないでください。同じユーザーは常に同じハッシュになりますが、鍵がなければハッシュから元に戻すことはできません。

コストをユーザーと機能にどう割り当てますか?

上の行を任意の SQL ストアに入れれば、割り当てはクエリ 1 つで済みます。

SELECT feature, model,
       count(*)                          AS calls,
       sum(cost_usd)                     AS cost,
       sum(cached_tokens)::float / nullif(sum(prompt_tokens), 0) AS cache_rate,
       avg(completion_tokens)            AS avg_out
FROM llm_calls
WHERE ts >= now() - interval '7 days'
GROUP BY feature, model
ORDER BY cost DESC;

feature を user_hash や tenant に置き換えれば、顧客ごとのコストになります。すぐに効果が出る追加分析が 3 つあります。

  1. **コスト上位 1% のユーザー。**単一のループやボットであることがよくあります。cache_rate の低下はもう 1 つの早期警告です。キャッシュ率 1 ポイントの価値はプロンプトキャッシュ計算ツールで分かります。
  2. **呼び出し単位ではなく、成功した成果あたりのコスト。**自社の成功イベントと結合します。
  3. **再試行の割合。**ステータス 429 や 5xx の行を見れば、失敗にいくら使っているかが分かります。429 エラーへの対処を参照してください。

LLM のログに PII を残さないには?

最も安全なログは、プロンプトの本文をまったく含まないものです。デバッグや評価のために本文が必要なときは、次の手順を順番に行ってください。

  1. **サンプリングする。**本文はすべてではなく、ごく一部の呼び出しと失敗した呼び出しだけに残します。
  2. **書き込む前にマスキングする。**ログを書き込むプロセスの中でマスキングを実行します。後からマスキングするということは、生のテキストがすでにディスクとバックアップに残っているということです。
  3. **検出器を重ねる。**構造化データには正規表現、名前や住所には NER ツールを使います。
  4. **別に保存する。**本文はアクセス制限が厳しく保持期間が短い別のテーブルやバケットに置き、request_id で関連付けます。
  5. **秘密情報は絶対に記録しない。**OWASP のロギングのチートシートは、アクセストークン、パスワード、暗号鍵を除外すべきデータとして挙げています。API キーもそのリストに入ります。

最小限の正規表現の層は次のとおりです。

import re
PATTERNS = [
    (re.compile(r"[\w.+-]+@[\w-]+\.[\w.-]+"), "[EMAIL]"),
    (re.compile(r"\+?\d[\d\s().-]{7,}\d"), "[PHONE]"),
    (re.compile(r"\b(?:\d[ -]?){13,19}\b"), "[CARD]"),
    (re.compile(r"\b(sk|key|bearer)[-_ ]?[A-Za-z0-9]{16,}\b", re.I), "[SECRET]"),
]
def redact(text: str) -> str:
    for pat, label in PATTERNS:
        text = pat.sub(label, text)
    return text

これで明らかなケースは捕まえられますが、名前、住所、変わったものは見逃します。Microsoft Presidio はそれらに対してエンティティ認識を加えますが、その README には、すべての機密情報を見つけられる保証はないとはっきり書かれています。漏れは起きるものとして計画してください。保持期間を短くし、アクセスを厳しくしておけば、漏れたときの被害を抑えられます。

BroadNet Inference の位置付け

BroadNet Inference は、モデルが報告する場合はキャッシュトークンと推論トークンを含む usage ブロックを返し、すべてのレスポンスに X-Request-ID を付け、コスト計算に読み込める公開の価格ファイルを提供しています。BroadNet 側では、プロンプトと回答はリクエストの処理に使われるだけで保持されず、残るのはタイミング、トークン数、コストといった内容を含まない記録だけです(ゼロデータ保持の仕組み)。そのため、プロンプトの本文の唯一のコピーはあなた自身のログになり、上記のマスキングのルールが実際の保持のあり方を決めます。BroadNet のチャットリクエストにはユーザーごとのメタデータフィールドがないので、コストの割り当てはラッパーで行います。チームごとに予算を分けるには別々のキーを使ってください。ラベルと許可リストはキーのガイドで扱っています。

よくある質問

LLM API のコストをユーザーごとに把握するには?

各呼び出しにユーザー識別子を付け、レスポンスから usage ブロックを読み、トークン数に価格表を掛けて、呼び出しごとに 1 行のログを書きます。あとはユーザーのタグで集計します。メールアドレスではなく、ハッシュ化した ID を使ってください。

プロンプトとレスポンスの全文を記録すべきですか?

既定ではしないでください。個人データはそこに含まれています。すべての呼び出しでトークン数とメタデータを記録し、全文はサンプリングした呼び出しや失敗した呼び出しに限り、マスキングしたうえで短い保持期間で残します。

計算したコストがプロバイダーの請求額と合わないのはなぜですか?

多くの場合、キャッシュされたトークンを新規入力として計算した、推論トークンを出力から漏らした、再試行を記録していなかった、のいずれかです。usage を返した失敗リクエストも含め、すべての試行を記録してください。

ストリーミングのレスポンスからトークン使用量を取得するには?

stream_options の include_usage を true に設定します。すると最後のチャンクで、空の choices リストとともに usage ブロックが返ります。

LLM のログにはどの PII マスキングツールを使うべきですか?

メールアドレス、電話番号、カード番号などの構造化データには正規表現から始め、名前や住所には Microsoft Presidio のような NER ベースのツールを加えます。Presidio 自身の README も、すべてを見つけられる保証はないとしています。

Markdown で読むChatGPT に聞くClaude に聞くPerplexity に聞く