BroadRouter
Mulakan

Log penggunaan API LLM: kos setiap pengguna dan ciri, PII disunting

Oleh pasukan BroadNet Inference · 4 minit bacaan · Diterbitkan

Balut setiap panggilan LLM dalam satu fungsi yang merekod model, ciri, ID pengguna yang di-hash, token prompt, cache, penaakulan dan output, kos, kependaman, status dan ID permintaan penyedia. Kira kos daripada jadual harga, bukan invois. Log metadata secara lalai; jika anda mesti menyimpan teks prompt, suntingnya sebelum ditulis dan tetapkan tempoh pengekalan yang singkat.

Papan pemuka penyedia memberitahu anda berapa yang anda belanjakan. Ia jarang memberitahu ciri mana atau pelanggan mana yang membelanjakannya, dan tidak dapat memberitahu mengapa bil melonjak pada hari Selasa. Log penggunaan anda sendiri boleh. Catatan ini menunjukkan skema log, pembalut yang mengisinya, cara mengira kos setiap panggilan, dan cara menjauhkan data peribadi. Apa yang perlu dilakukan dengan angka itu dibincangkan di tempat lain: kos setiap pengguna dan harga SaaS serta bajet dan pengawal gelung.

Apakah yang patut anda log bagi setiap panggilan LLM?

Satu baris bagi setiap percubaan, termasuk cubaan semula:

Medan Contoh Sebab
ts 2026-11-14T09:12:03Z Siri masa, garis masa insiden
feature support_reply Kos setiap ciri
user_hash hmac:4f1c… Kos setiap pengguna tanpa menyimpan identiti
tenant acme Kos setiap pelanggan dalam aplikasi B2B
model broadnet/deepseek-v4.1-flash Carian harga, perbandingan model
prompt_tokens 18,240 Kos input
cached_tokens 16,384 Input cache lebih murah; jejak kadar cache
reasoning_tokens 612 Kos output tersembunyi pada model penaakulan
completion_tokens 1,104 Kos output (termasuk penaakulan)
cost_usd dikira Angka yang diminta oleh bahagian kewangan
latency_ms, ttft_ms 4,210 / 690 Regresi prestasi
status 200, 429, 503 Kadar ralat dan cubaan semula
request_id nilai X-Request-ID Tiket sokongan dan pertikaian invois
prompt_version support-v14 Mengaitkan perubahan kos dengan perubahan prompt

Tiada teks prompt, tiada teks respons. Itu datang kemudian, dan hanya dengan penyuntingan.

Bagaimanakah anda mengira kos setiap panggilan?

Baca blok usage dan letakkan harga bagi setiap jenis token secara berasingan. BroadNet menerbitkan harga yang boleh dibaca mesin dalam pricing.json, dengan harga setiap 1M untuk input, input cache dan output bagi setiap model:

import json, urllib.request

PRICES = {m["id"]: m for m in json.load(urllib.request.urlopen("https://inference.broadnet.ai/pricing.json"))["models"]}

def call_cost(model: str, usage) -> float:
    p = PRICES[model]
    details = getattr(usage, "prompt_tokens_details", None)
    cached = (getattr(details, "cached_tokens", 0) or 0) if details else 0
    new_input = usage.prompt_tokens - cached
    return (
        new_input * (p.get("input_per_m") or 0)
        + cached * (p.get("cached_input_per_m") or p.get("input_per_m") or 0)
        + usage.completion_tokens * (p.get("output_per_m") or 0)
    ) / 1_000_000

Cache fail harga dan muat semula setiap hari, bukan mengambilnya pada setiap panggilan. Dua kesilapan yang mudah berlaku: mengira token cache pada harga input baharu (kos terlebih anggar), dan terlupa bahawa token penaakulan sudah termasuk dalam completion_tokens (jangan tambah dua kali).

Bagaimanakah rupa pembalut log?

import hashlib, hmac, os, time, logging
from openai import OpenAI

log = logging.getLogger("llm.usage")
client = OpenAI(base_url="https://inference.broadnet.ai/v1", api_key=os.environ["BROADNET_API_KEY"])
HASH_KEY = os.environ["USAGE_HASH_KEY"].encode()

def user_hash(user_id: str) -> str:
    return "hmac:" + hmac.new(HASH_KEY, user_id.encode(), hashlib.sha256).hexdigest()[:16]

def chat(*, feature: str, user_id: str, prompt_version: str, **kwargs):
    t0 = time.perf_counter()
    row = {"feature": feature, "user_hash": user_hash(user_id),
           "model": kwargs["model"], "prompt_version": prompt_version}
    try:
        raw = client.chat.completions.with_raw_response.create(**kwargs)
        resp = raw.parse()
        u = resp.usage
        d = getattr(u, "completion_tokens_details", None)
        row.update(
            status=200,
            request_id=raw.headers.get("x-request-id"),
            prompt_tokens=u.prompt_tokens,
            cached_tokens=getattr(getattr(u, "prompt_tokens_details", None), "cached_tokens", 0) or 0,
            reasoning_tokens=(getattr(d, "reasoning_tokens", 0) or 0) if d else 0,
            completion_tokens=u.completion_tokens,
            cost_usd=round(call_cost(kwargs["model"], u), 6),
        )
        return resp
    except Exception as e:
        row.update(status=getattr(e, "status_code", "error"),
                   request_id=getattr(getattr(e, "response", None), "headers", {}).get("x-request-id"))
        raise
    finally:
        row["latency_ms"] = int((time.perf_counter() - t0) * 1000)
        log.info("llm_call", extra={"llm": row})

with_raw_response memberi anda pengepala, jadi anda boleh menyimpan X-Request-ID. Untuk panggilan penstriman, tambah stream_options={"include_usage": True} dan isi baris daripada cebisan terakhir, seperti yang ditunjukkan dalam catatan penstriman SSE. Pastikan HASH_KEY rahsia dan stabil: pengguna yang sama sentiasa dipetakan kepada hash yang sama, tetapi hash tidak boleh diterbalikkan tanpa kunci.

Bagaimanakah anda mengaitkan kos dengan pengguna dan ciri?

Dengan baris di atas dalam mana-mana stor SQL, atribusi ialah satu pertanyaan:

SELECT feature, model,
       count(*)                          AS calls,
       sum(cost_usd)                     AS cost,
       sum(cached_tokens)::float / nullif(sum(prompt_tokens), 0) AS cache_rate,
       avg(completion_tokens)            AS avg_out
FROM llm_calls
WHERE ts >= now() - interval '7 days'
GROUP BY feature, model
ORDER BY cost DESC;

Tukar feature kepada user_hash atau tenant untuk kos setiap pelanggan. Tiga susulan cepat membuahkan hasil:

  1. 1% teratas pengguna mengikut kos. Selalunya satu gelung atau bot. cache_rate yang menurun ialah amaran awal yang lain; kalkulator cache prompt menunjukkan nilai setiap mata kadar cache.
  2. Kos setiap hasil yang berjaya, bukan setiap panggilan: gabungkan dengan peristiwa kejayaan anda sendiri.
  3. Bahagian cubaan semula. Baris dengan status 429 atau 5xx menunjukkan berapa yang anda belanjakan untuk kegagalan; lihat mengendalikan ralat 429.

Bagaimanakah anda menjauhkan PII daripada log LLM?

Log yang paling selamat tidak mempunyai teks prompt langsung. Apabila anda memerlukan teks, untuk nyahpepijat atau eval, ikut langkah ini mengikut urutan:

  1. Sampel. Simpan teks untuk sebahagian kecil panggilan dan untuk kegagalan, bukan untuk semuanya.
  2. Sunting sebelum menulis. Jalankan penyuntingan dalam proses yang menulis log. Menyunting kemudian bermakna teks mentah sudah berada di cakera dan dalam sandaran.
  3. Lapiskan pengesan. Regex untuk data berstruktur, alat NER untuk nama dan alamat.
  4. Simpan secara berasingan. Letakkan teks dalam jadual atau baldi lain dengan akses yang lebih ketat dan pengekalan singkat, dipautkan dengan request_id.
  5. Jangan sekali-kali log rahsia. OWASP logging cheat sheet menyenaraikan token akses, kata laluan dan kunci penyulitan antara data yang perlu dikecualikan; kunci API termasuk dalam senarai itu.

Lapisan regex yang minimum:

import re
PATTERNS = [
    (re.compile(r"[\w.+-]+@[\w-]+\.[\w.-]+"), "[EMAIL]"),
    (re.compile(r"\+?\d[\d\s().-]{7,}\d"), "[PHONE]"),
    (re.compile(r"\b(?:\d[ -]?){13,19}\b"), "[CARD]"),
    (re.compile(r"\b(sk|key|bearer)[-_ ]?[A-Za-z0-9]{16,}\b", re.I), "[SECRET]"),
]
def redact(text: str) -> str:
    for pat, label in PATTERNS:
        text = pat.sub(label, text)
    return text

Ini menangkap kes yang jelas dan terlepas nama, alamat dan apa-apa yang luar biasa. Microsoft Presidio menambah pengecaman entiti untuk perkara itu, dan READMEnya menyatakan dengan jelas bahawa tiada jaminan ia akan menemui semua maklumat sensitif. Bersedia untuk keterlepasan: pengekalan singkat dan akses yang ketat mengehadkan kerosakan apabila sesuatu terlepas.

Di mana BroadNet Inference sesuai

BroadNet Inference memulangkan blok usage dengan token cache dan penaakulan apabila model melaporkannya, X-Request-ID pada setiap respons, dan fail harga awam yang boleh anda muatkan untuk pengiraan kos. Di pihaknya, prompt dan jawapan diproses untuk permintaan dan tidak disimpan; ia hanya menyimpan rekod tanpa kandungan seperti masa, kiraan token dan kos (cara pengekalan data sifar berfungsi). Ini menjadikan log anda sendiri satu-satunya salinan sebarang teks prompt, jadi peraturan penyuntingan di atas menentukan pengekalan sebenar anda. Permintaan chat BroadNet tiada medan metadata setiap pengguna, jadi atribusi berada dalam pembalut anda. Untuk bajet berasingan bagi setiap pasukan, gunakan kunci berasingan; panduan kunci merangkumi label dan senarai dibenarkan.

Soalan lazim

Bagaimanakah saya menjejak kos API LLM bagi setiap pengguna?

Tanda setiap panggilan dengan pengecam pengguna, baca blok usage daripada respons, darab kiraan token dengan jadual harga anda, dan tulis satu baris log bagi setiap panggilan. Kumpulkan mengikut tanda pengguna. Gunakan ID yang di-hash dan bukan e-mel.

Patutkah saya log prompt dan respons penuh?

Tidak secara lalai. Di situlah data peribadi berada. Log kiraan token dan metadata untuk setiap panggilan, dan simpan teks penuh hanya untuk panggilan yang disampel atau gagal, selepas penyuntingan, dengan tempoh pengekalan yang singkat.

Mengapakah kos yang saya kira berbeza daripada invois penyedia?

Biasanya kerana token cache dikira pada harga input baharu, token penaakulan tertinggal daripada output, atau cubaan semula tidak dilog. Log setiap percubaan, termasuk yang gagal tetapi memulangkan usage.

Bagaimanakah saya mendapatkan penggunaan token daripada respons penstriman?

Tetapkan include_usage dalam stream_options kepada true. Cebisan terakhir kemudian membawa blok usage dengan senarai choices yang kosong.

Alat penyuntingan PII apakah yang patut saya gunakan untuk log LLM?

Mulakan dengan regex untuk data berstruktur seperti e-mel, nombor telefon dan nombor kad, dan tambah alat berasaskan NER seperti Microsoft Presidio untuk nama dan alamat. README Presidio sendiri menyatakan ia tidak dapat menjamin ia menemui segala-galanya.

Baca sebagai MarkdownTanya ChatGPTTanya ClaudeTanya Perplexity