Papan pemuka penyedia memberitahu anda berapa yang anda belanjakan. Ia jarang memberitahu ciri mana atau pelanggan mana yang membelanjakannya, dan tidak dapat memberitahu mengapa bil melonjak pada hari Selasa. Log penggunaan anda sendiri boleh. Catatan ini menunjukkan skema log, pembalut yang mengisinya, cara mengira kos setiap panggilan, dan cara menjauhkan data peribadi. Apa yang perlu dilakukan dengan angka itu dibincangkan di tempat lain: kos setiap pengguna dan harga SaaS serta bajet dan pengawal gelung.
Apakah yang patut anda log bagi setiap panggilan LLM?
Satu baris bagi setiap percubaan, termasuk cubaan semula:
| Medan | Contoh | Sebab |
|---|---|---|
ts |
2026-11-14T09:12:03Z | Siri masa, garis masa insiden |
feature |
support_reply |
Kos setiap ciri |
user_hash |
hmac:4f1c… |
Kos setiap pengguna tanpa menyimpan identiti |
tenant |
acme |
Kos setiap pelanggan dalam aplikasi B2B |
model |
broadnet/deepseek-v4.1-flash | Carian harga, perbandingan model |
prompt_tokens |
18,240 | Kos input |
cached_tokens |
16,384 | Input cache lebih murah; jejak kadar cache |
reasoning_tokens |
612 | Kos output tersembunyi pada model penaakulan |
completion_tokens |
1,104 | Kos output (termasuk penaakulan) |
cost_usd |
dikira | Angka yang diminta oleh bahagian kewangan |
latency_ms, ttft_ms |
4,210 / 690 | Regresi prestasi |
status |
200, 429, 503 | Kadar ralat dan cubaan semula |
request_id |
nilai X-Request-ID |
Tiket sokongan dan pertikaian invois |
prompt_version |
support-v14 |
Mengaitkan perubahan kos dengan perubahan prompt |
Tiada teks prompt, tiada teks respons. Itu datang kemudian, dan hanya dengan penyuntingan.
Bagaimanakah anda mengira kos setiap panggilan?
Baca blok usage dan letakkan harga bagi setiap jenis token secara berasingan. BroadNet menerbitkan harga yang boleh dibaca mesin dalam pricing.json, dengan harga setiap 1M untuk input, input cache dan output bagi setiap model:
import json, urllib.request
PRICES = {m["id"]: m for m in json.load(urllib.request.urlopen("https://inference.broadnet.ai/pricing.json"))["models"]}
def call_cost(model: str, usage) -> float:
p = PRICES[model]
details = getattr(usage, "prompt_tokens_details", None)
cached = (getattr(details, "cached_tokens", 0) or 0) if details else 0
new_input = usage.prompt_tokens - cached
return (
new_input * (p.get("input_per_m") or 0)
+ cached * (p.get("cached_input_per_m") or p.get("input_per_m") or 0)
+ usage.completion_tokens * (p.get("output_per_m") or 0)
) / 1_000_000
Cache fail harga dan muat semula setiap hari, bukan mengambilnya pada setiap panggilan. Dua kesilapan yang mudah berlaku: mengira token cache pada harga input baharu (kos terlebih anggar), dan terlupa bahawa token penaakulan sudah termasuk dalam completion_tokens (jangan tambah dua kali).
Bagaimanakah rupa pembalut log?
import hashlib, hmac, os, time, logging
from openai import OpenAI
log = logging.getLogger("llm.usage")
client = OpenAI(base_url="https://inference.broadnet.ai/v1", api_key=os.environ["BROADNET_API_KEY"])
HASH_KEY = os.environ["USAGE_HASH_KEY"].encode()
def user_hash(user_id: str) -> str:
return "hmac:" + hmac.new(HASH_KEY, user_id.encode(), hashlib.sha256).hexdigest()[:16]
def chat(*, feature: str, user_id: str, prompt_version: str, **kwargs):
t0 = time.perf_counter()
row = {"feature": feature, "user_hash": user_hash(user_id),
"model": kwargs["model"], "prompt_version": prompt_version}
try:
raw = client.chat.completions.with_raw_response.create(**kwargs)
resp = raw.parse()
u = resp.usage
d = getattr(u, "completion_tokens_details", None)
row.update(
status=200,
request_id=raw.headers.get("x-request-id"),
prompt_tokens=u.prompt_tokens,
cached_tokens=getattr(getattr(u, "prompt_tokens_details", None), "cached_tokens", 0) or 0,
reasoning_tokens=(getattr(d, "reasoning_tokens", 0) or 0) if d else 0,
completion_tokens=u.completion_tokens,
cost_usd=round(call_cost(kwargs["model"], u), 6),
)
return resp
except Exception as e:
row.update(status=getattr(e, "status_code", "error"),
request_id=getattr(getattr(e, "response", None), "headers", {}).get("x-request-id"))
raise
finally:
row["latency_ms"] = int((time.perf_counter() - t0) * 1000)
log.info("llm_call", extra={"llm": row})
with_raw_response memberi anda pengepala, jadi anda boleh menyimpan X-Request-ID. Untuk panggilan penstriman, tambah stream_options={"include_usage": True} dan isi baris daripada cebisan terakhir, seperti yang ditunjukkan dalam catatan penstriman SSE. Pastikan HASH_KEY rahsia dan stabil: pengguna yang sama sentiasa dipetakan kepada hash yang sama, tetapi hash tidak boleh diterbalikkan tanpa kunci.
Bagaimanakah anda mengaitkan kos dengan pengguna dan ciri?
Dengan baris di atas dalam mana-mana stor SQL, atribusi ialah satu pertanyaan:
SELECT feature, model,
count(*) AS calls,
sum(cost_usd) AS cost,
sum(cached_tokens)::float / nullif(sum(prompt_tokens), 0) AS cache_rate,
avg(completion_tokens) AS avg_out
FROM llm_calls
WHERE ts >= now() - interval '7 days'
GROUP BY feature, model
ORDER BY cost DESC;
Tukar feature kepada user_hash atau tenant untuk kos setiap pelanggan. Tiga susulan cepat membuahkan hasil:
- 1% teratas pengguna mengikut kos. Selalunya satu gelung atau bot.
cache_rateyang menurun ialah amaran awal yang lain; kalkulator cache prompt menunjukkan nilai setiap mata kadar cache. - Kos setiap hasil yang berjaya, bukan setiap panggilan: gabungkan dengan peristiwa kejayaan anda sendiri.
- Bahagian cubaan semula. Baris dengan status 429 atau 5xx menunjukkan berapa yang anda belanjakan untuk kegagalan; lihat mengendalikan ralat 429.
Bagaimanakah anda menjauhkan PII daripada log LLM?
Log yang paling selamat tidak mempunyai teks prompt langsung. Apabila anda memerlukan teks, untuk nyahpepijat atau eval, ikut langkah ini mengikut urutan:
- Sampel. Simpan teks untuk sebahagian kecil panggilan dan untuk kegagalan, bukan untuk semuanya.
- Sunting sebelum menulis. Jalankan penyuntingan dalam proses yang menulis log. Menyunting kemudian bermakna teks mentah sudah berada di cakera dan dalam sandaran.
- Lapiskan pengesan. Regex untuk data berstruktur, alat NER untuk nama dan alamat.
- Simpan secara berasingan. Letakkan teks dalam jadual atau baldi lain dengan akses yang lebih ketat dan pengekalan singkat, dipautkan dengan
request_id. - Jangan sekali-kali log rahsia. OWASP logging cheat sheet menyenaraikan token akses, kata laluan dan kunci penyulitan antara data yang perlu dikecualikan; kunci API termasuk dalam senarai itu.
Lapisan regex yang minimum:
import re
PATTERNS = [
(re.compile(r"[\w.+-]+@[\w-]+\.[\w.-]+"), "[EMAIL]"),
(re.compile(r"\+?\d[\d\s().-]{7,}\d"), "[PHONE]"),
(re.compile(r"\b(?:\d[ -]?){13,19}\b"), "[CARD]"),
(re.compile(r"\b(sk|key|bearer)[-_ ]?[A-Za-z0-9]{16,}\b", re.I), "[SECRET]"),
]
def redact(text: str) -> str:
for pat, label in PATTERNS:
text = pat.sub(label, text)
return text
Ini menangkap kes yang jelas dan terlepas nama, alamat dan apa-apa yang luar biasa. Microsoft Presidio menambah pengecaman entiti untuk perkara itu, dan READMEnya menyatakan dengan jelas bahawa tiada jaminan ia akan menemui semua maklumat sensitif. Bersedia untuk keterlepasan: pengekalan singkat dan akses yang ketat mengehadkan kerosakan apabila sesuatu terlepas.
Di mana BroadNet Inference sesuai
BroadNet Inference memulangkan blok usage dengan token cache dan penaakulan apabila model melaporkannya, X-Request-ID pada setiap respons, dan fail harga awam yang boleh anda muatkan untuk pengiraan kos. Di pihaknya, prompt dan jawapan diproses untuk permintaan dan tidak disimpan; ia hanya menyimpan rekod tanpa kandungan seperti masa, kiraan token dan kos (cara pengekalan data sifar berfungsi). Ini menjadikan log anda sendiri satu-satunya salinan sebarang teks prompt, jadi peraturan penyuntingan di atas menentukan pengekalan sebenar anda. Permintaan chat BroadNet tiada medan metadata setiap pengguna, jadi atribusi berada dalam pembalut anda. Untuk bajet berasingan bagi setiap pasukan, gunakan kunci berasingan; panduan kunci merangkumi label dan senarai dibenarkan.
