Sağlayıcı panelleri ne kadar harcadığınızı söyler. Hangi özelliğin veya hangi müşterinin harcadığını nadiren söyler ve faturanın salı günü neden fırladığını söyleyemez. Kendi kullanım günlüğünüz söyleyebilir. Bu yazı günlük şemasını, onu dolduran bir sarmalayıcıyı, çağrı başına maliyetin nasıl hesaplanacağını ve kişisel verilerin nasıl dışarıda tutulacağını gösteriyor. Rakamlarla ne yapılacağı başka yazılarda: kullanıcı başına maliyet ve SaaS fiyatlandırması ve bütçeler ve döngü korumaları.
Her LLM çağrısı için ne kaydedilmeli?
Yeniden denemeler dahil, deneme başına bir satır:
| Alan | Örnek | Neden |
|---|---|---|
ts |
2026-11-14T09:12:03Z | Zaman serileri, olay zaman çizelgeleri |
feature |
support_reply |
Özellik başına maliyet |
user_hash |
hmac:4f1c… |
Kimliği saklamadan kullanıcı başına maliyet |
tenant |
acme |
B2B uygulamalarda müşteri başına maliyet |
model |
broadnet/deepseek-v4.1-flash | Fiyat sorgulama, model karşılaştırmaları |
prompt_tokens |
18.240 | Girdi maliyeti |
cached_tokens |
16.384 | Önbellekli girdi daha ucuz; önbellek oranını izleyin |
reasoning_tokens |
612 | Akıl yürütme modellerinde gizli çıktı maliyeti |
completion_tokens |
1.104 | Çıktı maliyeti (akıl yürütme dahil) |
cost_usd |
hesaplanır | Finans ekibinin sorduğu sayı |
latency_ms, ttft_ms |
4.210 / 690 | Performans gerilemeleri |
status |
200, 429, 503 | Hata ve yeniden deneme oranları |
request_id |
X-Request-ID değeri |
Destek talepleri ve fatura itirazları |
prompt_version |
support-v14 |
Maliyet değişikliklerini istem değişiklikleriyle ilişkilendirir |
İstem metni yok, yanıt metni yok. Onlar daha sonra ve yalnızca maskelemeyle gelir.
Çağrı başına maliyet nasıl hesaplanır?
Usage bloğunu okuyun ve her token türünü ayrı fiyatlandırın. BroadNet, her model için girdi, önbellekli girdi ve çıktının 1M başına fiyatlarını içeren makine tarafından okunabilir fiyatları pricing.json dosyasında yayımlıyor:
import json, urllib.request
PRICES = {m["id"]: m for m in json.load(urllib.request.urlopen("https://inference.broadnet.ai/pricing.json"))["models"]}
def call_cost(model: str, usage) -> float:
p = PRICES[model]
details = getattr(usage, "prompt_tokens_details", None)
cached = (getattr(details, "cached_tokens", 0) or 0) if details else 0
new_input = usage.prompt_tokens - cached
return (
new_input * (p.get("input_per_m") or 0)
+ cached * (p.get("cached_input_per_m") or p.get("input_per_m") or 0)
+ usage.completion_tokens * (p.get("output_per_m") or 0)
) / 1_000_000
Fiyat dosyasını her çağrıda indirmek yerine önbelleğe alın ve günlük yenileyin. İki kolay hata: önbellekli token’ları yeni girdi olarak fiyatlandırmak (maliyeti şişirir) ve akıl yürütme token’larının zaten completion_tokens içinde olduğunu unutmak (iki kez eklemeyin).
Günlük sarmalayıcısı nasıl görünür?
import hashlib, hmac, os, time, logging
from openai import OpenAI
log = logging.getLogger("llm.usage")
client = OpenAI(base_url="https://inference.broadnet.ai/v1", api_key=os.environ["BROADNET_API_KEY"])
HASH_KEY = os.environ["USAGE_HASH_KEY"].encode()
def user_hash(user_id: str) -> str:
return "hmac:" + hmac.new(HASH_KEY, user_id.encode(), hashlib.sha256).hexdigest()[:16]
def chat(*, feature: str, user_id: str, prompt_version: str, **kwargs):
t0 = time.perf_counter()
row = {"feature": feature, "user_hash": user_hash(user_id),
"model": kwargs["model"], "prompt_version": prompt_version}
try:
raw = client.chat.completions.with_raw_response.create(**kwargs)
resp = raw.parse()
u = resp.usage
d = getattr(u, "completion_tokens_details", None)
row.update(
status=200,
request_id=raw.headers.get("x-request-id"),
prompt_tokens=u.prompt_tokens,
cached_tokens=getattr(getattr(u, "prompt_tokens_details", None), "cached_tokens", 0) or 0,
reasoning_tokens=(getattr(d, "reasoning_tokens", 0) or 0) if d else 0,
completion_tokens=u.completion_tokens,
cost_usd=round(call_cost(kwargs["model"], u), 6),
)
return resp
except Exception as e:
row.update(status=getattr(e, "status_code", "error"),
request_id=getattr(getattr(e, "response", None), "headers", {}).get("x-request-id"))
raise
finally:
row["latency_ms"] = int((time.perf_counter() - t0) * 1000)
log.info("llm_call", extra={"llm": row})
with_raw_response size başlıkları verir; böylece X-Request-ID değerini saklayabilirsiniz. Akışlı çağrılarda stream_options={"include_usage": True} ekleyin ve satırı SSE akış yazısında gösterildiği gibi son parçadan doldurun. HASH_KEY değerini gizli ve sabit tutun: aynı kullanıcı her zaman aynı karma değere eşlenir, ama karma değer anahtar olmadan geri çevrilemez.
Maliyet kullanıcılara ve özelliklere nasıl atanır?
Yukarıdaki satırlar herhangi bir SQL deposundaysa, atama tek bir sorgudur:
SELECT feature, model,
count(*) AS calls,
sum(cost_usd) AS cost,
sum(cached_tokens)::float / nullif(sum(prompt_tokens), 0) AS cache_rate,
avg(completion_tokens) AS avg_out
FROM llm_calls
WHERE ts >= now() - interval '7 days'
GROUP BY feature, model
ORDER BY cost DESC;
Müşteri başına maliyet için feature yerine user_hash veya tenant koyun. Üç takip analizi hızla karşılığını verir:
- Maliyete göre kullanıcıların en üst %1’i. Çoğu zaman tek bir döngü veya bir bot. Düşen bir
cache_ratediğer erken uyarıdır; istem önbellekleme hesaplayıcısı önbellek oranının her puanının ne kadar değerli olduğunu gösteriyor. - Çağrı başına değil, başarılı sonuç başına maliyet: kendi başarı olaylarınızla birleştirin.
- Yeniden deneme payı. 429 veya 5xx durumlu satırlar başarısızlıklara ne kadar harcadığınızı gösterir; bkz. 429 hatalarını ele alma.
PII, LLM günlüklerinden nasıl uzak tutulur?
En güvenli günlükte hiç istem metni yoktur. Hata ayıklama veya değerlendirme için metne ihtiyacınız olduğunda bu adımları sırasıyla izleyin:
- Örnekleyin. Metni her şey için değil, çağrıların küçük bir payı ve başarısız olanlar için tutun.
- Yazmadan önce maskeleyin. Maskelemeyi günlüğü yazan süreçte çalıştırın. Sonradan maskelemek, ham metnin zaten diskte ve yedeklerde durması demektir.
- Dedektörleri katmanlayın. Yapılandırılmış veriler için regex, adlar ve adresler için bir NER aracı.
- Ayrı saklayın. Metni daha sıkı erişimli ve kısa saklama süreli farklı bir tabloya veya bucket’a koyun,
request_idile bağlayın. - Sırları asla kaydetmeyin. OWASP logging cheat sheet, günlüklerden çıkarılacak veriler arasında erişim token’larını, parolaları ve şifreleme anahtarlarını sayıyor; API anahtarı da bu listeye aittir.
Asgari bir regex katmanı:
import re
PATTERNS = [
(re.compile(r"[\w.+-]+@[\w-]+\.[\w.-]+"), "[EMAIL]"),
(re.compile(r"\+?\d[\d\s().-]{7,}\d"), "[PHONE]"),
(re.compile(r"\b(?:\d[ -]?){13,19}\b"), "[CARD]"),
(re.compile(r"\b(sk|key|bearer)[-_ ]?[A-Za-z0-9]{16,}\b", re.I), "[SECRET]"),
]
def redact(text: str) -> str:
for pat, label in PATTERNS:
text = pat.sub(label, text)
return text
Bu bariz durumları yakalar; adları, adresleri ve olağandışı her şeyi kaçırır. Microsoft Presidio bunlar için varlık tanıma ekliyor ve README dosyası tüm hassas bilgileri bulacağının garantisi olmadığını açıkça söylüyor. Kaçırmaları hesaba katın: biri gözden kaçtığında kısa saklama süresi ve sıkı erişim hasarı sınırlar.
BroadNet Inference nereye oturuyor?
BroadNet Inference, model bildirdiğinde önbellekli ve akıl yürütme token’larını içeren usage bloğunu, her yanıtta bir X-Request-ID değerini ve maliyet hesabı için yükleyebileceğiniz herkese açık bir fiyat dosyasını döndürüyor. Kendi tarafında istemler ve yanıtlar istek için işlenir ve saklanmaz; yalnızca süreler, token sayıları ve maliyet gibi içerik barındırmayan kayıtları tutar (sıfır veri saklama nasıl çalışır). Bu da herhangi bir istem metninin tek kopyasını sizin günlüklerinizde bırakır; dolayısıyla gerçek saklama sürenizi yukarıdaki maskeleme kuralları belirler. BroadNet’in sohbet isteklerinde kullanıcı başına bir meta veri alanı yok; atama sizin sarmalayıcınızda yaşar. Ekip başına ayrı bütçeler için ayrı anahtarlar kullanın; etiketleri ve izin listelerini anahtarlar rehberi anlatıyor.
