BroadRouter
Başlayın

LLM API kullanım günlüğü: kullanıcı ve özellik başına maliyet, PII yok

BroadNet Inference ekibi · 4 dk okuma · Yayımlandı

Her LLM çağrısını; modeli, özelliği, karma alınmış kullanıcı kimliğini, istem, önbellekli, akıl yürütme ve çıktı token'larını, maliyeti, gecikmeyi, durumu ve sağlayıcının istek kimliğini kaydeden tek bir fonksiyona sarın. Maliyeti faturadan değil, fiyat tablosundan hesaplayın. Varsayılan olarak meta verileri kaydedin; istem metnini saklamanız gerekiyorsa, yazmadan önce maskeleyin ve kısa bir saklama süresi belirleyin.

Sağlayıcı panelleri ne kadar harcadığınızı söyler. Hangi özelliğin veya hangi müşterinin harcadığını nadiren söyler ve faturanın salı günü neden fırladığını söyleyemez. Kendi kullanım günlüğünüz söyleyebilir. Bu yazı günlük şemasını, onu dolduran bir sarmalayıcıyı, çağrı başına maliyetin nasıl hesaplanacağını ve kişisel verilerin nasıl dışarıda tutulacağını gösteriyor. Rakamlarla ne yapılacağı başka yazılarda: kullanıcı başına maliyet ve SaaS fiyatlandırması ve bütçeler ve döngü korumaları.

Her LLM çağrısı için ne kaydedilmeli?

Yeniden denemeler dahil, deneme başına bir satır:

Alan Örnek Neden
ts 2026-11-14T09:12:03Z Zaman serileri, olay zaman çizelgeleri
feature support_reply Özellik başına maliyet
user_hash hmac:4f1c… Kimliği saklamadan kullanıcı başına maliyet
tenant acme B2B uygulamalarda müşteri başına maliyet
model broadnet/deepseek-v4.1-flash Fiyat sorgulama, model karşılaştırmaları
prompt_tokens 18.240 Girdi maliyeti
cached_tokens 16.384 Önbellekli girdi daha ucuz; önbellek oranını izleyin
reasoning_tokens 612 Akıl yürütme modellerinde gizli çıktı maliyeti
completion_tokens 1.104 Çıktı maliyeti (akıl yürütme dahil)
cost_usd hesaplanır Finans ekibinin sorduğu sayı
latency_ms, ttft_ms 4.210 / 690 Performans gerilemeleri
status 200, 429, 503 Hata ve yeniden deneme oranları
request_id X-Request-ID değeri Destek talepleri ve fatura itirazları
prompt_version support-v14 Maliyet değişikliklerini istem değişiklikleriyle ilişkilendirir

İstem metni yok, yanıt metni yok. Onlar daha sonra ve yalnızca maskelemeyle gelir.

Çağrı başına maliyet nasıl hesaplanır?

Usage bloğunu okuyun ve her token türünü ayrı fiyatlandırın. BroadNet, her model için girdi, önbellekli girdi ve çıktının 1M başına fiyatlarını içeren makine tarafından okunabilir fiyatları pricing.json dosyasında yayımlıyor:

import json, urllib.request

PRICES = {m["id"]: m for m in json.load(urllib.request.urlopen("https://inference.broadnet.ai/pricing.json"))["models"]}

def call_cost(model: str, usage) -> float:
    p = PRICES[model]
    details = getattr(usage, "prompt_tokens_details", None)
    cached = (getattr(details, "cached_tokens", 0) or 0) if details else 0
    new_input = usage.prompt_tokens - cached
    return (
        new_input * (p.get("input_per_m") or 0)
        + cached * (p.get("cached_input_per_m") or p.get("input_per_m") or 0)
        + usage.completion_tokens * (p.get("output_per_m") or 0)
    ) / 1_000_000

Fiyat dosyasını her çağrıda indirmek yerine önbelleğe alın ve günlük yenileyin. İki kolay hata: önbellekli token’ları yeni girdi olarak fiyatlandırmak (maliyeti şişirir) ve akıl yürütme token’larının zaten completion_tokens içinde olduğunu unutmak (iki kez eklemeyin).

Günlük sarmalayıcısı nasıl görünür?

import hashlib, hmac, os, time, logging
from openai import OpenAI

log = logging.getLogger("llm.usage")
client = OpenAI(base_url="https://inference.broadnet.ai/v1", api_key=os.environ["BROADNET_API_KEY"])
HASH_KEY = os.environ["USAGE_HASH_KEY"].encode()

def user_hash(user_id: str) -> str:
    return "hmac:" + hmac.new(HASH_KEY, user_id.encode(), hashlib.sha256).hexdigest()[:16]

def chat(*, feature: str, user_id: str, prompt_version: str, **kwargs):
    t0 = time.perf_counter()
    row = {"feature": feature, "user_hash": user_hash(user_id),
           "model": kwargs["model"], "prompt_version": prompt_version}
    try:
        raw = client.chat.completions.with_raw_response.create(**kwargs)
        resp = raw.parse()
        u = resp.usage
        d = getattr(u, "completion_tokens_details", None)
        row.update(
            status=200,
            request_id=raw.headers.get("x-request-id"),
            prompt_tokens=u.prompt_tokens,
            cached_tokens=getattr(getattr(u, "prompt_tokens_details", None), "cached_tokens", 0) or 0,
            reasoning_tokens=(getattr(d, "reasoning_tokens", 0) or 0) if d else 0,
            completion_tokens=u.completion_tokens,
            cost_usd=round(call_cost(kwargs["model"], u), 6),
        )
        return resp
    except Exception as e:
        row.update(status=getattr(e, "status_code", "error"),
                   request_id=getattr(getattr(e, "response", None), "headers", {}).get("x-request-id"))
        raise
    finally:
        row["latency_ms"] = int((time.perf_counter() - t0) * 1000)
        log.info("llm_call", extra={"llm": row})

with_raw_response size başlıkları verir; böylece X-Request-ID değerini saklayabilirsiniz. Akışlı çağrılarda stream_options={"include_usage": True} ekleyin ve satırı SSE akış yazısında gösterildiği gibi son parçadan doldurun. HASH_KEY değerini gizli ve sabit tutun: aynı kullanıcı her zaman aynı karma değere eşlenir, ama karma değer anahtar olmadan geri çevrilemez.

Maliyet kullanıcılara ve özelliklere nasıl atanır?

Yukarıdaki satırlar herhangi bir SQL deposundaysa, atama tek bir sorgudur:

SELECT feature, model,
       count(*)                          AS calls,
       sum(cost_usd)                     AS cost,
       sum(cached_tokens)::float / nullif(sum(prompt_tokens), 0) AS cache_rate,
       avg(completion_tokens)            AS avg_out
FROM llm_calls
WHERE ts >= now() - interval '7 days'
GROUP BY feature, model
ORDER BY cost DESC;

Müşteri başına maliyet için feature yerine user_hash veya tenant koyun. Üç takip analizi hızla karşılığını verir:

  1. Maliyete göre kullanıcıların en üst %1’i. Çoğu zaman tek bir döngü veya bir bot. Düşen bir cache_rate diğer erken uyarıdır; istem önbellekleme hesaplayıcısı önbellek oranının her puanının ne kadar değerli olduğunu gösteriyor.
  2. Çağrı başına değil, başarılı sonuç başına maliyet: kendi başarı olaylarınızla birleştirin.
  3. Yeniden deneme payı. 429 veya 5xx durumlu satırlar başarısızlıklara ne kadar harcadığınızı gösterir; bkz. 429 hatalarını ele alma.

PII, LLM günlüklerinden nasıl uzak tutulur?

En güvenli günlükte hiç istem metni yoktur. Hata ayıklama veya değerlendirme için metne ihtiyacınız olduğunda bu adımları sırasıyla izleyin:

  1. Örnekleyin. Metni her şey için değil, çağrıların küçük bir payı ve başarısız olanlar için tutun.
  2. Yazmadan önce maskeleyin. Maskelemeyi günlüğü yazan süreçte çalıştırın. Sonradan maskelemek, ham metnin zaten diskte ve yedeklerde durması demektir.
  3. Dedektörleri katmanlayın. Yapılandırılmış veriler için regex, adlar ve adresler için bir NER aracı.
  4. Ayrı saklayın. Metni daha sıkı erişimli ve kısa saklama süreli farklı bir tabloya veya bucket’a koyun, request_id ile bağlayın.
  5. Sırları asla kaydetmeyin. OWASP logging cheat sheet, günlüklerden çıkarılacak veriler arasında erişim token’larını, parolaları ve şifreleme anahtarlarını sayıyor; API anahtarı da bu listeye aittir.

Asgari bir regex katmanı:

import re
PATTERNS = [
    (re.compile(r"[\w.+-]+@[\w-]+\.[\w.-]+"), "[EMAIL]"),
    (re.compile(r"\+?\d[\d\s().-]{7,}\d"), "[PHONE]"),
    (re.compile(r"\b(?:\d[ -]?){13,19}\b"), "[CARD]"),
    (re.compile(r"\b(sk|key|bearer)[-_ ]?[A-Za-z0-9]{16,}\b", re.I), "[SECRET]"),
]
def redact(text: str) -> str:
    for pat, label in PATTERNS:
        text = pat.sub(label, text)
    return text

Bu bariz durumları yakalar; adları, adresleri ve olağandışı her şeyi kaçırır. Microsoft Presidio bunlar için varlık tanıma ekliyor ve README dosyası tüm hassas bilgileri bulacağının garantisi olmadığını açıkça söylüyor. Kaçırmaları hesaba katın: biri gözden kaçtığında kısa saklama süresi ve sıkı erişim hasarı sınırlar.

BroadNet Inference nereye oturuyor?

BroadNet Inference, model bildirdiğinde önbellekli ve akıl yürütme token’larını içeren usage bloğunu, her yanıtta bir X-Request-ID değerini ve maliyet hesabı için yükleyebileceğiniz herkese açık bir fiyat dosyasını döndürüyor. Kendi tarafında istemler ve yanıtlar istek için işlenir ve saklanmaz; yalnızca süreler, token sayıları ve maliyet gibi içerik barındırmayan kayıtları tutar (sıfır veri saklama nasıl çalışır). Bu da herhangi bir istem metninin tek kopyasını sizin günlüklerinizde bırakır; dolayısıyla gerçek saklama sürenizi yukarıdaki maskeleme kuralları belirler. BroadNet’in sohbet isteklerinde kullanıcı başına bir meta veri alanı yok; atama sizin sarmalayıcınızda yaşar. Ekip başına ayrı bütçeler için ayrı anahtarlar kullanın; etiketleri ve izin listelerini anahtarlar rehberi anlatıyor.

Sık sorulan sorular

LLM API maliyetini kullanıcı başına nasıl takip ederim?

Her çağrıyı bir kullanıcı tanımlayıcısıyla etiketleyin, yanıttaki usage bloğunu okuyun, token sayılarını fiyat tablonuzla çarpın ve çağrı başına bir günlük satırı yazın. Kullanıcı etiketine göre gruplayın. E-posta yerine karma alınmış bir kimlik kullanın.

İstemlerin ve yanıtların tamamını kaydetmeli miyim?

Varsayılan olarak hayır. Kişisel veriler tam orada bulunur. Her çağrı için token sayılarını ve meta verileri kaydedin; tam metni yalnızca örneklenen veya başarısız çağrılar için, maskelemeden sonra ve kısa bir saklama süresiyle tutun.

Hesapladığım maliyet neden sağlayıcının faturasından farklı?

Genellikle önbellekli token'lar yeni girdi olarak fiyatlandırıldığı, akıl yürütme token'ları çıktıya dahil edilmediği veya yeniden denemeler kaydedilmediği için. Usage döndüren başarısız denemeler dahil her denemeyi kaydedin.

Akışlı bir yanıttan token kullanımını nasıl alırım?

stream_options içinde include_usage değerini true yapın. Son parça, boş bir choices listesiyle birlikte usage bloğunu taşır.

LLM günlükleri için hangi PII maskeleme aracını kullanmalıyım?

E-posta, telefon numarası ve kart numarası gibi yapılandırılmış veriler için regex ile başlayın; adlar ve adresler için Microsoft Presidio gibi NER tabanlı bir araç ekleyin. Presidio'nun kendi README dosyası her şeyi bulacağını garanti edemeyeceğini söylüyor.

Markdown olarak okuChatGPT asistanına sorClaude asistanına sorPerplexity asistanına sor