BroadRouter
Bắt đầu

Ghi log sử dụng API LLM: chi phí theo người dùng, tính năng, ẩn PII

Đội ngũ BroadNet Inference · 4 phút đọc · Đăng ngày

Bọc mọi lời gọi LLM trong một hàm ghi model, tính năng, ID người dùng đã băm, token prompt, cache, suy luận và đầu ra, chi phí, độ trễ, trạng thái và request ID của nhà cung cấp. Tính chi phí từ bảng giá, không từ hóa đơn. Mặc định chỉ ghi siêu dữ liệu; nếu buộc phải giữ văn bản prompt, hãy ẩn thông tin trước khi ghi và chỉ lưu ngắn hạn.

Dashboard của nhà cung cấp cho bạn biết đã tiêu bao nhiêu. Chúng hiếm khi cho biết tính năng nào hay khách hàng nào đã tiêu, và không thể cho biết vì sao hóa đơn tăng vọt vào thứ Ba. Log sử dụng của chính bạn thì có thể. Bài này trình bày schema log, một hàm bọc điền dữ liệu vào đó, cách tính chi phí mỗi lời gọi, và cách giữ dữ liệu cá nhân ở ngoài. Làm gì với các con số được nói ở bài khác: chi phí theo người dùng và định giá SaaS và ngân sách và cơ chế chặn vòng lặp.

Nên ghi gì cho mỗi lời gọi LLM?

Mỗi lần thử một dòng, kể cả các lần thử lại:

Trường Ví dụ Lý do
ts 2026-11-14T09:12:03Z Chuỗi thời gian, dòng thời gian sự cố
feature support_reply Chi phí theo tính năng
user_hash hmac:4f1c… Chi phí theo người dùng mà không lưu danh tính
tenant acme Chi phí theo khách hàng trong ứng dụng B2B
model broadnet/deepseek-v4.1-flash Tra giá, so sánh model
prompt_tokens 18.240 Chi phí đầu vào
cached_tokens 16.384 Đầu vào đã cache rẻ hơn; theo dõi tỷ lệ cache
reasoning_tokens 612 Chi phí đầu ra ẩn trên model suy luận
completion_tokens 1.104 Chi phí đầu ra (bao gồm suy luận)
cost_usd tính toán Con số bộ phận tài chính hỏi
latency_ms, ttft_ms 4.210 / 690 Phát hiện suy giảm hiệu năng
status 200, 429, 503 Tỷ lệ lỗi và thử lại
request_id giá trị X-Request-ID Ticket hỗ trợ và tranh chấp hóa đơn
prompt_version support-v14 Gắn thay đổi chi phí với thay đổi prompt

Không có văn bản prompt, không có văn bản phản hồi. Những thứ đó để sau, và chỉ khi đã ẩn thông tin.

Tính chi phí mỗi lời gọi như thế nào?

Đọc khối usage và tính giá riêng cho từng loại token. BroadNet công bố giá dạng máy đọc được trong pricing.json, với giá mỗi 1 triệu token cho đầu vào, đầu vào đã cache và đầu ra theo từng model:

import json, urllib.request

PRICES = {m["id"]: m for m in json.load(urllib.request.urlopen("https://inference.broadnet.ai/pricing.json"))["models"]}

def call_cost(model: str, usage) -> float:
    p = PRICES[model]
    details = getattr(usage, "prompt_tokens_details", None)
    cached = (getattr(details, "cached_tokens", 0) or 0) if details else 0
    new_input = usage.prompt_tokens - cached
    return (
        new_input * (p.get("input_per_m") or 0)
        + cached * (p.get("cached_input_per_m") or p.get("input_per_m") or 0)
        + usage.completion_tokens * (p.get("output_per_m") or 0)
    ) / 1_000_000

Hãy cache tệp giá và làm mới hằng ngày thay vì tải về ở mỗi lời gọi. Hai sai lầm dễ mắc: tính token đã cache theo giá đầu vào mới (thổi phồng chi phí), và quên rằng token suy luận đã nằm trong completion_tokens (đừng cộng hai lần).

Hàm bọc ghi log trông như thế nào?

import hashlib, hmac, os, time, logging
from openai import OpenAI

log = logging.getLogger("llm.usage")
client = OpenAI(base_url="https://inference.broadnet.ai/v1", api_key=os.environ["BROADNET_API_KEY"])
HASH_KEY = os.environ["USAGE_HASH_KEY"].encode()

def user_hash(user_id: str) -> str:
    return "hmac:" + hmac.new(HASH_KEY, user_id.encode(), hashlib.sha256).hexdigest()[:16]

def chat(*, feature: str, user_id: str, prompt_version: str, **kwargs):
    t0 = time.perf_counter()
    row = {"feature": feature, "user_hash": user_hash(user_id),
           "model": kwargs["model"], "prompt_version": prompt_version}
    try:
        raw = client.chat.completions.with_raw_response.create(**kwargs)
        resp = raw.parse()
        u = resp.usage
        d = getattr(u, "completion_tokens_details", None)
        row.update(
            status=200,
            request_id=raw.headers.get("x-request-id"),
            prompt_tokens=u.prompt_tokens,
            cached_tokens=getattr(getattr(u, "prompt_tokens_details", None), "cached_tokens", 0) or 0,
            reasoning_tokens=(getattr(d, "reasoning_tokens", 0) or 0) if d else 0,
            completion_tokens=u.completion_tokens,
            cost_usd=round(call_cost(kwargs["model"], u), 6),
        )
        return resp
    except Exception as e:
        row.update(status=getattr(e, "status_code", "error"),
                   request_id=getattr(getattr(e, "response", None), "headers", {}).get("x-request-id"))
        raise
    finally:
        row["latency_ms"] = int((time.perf_counter() - t0) * 1000)
        log.info("llm_call", extra={"llm": row})

with_raw_response trả về cả header, nên bạn giữ được X-Request-ID. Với lời gọi streaming, thêm stream_options={"include_usage": True} và điền dòng log từ chunk cuối cùng, như trong bài về streaming SSE. Giữ HASH_KEY bí mật và ổn định: cùng một người dùng luôn ra cùng một giá trị băm, nhưng không thể đảo ngược giá trị băm nếu không có khóa.

Phân bổ chi phí theo người dùng và tính năng như thế nào?

Với các dòng ở trên nằm trong bất kỳ kho SQL nào, phân bổ chỉ là một truy vấn:

SELECT feature, model,
       count(*)                          AS calls,
       sum(cost_usd)                     AS cost,
       sum(cached_tokens)::float / nullif(sum(prompt_tokens), 0) AS cache_rate,
       avg(completion_tokens)            AS avg_out
FROM llm_calls
WHERE ts >= now() - interval '7 days'
GROUP BY feature, model
ORDER BY cost DESC;

Thay feature bằng user_hash hoặc tenant để có chi phí theo khách hàng. Ba bước tiếp theo nhanh chóng mang lại giá trị:

  1. 1% người dùng tốn nhiều nhất. Thường là một vòng lặp hoặc một bot. cache_rate giảm là một cảnh báo sớm khác; máy tính prompt caching cho thấy mỗi điểm phần trăm tỷ lệ cache đáng giá bao nhiêu.
  2. Chi phí trên mỗi kết quả thành công, không phải trên mỗi lời gọi: join với các sự kiện thành công của chính bạn.
  3. Tỷ trọng thử lại. Các dòng có trạng thái 429 hoặc 5xx cho thấy bạn tiêu bao nhiêu cho lỗi; xem xử lý lỗi 429.

Làm sao giữ PII ngoài log LLM?

Log an toàn nhất là log hoàn toàn không có văn bản prompt. Khi cần văn bản để debug hoặc eval, hãy làm theo các bước sau theo thứ tự:

  1. Lấy mẫu. Chỉ giữ văn bản cho một phần nhỏ lời gọi và cho các lời gọi lỗi, không phải tất cả.
  2. Ẩn thông tin trước khi ghi. Chạy bước ẩn trong chính tiến trình ghi log. Ẩn sau nghĩa là văn bản gốc đã nằm trên đĩa và trong bản sao lưu.
  3. Xếp lớp các bộ phát hiện. Regex cho dữ liệu có cấu trúc, công cụ NER cho tên và địa chỉ.
  4. Lưu riêng. Đặt văn bản ở bảng hoặc bucket khác với quyền truy cập chặt hơn và thời hạn lưu ngắn, liên kết bằng request_id.
  5. Không bao giờ ghi bí mật. OWASP logging cheat sheet liệt kê access token, mật khẩu và khóa mã hóa trong số dữ liệu cần loại trừ; API key cũng thuộc danh sách đó.

Một lớp regex tối thiểu:

import re
PATTERNS = [
    (re.compile(r"[\w.+-]+@[\w-]+\.[\w.-]+"), "[EMAIL]"),
    (re.compile(r"\+?\d[\d\s().-]{7,}\d"), "[PHONE]"),
    (re.compile(r"\b(?:\d[ -]?){13,19}\b"), "[CARD]"),
    (re.compile(r"\b(sk|key|bearer)[-_ ]?[A-Za-z0-9]{16,}\b", re.I), "[SECRET]"),
]
def redact(text: str) -> str:
    for pat, label in PATTERNS:
        text = pat.sub(label, text)
    return text

Lớp này bắt được các trường hợp hiển nhiên và bỏ sót tên, địa chỉ và mọi thứ bất thường. Microsoft Presidio bổ sung nhận dạng thực thể cho những thứ đó, và README của nó nói thẳng rằng không có bảo đảm nó sẽ tìm ra mọi thông tin nhạy cảm. Hãy tính trước việc bỏ sót: thời hạn lưu ngắn và quyền truy cập chặt chẽ hạn chế thiệt hại khi có thứ lọt qua.

BroadNet Inference phù hợp ở đâu?

BroadNet Inference trả về khối usage có token đã cache và token suy luận khi model báo cáo chúng, một X-Request-ID trên mọi phản hồi, và một tệp giá công khai bạn có thể tải về để tính chi phí. Về phía BroadNet, prompt và câu trả lời chỉ được xử lý cho request và không bị lưu giữ; họ chỉ giữ các bản ghi không chứa nội dung như thời gian, số token và chi phí (cách không lưu giữ dữ liệu hoạt động). Điều đó khiến log của bạn là bản sao duy nhất của mọi văn bản prompt, nên các quy tắc ẩn thông tin ở trên quyết định mức lưu giữ thực tế của bạn. Request chat của BroadNet không có trường siêu dữ liệu theo người dùng, nên việc phân bổ nằm trong hàm bọc của bạn. Để tách ngân sách theo nhóm, hãy dùng các key riêng; hướng dẫn về key nói về nhãn và danh sách IP được phép.

Câu hỏi thường gặp

Làm sao theo dõi chi phí API LLM theo từng người dùng?

Gắn mã định danh người dùng cho mỗi lời gọi, đọc khối usage trong phản hồi, nhân số token với bảng giá của bạn, và ghi mỗi lời gọi một dòng log. Nhóm theo thẻ người dùng. Dùng ID đã băm thay vì email.

Có nên ghi log toàn bộ prompt và phản hồi không?

Mặc định thì không. Đó là nơi chứa dữ liệu cá nhân. Ghi số token và siêu dữ liệu cho mọi lời gọi, và chỉ giữ toàn văn cho các lời gọi được lấy mẫu hoặc bị lỗi, sau khi ẩn thông tin, với thời hạn lưu ngắn.

Vì sao chi phí tôi tính khác với hóa đơn của nhà cung cấp?

Thường là vì token đã cache bị tính theo giá đầu vào mới, token suy luận bị bỏ ra khỏi đầu ra, hoặc các lần thử lại không được ghi log. Hãy ghi mọi lần thử, kể cả lần lỗi có trả về usage.

Làm sao lấy mức dùng token từ phản hồi streaming?

Đặt include_usage trong stream_options thành true. Khi đó chunk cuối cùng chứa khối usage với danh sách choices rỗng.

Nên dùng công cụ ẩn PII nào cho log LLM?

Bắt đầu với regex cho dữ liệu có cấu trúc như email, số điện thoại và số thẻ, rồi thêm công cụ dựa trên NER như Microsoft Presidio cho tên và địa chỉ. Chính README của Presidio nói nó không thể bảo đảm tìm ra mọi thứ.

Đọc dạng MarkdownHỏi ChatGPTHỏi ClaudeHỏi Perplexity