BroadRouter
시작하기

LLM API 사용량 로깅: 사용자·기능별 비용 추적과 개인정보 마스킹

BroadNet Inference 팀 · 4분 분량 · 게시

모든 LLM 호출을 함수 하나로 감싸 모델, 기능, 해시한 사용자 ID, 프롬프트·캐시·추론·출력 토큰, 비용, 지연 시간, 상태, 제공업체 요청 ID를 기록하세요. 비용은 청구서가 아니라 가격표로 계산합니다. 기본적으로 메타데이터만 기록하고, 프롬프트 텍스트를 꼭 남겨야 한다면 기록 전에 마스킹하고 보관 기간을 짧게 잡으세요.

제공업체 대시보드는 얼마를 썼는지 알려 줍니다. 하지만 어떤 기능이나 어떤 고객이 썼는지는 거의 알려 주지 않고, 화요일에 청구액이 왜 튀었는지도 알려 줄 수 없습니다. 자체 사용량 로그는 알려 줄 수 있습니다. 이 글은 로그 스키마, 그것을 채우는 래퍼, 호출당 비용 계산법, 개인 데이터를 빼는 방법을 보여 줍니다. 수치로 무엇을 할지는 다른 글에서 다룹니다. 사용자당 비용과 SaaS 가격 책정, 예산과 루프 방지 장치입니다.

LLM 호출마다 무엇을 기록해야 하나요?

재시도를 포함해 시도당 한 행입니다.

필드 예시 이유
ts 2026-11-14T09:12:03Z 시계열, 장애 타임라인
feature support_reply 기능별 비용
user_hash hmac:4f1c… 신원을 저장하지 않는 사용자별 비용
tenant acme B2B 앱의 고객별 비용
model broadnet/deepseek-v4.1-flash 가격 조회, 모델 비교
prompt_tokens 18,240 입력 비용
cached_tokens 16,384 캐시된 입력은 더 저렴함. 캐시 적중률 추적
reasoning_tokens 612 추론 모델의 숨은 출력 비용
completion_tokens 1,104 출력 비용(추론 포함)
cost_usd 계산값 재무팀이 묻는 숫자
latency_ms, ttft_ms 4,210 / 690 성능 저하 감지
status 200, 429, 503 오류율과 재시도율
request_id X-Request-ID 값 지원 문의와 청구 이의 제기
prompt_version support-v14 비용 변화를 프롬프트 변경과 연결

프롬프트 텍스트도, 응답 텍스트도 없습니다. 그것은 나중에, 마스킹을 거쳐서만 다룹니다.

호출당 비용은 어떻게 계산하나요?

usage 블록을 읽고 토큰 유형별로 따로 가격을 매기세요. BroadNet은 pricing.json에 기계 판독용 가격을 공개하며, 모델별로 입력, 캐시된 입력, 출력의 100만 토큰당 가격이 들어 있습니다.

import json, urllib.request

PRICES = {m["id"]: m for m in json.load(urllib.request.urlopen("https://inference.broadnet.ai/pricing.json"))["models"]}

def call_cost(model: str, usage) -> float:
    p = PRICES[model]
    details = getattr(usage, "prompt_tokens_details", None)
    cached = (getattr(details, "cached_tokens", 0) or 0) if details else 0
    new_input = usage.prompt_tokens - cached
    return (
        new_input * (p.get("input_per_m") or 0)
        + cached * (p.get("cached_input_per_m") or p.get("input_per_m") or 0)
        + usage.completion_tokens * (p.get("output_per_m") or 0)
    ) / 1_000_000

가격 파일은 호출마다 가져오지 말고 캐시해 두었다가 매일 갱신하세요. 흔한 실수 두 가지가 있습니다. 캐시된 토큰을 새 입력 가격으로 계산하는 것(비용이 부풀려짐), 그리고 추론 토큰이 이미 completion_tokens에 포함되어 있다는 것을 잊는 것(두 번 더하지 마세요)입니다.

로깅 래퍼는 어떻게 생겼나요?

import hashlib, hmac, os, time, logging
from openai import OpenAI

log = logging.getLogger("llm.usage")
client = OpenAI(base_url="https://inference.broadnet.ai/v1", api_key=os.environ["BROADNET_API_KEY"])
HASH_KEY = os.environ["USAGE_HASH_KEY"].encode()

def user_hash(user_id: str) -> str:
    return "hmac:" + hmac.new(HASH_KEY, user_id.encode(), hashlib.sha256).hexdigest()[:16]

def chat(*, feature: str, user_id: str, prompt_version: str, **kwargs):
    t0 = time.perf_counter()
    row = {"feature": feature, "user_hash": user_hash(user_id),
           "model": kwargs["model"], "prompt_version": prompt_version}
    try:
        raw = client.chat.completions.with_raw_response.create(**kwargs)
        resp = raw.parse()
        u = resp.usage
        d = getattr(u, "completion_tokens_details", None)
        row.update(
            status=200,
            request_id=raw.headers.get("x-request-id"),
            prompt_tokens=u.prompt_tokens,
            cached_tokens=getattr(getattr(u, "prompt_tokens_details", None), "cached_tokens", 0) or 0,
            reasoning_tokens=(getattr(d, "reasoning_tokens", 0) or 0) if d else 0,
            completion_tokens=u.completion_tokens,
            cost_usd=round(call_cost(kwargs["model"], u), 6),
        )
        return resp
    except Exception as e:
        row.update(status=getattr(e, "status_code", "error"),
                   request_id=getattr(getattr(e, "response", None), "headers", {}).get("x-request-id"))
        raise
    finally:
        row["latency_ms"] = int((time.perf_counter() - t0) * 1000)
        log.info("llm_call", extra={"llm": row})

with_raw_response로 헤더를 받을 수 있으므로 X-Request-ID를 남길 수 있습니다. 스트리밍 호출이라면 stream_options={"include_usage": True}를 추가하고, SSE 스트리밍 글에서처럼 마지막 청크로 행을 채우세요. HASH_KEY는 비밀로, 그리고 바뀌지 않게 유지하세요. 같은 사용자는 항상 같은 해시로 매핑되지만, 키 없이는 해시를 되돌릴 수 없습니다.

사용자와 기능별로 비용은 어떻게 배분하나요?

위의 행이 SQL 저장소에 있다면, 배분은 쿼리 하나로 끝납니다.

SELECT feature, model,
       count(*)                          AS calls,
       sum(cost_usd)                     AS cost,
       sum(cached_tokens)::float / nullif(sum(prompt_tokens), 0) AS cache_rate,
       avg(completion_tokens)            AS avg_out
FROM llm_calls
WHERE ts >= now() - interval '7 days'
GROUP BY feature, model
ORDER BY cost DESC;

고객별 비용을 보려면 feature를 user_hash나 tenant로 바꾸세요. 금방 효과를 보는 후속 분석 세 가지입니다.

  1. 비용 상위 1% 사용자. 루프 하나나 봇인 경우가 많습니다. cache_rate가 떨어지는 것도 또 하나의 조기 경고입니다. 캐시 적중률 1%포인트가 얼마의 가치인지는 프롬프트 캐싱 계산기에서 볼 수 있습니다.
  2. 호출당이 아니라 성공한 결과당 비용: 자체 성공 이벤트와 조인하세요.
  3. 재시도 비중. 상태가 429나 5xx인 행은 실패에 얼마를 쓰는지 보여 줍니다. 429 오류 처리를 참고하세요.

LLM 로그에서 개인정보를 빼려면 어떻게 하나요?

가장 안전한 로그는 프롬프트 텍스트가 아예 없는 로그입니다. 디버깅이나 평가를 위해 텍스트가 필요하다면 다음 단계를 순서대로 따르세요.

  1. 샘플링하세요. 텍스트는 모든 호출이 아니라 일부 호출과 실패한 호출에 대해서만 남기세요.
  2. 기록 전에 마스킹하세요. 로그를 쓰는 프로세스 안에서 마스킹을 실행하세요. 나중에 마스킹하면 원본 텍스트가 이미 디스크와 백업에 남아 있습니다.
  3. 탐지기를 겹쳐 쓰세요. 정형 데이터는 정규식으로, 이름과 주소는 NER 도구로.
  4. 따로 저장하세요. 텍스트는 접근 권한이 더 엄격하고 보관 기간이 짧은 별도 테이블이나 버킷에 두고, request_id로 연결하세요.
  5. 비밀 정보는 절대 기록하지 마세요. OWASP 로깅 치트 시트는 액세스 토큰, 비밀번호, 암호화 키를 제외할 데이터로 꼽습니다. API 키도 그 목록에 들어갑니다.

최소한의 정규식 계층입니다.

import re
PATTERNS = [
    (re.compile(r"[\w.+-]+@[\w-]+\.[\w.-]+"), "[EMAIL]"),
    (re.compile(r"\+?\d[\d\s().-]{7,}\d"), "[PHONE]"),
    (re.compile(r"\b(?:\d[ -]?){13,19}\b"), "[CARD]"),
    (re.compile(r"\b(sk|key|bearer)[-_ ]?[A-Za-z0-9]{16,}\b", re.I), "[SECRET]"),
]
def redact(text: str) -> str:
    for pat, label in PATTERNS:
        text = pat.sub(label, text)
    return text

이것은 뻔한 경우는 잡지만, 이름, 주소, 특이한 형태는 놓칩니다. Microsoft Presidio는 그런 것을 위한 개체명 인식을 더해 주며, README에서 모든 민감 정보를 찾는다는 보장은 없다고 분명히 말합니다. 놓치는 경우를 전제로 계획하세요. 짧은 보관 기간과 엄격한 접근 권한이 놓친 것이 빠져나갔을 때의 피해를 줄입니다.

BroadNet Inference는 어디에 맞나요?

BroadNet Inference는 모델이 보고하는 경우 캐시 토큰과 추론 토큰을 포함한 usage 블록을 반환하고, 모든 응답에 X-Request-ID를 붙이며, 비용 계산에 불러올 수 있는 공개 가격 파일을 제공합니다. BroadNet 쪽에서는 프롬프트와 답변이 요청 처리에만 쓰이고 보관되지 않으며, 처리 시간, 토큰 수, 비용 같은 콘텐츠 없는 기록만 남깁니다(데이터 비보관 작동 방식). 따라서 프롬프트 텍스트의 사본은 여러분의 로그에만 있게 되고, 실제 보관 수준은 위의 마스킹 규칙이 결정합니다. BroadNet 채팅 요청에는 사용자별 메타데이터 필드가 없으므로, 비용 배분은 래퍼에서 처리해야 합니다. 팀별로 예산을 나누려면 키를 따로 쓰세요. 레이블과 허용 목록은 키 가이드에서 다룹니다.

자주 묻는 질문

LLM API 비용을 사용자별로 추적하려면 어떻게 하나요?

호출마다 사용자 식별자를 붙이고, 응답의 usage 블록을 읽어 토큰 수에 가격표를 곱한 뒤, 호출당 로그 행을 하나씩 기록하세요. 사용자 태그로 묶으면 됩니다. 이메일 대신 해시한 ID를 쓰세요.

프롬프트와 응답 전체를 로그로 남겨야 하나요?

기본적으로는 아닙니다. 개인 데이터가 있는 곳이 바로 거기입니다. 모든 호출에 대해 토큰 수와 메타데이터를 기록하고, 전체 텍스트는 샘플링한 호출이나 실패한 호출에 대해서만 마스킹 후 짧은 보관 기간으로 남기세요.

계산한 비용이 제공업체 청구서와 다른 이유는 무엇인가요?

대개 캐시된 토큰을 새 입력 가격으로 계산했거나, 추론 토큰을 출력에서 빠뜨렸거나, 재시도를 기록하지 않았기 때문입니다. usage를 반환한 실패 시도를 포함해 모든 시도를 기록하세요.

스트리밍 응답에서 토큰 사용량은 어떻게 얻나요?

stream_options의 include_usage를 true로 설정하세요. 그러면 마지막 청크에 빈 choices 목록과 함께 usage 블록이 담겨 옵니다.

LLM 로그의 개인정보 마스킹에는 어떤 도구를 써야 하나요?

이메일, 전화번호, 카드 번호 같은 정형 데이터는 정규식으로 시작하고, 이름과 주소에는 Microsoft Presidio 같은 NER 기반 도구를 더하세요. Presidio README도 모든 것을 찾는다고 보장할 수 없다고 밝힙니다.

Markdown으로 읽기ChatGPT에 질문하기Claude에 질문하기Perplexity에 질문하기