LLM 청구액이 예상 밖으로 나오는 이유는 대부분 같습니다. 아무도 보지 않는 사이 무언가가 계속 API를 호출한 것입니다. 재시도 루프, 끝내지 못한 에이전트, 공개 저장소에 유출된 키. 예산 알림은 일이 벌어진 뒤에야 알려 줍니다. 이 글에서는 계정부터 개별 요청까지 계층별로 비용 통제를 구축하고, 어느 부분을 BroadNet Inference가 처리하고 어느 부분을 코드에 추가해야 하는지 보여 드립니다.
왜 알림만으로는 부족한가요?
알림은 사용량이 기록된 뒤에 지출을 임계값과 비교합니다. 에이전트 루프는 분당 수십 건의 요청을 보낼 수 있습니다. 이메일이 도착할 즈음엔 돈은 이미 나갔습니다. 알림은 최후의 안전망으로 쓰고, 확실한 중단 장치는 요청을 보내는 곳에 두세요.
LLM 비용 통제에는 어떤 계층이 있나요?
| 계층 | 통제 수단 | 막아 주는 것 | 설정 위치 |
|---|---|---|---|
| 계정 | 선불 잔액 | 충전한 금액을 넘는 지출 | 제공업체 계정 |
| 키 | 앱이나 에이전트마다 키 하나 | 유출 하나로 전부를 잃는 것 | 제공업체 포털 |
| 키 | IP 허용 목록 | 도난당한 키를 다른 곳에서 사용 | 제공업체 포털 |
| 요청 | max_tokens, reasoning_effort |
거대한 답변 하나 | 직접 작성한 코드 |
| 작업 | 단계 상한, 재시도 상한, 루프 감지 | 폭주하는 에이전트 | 직접 작성한 코드 |
| 작업 | 작업별·일별 누적 예산 | 여러 호출에 걸친 느린 누수 | 코드 또는 프록시 |
| 보고 | 토큰 기록과 알림 | 알아채기 어려운 증가 추세 | 자체 로그 |
| 가격 | 정액 플랜 또는 시간제 키 | 토큰 계량 그 자체 | 플랜 선택 |
계정 수준: 선불 잔액은 지출에 어떻게 상한을 두나요?
BroadNet Inference 종량제 키는 선불 계정 잔액에서 차감됩니다. 새 계정은 카드 없이 $5 금액의 크레딧으로 시작합니다. 종량제 허용량을 다 쓰면 요청이 401을 반환하고, 잔액으로 감당할 수 없는 구매(예: 시간제 키)는 402 insufficient_balance를 반환합니다. 둘 다 재시도할 대상이 아니라 멈추라는 신호로 다루세요. BroadNet 오류 레퍼런스는 429의 원인 중 하나로 지출 한도도 들고 있으므로, 429를 재시도하기 전에는 오류 본문을 읽으세요. 전체 오류 코드와 백오프로 429 처리하기를 참고하세요.
잔액은 바깥쪽 상한입니다. 1년 치가 아니라 이번 달에 잃어도 괜찮은 금액만큼 충전하세요. 그 금액을 정하려면 먼저 예상 트래픽을 LLM API 비용 계산기에 넣어 보세요.
키 수준: 유출된 키의 피해는 어떻게 줄이나요?
API 키는 지출 권한입니다. 키를 가진 사람은 누구든 잔액을 쓸 수 있습니다. 키마다 피해 범위를 제한하세요.
- 앱, 에이전트, 환경마다 키 하나. BroadNet은 계정당 활성 키를 최대 10개까지 허용하며, 각 키는 최대 1년간 유효합니다. 로그를 보고 어느 키가 지출했는지 알 수 있도록 이름을 붙이세요.
- 키를 서버에 잠그세요. 송신(egress) IP나 CIDR 범위를 IP 허용 목록에 최대 32개까지 추가하세요. 다른 주소에서 온 요청은 403을 받습니다.
- 빠르게 폐기하세요. 키 폐기와 허용 목록 변경은 5초 안에 새 요청에 적용됩니다.
- 포털 자격 증명은 서버에 두지 마세요. 포털 자격 증명으로는 키를 만들고 구매도 할 수 있습니다. 추론 키는 모델 호출만 할 수 있습니다.
IP 허용 목록으로 API 키 잠그기를 참고하세요.
요청 수준: 모든 답변의 크기를 어떻게 제한하나요?
모든 호출에 max_tokens를 설정하세요. 추론 모델(DeepSeek V4.1 Flash, GLM 5.3, Qwen3.8 27B)에서는 1,000 이상으로 유지하세요. 생각이 같은 예산을 공유하므로 값이 너무 낮으면 비용은 내면서 빈 답변을 받게 됩니다. 간단한 작업에는 reasoning_effort를 낮추세요. 추론 토큰의 과금 방식을 참고하세요.
작업 수준: 폭주하는 에이전트 루프는 어떻게 멈추나요?
폭주하는 루프에는 알아볼 수 있는 징후가 있습니다. 같은 도구 호출의 반복, 매 턴 커지는 컨텍스트, 제한 없이 재시도되는 오류입니다. 클라이언트를 감싸는 가드를 두세요.
import json, os, urllib.request
from openai import OpenAI
# Per-1M prices from BroadNet's machine-readable rate card
card = json.load(urllib.request.urlopen("https://inference.broadnet.ai/pricing.json"))
m = next(x for x in card["models"] if x["id"] == "broadnet/deepseek-v4.1-flash")
PRICE = {"in": m["input_per_m"], "cached": m["cached_input_per_m"], "out": m["output_per_m"]}
client = OpenAI(base_url="https://inference.broadnet.ai/v1", api_key=os.environ["BROADNET_API_KEY"], max_retries=3)
class BudgetExceeded(Exception): pass
class Guard:
def __init__(self, budget_usd, max_steps=40):
self.budget, self.max_steps, self.spent, self.steps, self.last = budget_usd, max_steps, 0.0, 0, []
def call(self, **kw):
self.steps += 1
if self.steps > self.max_steps: raise BudgetExceeded("step cap")
if self.spent >= self.budget: raise BudgetExceeded("budget")
r = client.chat.completions.create(max_tokens=kw.pop("max_tokens", 4000), **kw)
u = r.usage
cached = (u.prompt_tokens_details.cached_tokens or 0) if u.prompt_tokens_details else 0
self.spent += ((u.prompt_tokens - cached) * PRICE["in"] + cached * PRICE["cached"]
+ u.completion_tokens * PRICE["out"]) / 1e6
calls = [(t.function.name, t.function.arguments) for t in (r.choices[0].message.tool_calls or [])]
self.last = (self.last + [calls])[-3:]
if calls and len(self.last) == 3 and all(c == calls for c in self.last):
raise BudgetExceeded("same tool call three times")
return r
이 가드는 가격을 하드코딩하지 않고 요금표에서 읽으므로, 가격이 바뀌어도 정확하게 유지됩니다. call()에는 가격을 매긴 것과 같은 모델을 넘기세요. max_retries는 작게 두세요. OpenAI SDK가 이미 429와 5xx를 재시도하며, 재시도할 때마다 다시 과금됩니다.
팀 단위라면 같은 확인을 공유 프록시에서 실행해서 모든 서비스가 하나의 일일 예산을 쓰게 하세요. 재시도는 속도 제한에도 걸립니다. 키가 실제로 분당 몇 번의 호출을 허용하는지는 속도 제한 계산기에서 확인할 수 있습니다.
보고: 무엇을 기록하고 어떤 알림을 걸어야 하나요?
요청마다 다음을 기록하세요. 키 별칭, 기능 또는 에이전트 이름, 모델, prompt_tokens, prompt_tokens_details.cached_tokens, completion_tokens, 상태, X-Request-ID. 스트리밍할 때는 stream_options: {"include_usage": true}를 설정하세요. 그렇지 않으면 usage가 전혀 오지 않습니다(스트리밍 가이드).
이 로그를 바탕으로 다음 경우에 알림을 거세요.
- 키별 일일 비용이 비용 예측에서 나온 예상치를 넘을 때
- 작업당 토큰이 중앙값의 3배를 넘을 때
- 캐시 비율이 떨어질 때. 트래픽이 늘지 않아도 비용이 오릅니다.
- 429나 5xx 응답 비율이 오를 때. 재시도가 늘고 있다는 뜻입니다.
BroadNet은 프롬프트가 아니라 시간, 토큰 수, 비용 같은 콘텐츠 없는 기록만 보관하므로, 기능별 세부 정보는 자체 로그에만 남습니다. 데이터 정책이 금지한다면 프롬프트 내용은 기록하지 마세요. 사용자별·기능별 비용을 담은 사용량 로깅 구축하기를 참고하세요.
가격 수준: 정액 가격이 예산보다 나은 때는 언제인가요?
가장 확실한 비용 통제는 변하지 않는 가격입니다.
- 플랜 세션: 월 $60(Full Moon), 주 $15(Orbit), 시간당 $1(Meteor) 요금으로 DeepSeek V4.1 Flash를 무제한 사용하며, 한 번에 요청 1개를 처리합니다. 플랜 키의 요청은 잔액에서 차감되지 않습니다.
- 시간제 키: $0.50 요금으로 Gemma 4 VL 26B를 스트림 하나로 1시간 사용합니다. 서버 밖으로 나가는 키에 적합합니다. 시간제 키 설명을 참고하세요.
플랜에서는 루프가 돌아도 시간을 낭비할 뿐 돈을 낭비하지는 않습니다. 그래도 단계 상한은 두어야 합니다. 멈춘 에이전트가 다른 작업에 쓸 세션을 막기 때문입니다. 플랜이 계량 청구액보다 저렴한지는 사용량에 달려 있습니다. 정액제 vs 토큰당 과금 계산기가 자신의 토큰 구성에 맞는 손익분기점을 알려 줍니다.
토큰당 단가는 쓰는 도중에 오를 수도 있습니다. 기록으로 남은 LLM API 가격 인상 52건에서 그런 일이 얼마나 자주, 어느 제공업체에서, 얼마만큼 있었는지 볼 수 있습니다.
간단한 체크리스트
- 월 한도에 맞춘 선불 잔액.
- 앱마다 이름을 붙인 키 하나와 IP 허용 목록.
- 모든 요청에
max_tokens. - 모든 에이전트에 단계 상한, 재시도 상한, 반복 호출 감지.
- 작업별 누적 비용을 매 호출 전에 확인.
- 요청별 토큰 기록과 직접 정한 임계값의 알림.
- 사용이 계속되거나 키가 외부에 노출되는 곳에는 정액 플랜이나 시간제 키.
BroadNet Inference는 어디에 적합한가요?
BroadNet은 계정과 키 계층을 제공합니다. 선불 잔액, 분리된 키, 몇 초 안에 폐기되는 IP 허용 목록, 정액 플랜과 시간제 키입니다. 이 글에서 다룬 작업 수준 예산은 제공하지 않으며, 그것은 코드나 프록시에 두어야 합니다. 여러 제공업체에 걸쳐 팀별 예산이 필요하다면, 모든 제공업체 앞에 두는 게이트웨이가 적합한 도구입니다. 가격 보기.
