똑같은 LLM 요청을 두 번 보내면 두 번 비용을 냅니다. 응답 캐시는 처음 받은 답변을 저장해 두었다가 다음에는 그 답변을 돌려주므로, 과금되는 토큰도 기다리는 시간도 없습니다. 아이디어는 간단합니다. 어려운 부분은 두 요청이 “똑같다”는 기준을 정하는 것, 저장된 답변으로 절대 응답하면 안 되는 요청을 가려내는 것, 그리고 트래픽이 의미 있을 만큼 반복되는지 판단하는 것입니다.
이 글에서는 SQLite 기반의 작은 정확 일치 캐시를 Python으로 만들어 모의 OpenAI 호환 서버로 테스트하고, 한 줄도 작성하기 전에 로그에서 적중률을 측정하는 방법을 보여 드립니다.
응답 캐싱은 프롬프트 캐싱과 같은 건가요?
아닙니다. 아끼는 대상이 다르며, 둘 다 함께 쓸 수 있습니다.
| 프롬프트 캐싱(제공업체) | 응답 캐싱(직접 구현) | |
|---|---|---|
| 재사용하는 것 | 프롬프트의 반복되는 시작 부분 | 답변 전체 |
| 실행 주체 | API 제공업체 | 직접 작성한 코드 |
| 모델이 여전히 실행되나? | 예, 새 답변을 씀 | 아니요 |
| 아끼는 것 | 입력 비용의 일부 | 입력, 출력, 추론 토큰과 지연 시간 |
| 적중 조건 | 접두부 공유, 질문은 다름 | 완전히 똑같은 요청 |
제공업체 쪽은 캐시된 입력 토큰에서, 접두부가 재사용되도록 프롬프트를 배치하는 방법은 캐싱을 위한 프롬프트 구성에서 설명합니다. 비용은 프롬프트 캐싱 계산기로 계산할 수 있습니다. 응답 캐시는 그 모든 것의 앞단에 놓입니다. 적중하면 요청이 서버 밖으로 나가지 않습니다.
캐시가 실제로 비용을 줄여 줄까요?
만들기 전에 측정하세요. 많은 캐싱 튜토리얼에 나오는 절감 비율은 다른 사람의 트래픽에서 나온 것입니다. 내 수치는 한 가지에 달려 있습니다. 만료 기간 안에 같은 요청이 얼마나 자주 다시 들어오느냐입니다.
LLM API 사용량 로깅처럼 이미 호출마다 기록하고 있다면 필드 하나를 추가하세요. 아래에서 설명할 캐시 키인 request_hash입니다. 프롬프트 텍스트를 담지 않으므로 콘텐츠를 남기지 않는 로그에도 맞습니다. 그다음 반복을 세세요.
import json
from collections import Counter
def potential_hit_rate(log_path: str) -> float:
"""Share of calls whose request_hash was already seen: an upper bound for an exact cache."""
hashes = [json.loads(line)["request_hash"] for line in open(log_path)]
seen, repeats = set(), 0
for h in hashes:
repeats += h in seen
seen.add(h)
print("top repeated requests:", Counter(hashes).most_common(3))
return repeats / len(hashes) if hashes else 0.0
print(f"potential hit rate: {potential_hit_rate('calls.jsonl'):.1%}")
호출 20건(요청 하나가 5번, 다른 하나가 3번, 나머지 12건은 고유)으로 만든 합성 로그에서 잠재 적중률은 30.0%로 출력되었습니다. 이는 상한입니다. 만료를 무시하고, 모든 반복이 저장된 답변으로 응답해도 안전하다고 가정하기 때문입니다.
그다음 비율을 금액으로 바꾸세요.
monthly saving = hit rate × requests per month
× (input tokens × input price + output tokens × output price) ÷ 1,000,000
출력 토큰에는 추론이 포함됩니다. BroadNet 문서에 따르면 DeepSeek V4.1 Flash, GLM 5.3, Qwen3.8 27B는 답하기 전에 추론하며 추론은 max_tokens에 포함되므로, 적중하면 답변에는 보이지 않는 토큰까지 아끼게 됩니다. 답변 길이가 아니라 기록된 usage의 completion_tokens를 쓰세요.
토큰으로 계산한 예시입니다. 요청당 입력 1,200토큰, 출력 150토큰짜리 요청이 월 100,000건이고 적중률이 30%라면, 입력 토큰 3,600만 개와 출력 토큰 450만 개를 피할 수 있습니다. DeepSeek V4.1 Flash에서는 각각 100만 토큰당 $0.175, $0.52 요금으로 과금되는 분량입니다. 자신의 수치는 LLM API 비용 계산기에 넣어 보세요. 그 입력의 대부분이 이미 제공업체 캐시에서 적중하고 있었다면 입력 절감액은 더 낮은 캐시 단가(같은 모델에서 100만 토큰당 $0.0055 요금) 기준이므로, 중요한 것은 대개 출력 쪽입니다.
캐시 키에는 무엇을 넣나요?
답변을 바꿀 수 있는 모든 것, 그리고 그 밖의 것은 넣지 않습니다.
- 넣을 것:
model, 전체messages목록(시스템 프롬프트 포함),temperature,top_p,max_tokens,seed,response_format,tools,tool_choice,reasoning_effort. - 직접 관리하는 프롬프트 버전을 추가하세요. 예:
faq-v3. 요청 본문에 드러나지 않는 프롬프트 템플릿, 검색 데이터, 후처리를 바꿀 때 올리세요. - 뺄 것: 답변은 바꾸지 않으면서 호출마다 달라지는 모든 것. 요청 ID, 타임스탬프, 추적 헤더, 남용 추적용으로만 보내는
user필드.
키 재료는 매번 같은 방식으로 직렬화하세요. Python의 json.dumps에 sort_keys=True와 separators=(",", ":")를 주면 딕셔너리 순서와 상관없이 하나의 정규 문자열이 나오고, ensure_ascii=False를 주면 아랍어 등 비라틴 문자가 이스케이프 대신 UTF-8로 유지됩니다. 이를 SHA-256으로 해시하세요.
필드 누락은 위험한 실수입니다. max_tokens가 키에 없으면, 작은 한도에서 잘린 답변이 긴 답변을 허용한 요청에 그대로 나갑니다.
캐시: SQLite, TTL, 건너뛰기 정책
import hashlib, json, sqlite3, time
# Every field that changes the answer belongs in the key.
KEY_FIELDS = ("model", "messages", "temperature", "top_p", "max_tokens", "seed",
"response_format", "tools", "tool_choice", "reasoning_effort")
def cache_key(params: dict, prompt_version: str) -> str:
material = {k: params[k] for k in KEY_FIELDS if k in params}
material["prompt_version"] = prompt_version
canon = json.dumps(material, sort_keys=True, separators=(",", ":"), ensure_ascii=False)
return hashlib.sha256(canon.encode("utf-8")).hexdigest()
class ResponseCache:
def __init__(self, path="llm_cache.sqlite", ttl_s=7 * 86400):
self.db, self.ttl = sqlite3.connect(path), ttl_s
self.db.execute("CREATE TABLE IF NOT EXISTS cache (k TEXT PRIMARY KEY, created REAL,"
" body TEXT, prompt_tokens INT, completion_tokens INT)")
self.hits = self.misses = self.skips = self.saved_in = self.saved_out = 0
def create(self, client, prompt_version: str, **params):
if params.get("stream") or params.get("temperature", 1) > 0:
self.skips += 1 # not cacheable: call the model directly
return client.chat.completions.create(**params)
k = cache_key(params, prompt_version)
row = self.db.execute("SELECT body, created, prompt_tokens, completion_tokens"
" FROM cache WHERE k = ?", (k,)).fetchone()
if row and time.time() - row[1] < self.ttl:
self.hits += 1; self.saved_in += row[2]; self.saved_out += row[3]
return json.loads(row[0]) # a plain dict, not an SDK object
self.misses += 1
r = client.chat.completions.create(**params)
choice = r.choices[0]
if choice.finish_reason == "stop" and not choice.message.tool_calls:
self.db.execute("INSERT OR REPLACE INTO cache VALUES (?, ?, ?, ?, ?)",
(k, time.time(), r.model_dump_json(),
r.usage.prompt_tokens, r.usage.completion_tokens))
self.db.commit()
return r.model_dump()
그리고 이를 실행한 예입니다.
import os
from openai import OpenAI
client = OpenAI(base_url="https://inference.broadnet.ai/v1", api_key=os.environ["BROADNET_API_KEY"])
cache = ResponseCache("demo.sqlite", ttl_s=86400)
SYSTEM = {"role": "system", "content": "Answer questions about our refund policy in one sentence."}
questions = ["How long do refunds take?", "Can I refund a gift card?",
"How long do refunds take?", "How long do refunds take?", "Can I refund a gift card?"]
for q in questions:
r = cache.create(client, "faq-v3", model="broadnet/deepseek-v4.1-flash", temperature=0,
max_tokens=1200, messages=[SYSTEM, {"role": "user", "content": q}])
print(r["choices"][0]["message"]["content"])
# a personalised, sampled request is never cached
cache.create(client, "faq-v3", model="broadnet/deepseek-v4.1-flash", temperature=0.7,
messages=[SYSTEM, {"role": "user", "content": "Write me a friendly reminder"}])
# a new prompt version is a new key
cache.create(client, "faq-v4", model="broadnet/deepseek-v4.1-flash", temperature=0,
max_tokens=1200, messages=[SYSTEM, {"role": "user", "content": "How long do refunds take?"}])
print(f"hits={cache.hits} misses={cache.misses} skipped={cache.skips} "
f"saved_input={cache.saved_in} saved_output={cache.saved_out}")
OpenAI Python SDK 3.51.0으로, 업스트림 호출 수를 세고 답변마다 프롬프트 1,200토큰과 completion 150토큰을 보고하는 로컬 모의 서버에 대해 실행했습니다(실제 API 호출 없음). 요청 7건에서 업스트림 호출은 4번이었습니다. 스크립트는 hits=3 misses=3 skipped=1 saved_input=3600 saved_output=450을 출력했습니다. 같은 데이터베이스 파일로 다시 실행하자 캐시 가능한 요청 6건이 모두 적중했습니다(hits=6 misses=0). SQLite는 재시작해도 캐시를 유지합니다. 같은 필드를 다른 순서로 만든 키도 일치했습니다.
코드에 대한 참고 사항:
- **
max_tokens=1200**은 답변 전에 추론할 여유를 남깁니다. 한도가 작으면 추론 모델이 빈 답변을 돌려줄 수 있습니다(이유). 이런 답변은finish_reason이stop이 아니라length이므로 저장되지 않습니다. - 적중 시 dict를 반환합니다. 빗나갈 때도
model_dump()를 반환하므로 호출하는 쪽은 한 가지 형태만 봅니다. 코드가 SDK 객체를 기대한다면 둘 다 감싸세요. temperature가 없으면 샘플링으로 간주합니다. 그러면 서버가 자체 기본값을 적용하는데, 0보다 클 수 있으므로 명시적으로 0을 지정하지 않는 한 래퍼는 캐싱을 건너뜁니다.- SQLite는 프로세스 하나 또는 몇 개에 적합합니다. 서버가 여러 대라면 같은 키와 TTL 로직을 Redis나 데이터베이스에 두세요.
캐시로 절대 응답하면 안 되는 것은 무엇인가요?
- 샘플링된 답변(temperature 0 초과). 다양성을 선택한 것입니다. 캐싱하면 그 다양성이 사라지고, “다시 생성”을 누른 사용자가 같은 텍스트를 받습니다.
- 개인화된 답변. 사용자 ID가 키에 들어 있지 않다면 안 됩니다. “내 계정 요약해 줘”를 보낸 두 사용자는 계정이 다릅니다. 더 나은 방법은 메시지에 사용자별 데이터가 없는 요청만 캐시하는 것입니다.
- 도구 호출. 도구 호출은 행동하라는 지시입니다. 저장된 “주문 1182 환불”을 재생하면 부수 효과가 반복될 수 있고, 올바른 다음 단계는 현재 상태에 달려 있습니다. 래퍼는
tool_calls가 있는 답변은 저장하지 않습니다. - 스트리밍 답변. 래퍼는
stream=True일 때 캐시를 우회합니다. 스트림을 캐시하려면 버퍼에 담고, 끝났는지 확인하고, 재생해야 하는데, 채팅 UI에서는 그럴 가치가 거의 없습니다. - 잘렸거나 실패한 답변.
finish_reason == "stop"인 것만 저장하세요. 잘린 답변이나 오류가 1주일간 캐시되면 모델 문제처럼 보이는 버그가 됩니다. - 시간에 따라 달라지는 답변. “오늘 환율이 얼마인가요?”에는 짧은 TTL을 쓰거나 캐시하지 마세요.
캐시가 잘 맞는 것: 고정된 입력 집합의 분류, 다시 처리하는 문서에서의 추출, 고정된 프롬프트로 만든 FAQ 답변, 다시 돌리는 테스트 스위트와 평가, 같은 요청을 반복해서 보내는 개발 루프.
캐시된 답변은 언제 만료되어야 하나요?
세 가지 무효화 방식을 쓰세요.
- TTL. 항목별 시간 제한입니다. 안정적인 FAQ 답변은 며칠, 실시간 데이터를 읽는 것은 몇 분.
- 키에 넣은 버전. 시스템 프롬프트, 검색 인덱스, 출력 스키마가 바뀌면 프롬프트 버전을 바꾸세요. 이전 항목은 더 이상 일치하지 않고 만료됩니다.
- 키에 넣은 모델. 이미 들어 있으므로, 다른 모델로 옮기면 새 캐시가 시작됩니다. 모델 전환을 평가하는 동안에는 바로 이렇게 되어야 합니다.
만료된 행은 정해진 주기로 삭제하세요(DELETE FROM cache WHERE created < ?). 그렇지 않으면 파일이 계속 커지기만 합니다.
부수적인 이점도 있습니다. 서빙 엔진은 같은 입력에 같은 출력을 약속하지 않습니다. vLLM 문서는 “does not guarantee the reproducibility of the results by default”(번역: 기본적으로 결과의 재현성을 보장하지 않음)라고 밝힙니다. 캐시는 항목이 유효한 동안 같은 질문에 모든 사용자에게 같은 답을 줍니다.
시맨틱 캐싱은 어떤가요?
시맨틱 캐시는 질문마다 임베딩을 만들고, 새 질문이 충분히 가까우면 저장된 답변을 돌려줍니다. 그래서 “환불은 얼마나 걸려?”가 “환불 처리 기간이 어떻게 되나요?”에 적중할 수 있습니다. GPTCache가 가장 잘 알려진 오픈소스 예입니다. README에 따르면 유사도 검색에 벡터 저장소를, 적중 판단에 유사도 평가기를 쓰며, “you may encounter false positives during cache hits and false negatives during cache misses”(번역: 캐시 적중 시 거짓 양성, 캐시 미스 시 거짓 음성이 발생할 수 있음)라고 경고하고, 임베딩을 끄면 키워드 일치 캐시가 된다고 설명합니다.
실무적인 점 두 가지. 첫째, 임베딩 모델과 벡터 저장소가 필요합니다. BroadNet Inference는 임베딩을 제공하지 않으므로, 그 계층에는 다른 제공업체나 로컬 모델을 써야 합니다. 선택지별 비용은 임베딩 비용 계산기로 계산할 수 있습니다. 둘째, 잘못된 적중은 다른 질문에 대한 답을 자신 있게 돌려줍니다. 엄격한 유사도 임계값을 쓰고, 실제로 비슷하지만 다른 질문 쌍으로 테스트하고, 시맨틱 캐싱은 중요도가 낮은 답변에만 쓰세요. 어느 경우든 정확 일치 캐시를 앞에 두세요. 확인 비용이 들지 않고, 무엇을 물었는지에 대해서는 절대 틀리지 않습니다.
캐시는 개인정보 측면에서 무엇을 의미하나요?
캐시는 프롬프트와 답변의 저장소입니다. 데이터가 머무는 위치가 바뀝니다.
2026-11-15에 확인한 BroadNet 추론 개인정보 처리 방침에 따르면, 게이트웨이는 프롬프트, 메시지, 응답, 전사본을 보관하지 않고, 콘텐츠 없는 트래픽·사용량 기록(토큰 수, 비용, 시간)은 보관합니다. 추론 콘텐츠는 보관되지 않습니다. 필요한 계정·결제·보안 메타데이터는 방침에 설명된 대로 보관됩니다. 응답 캐시를 추가하면, 제공업체가 보관하지 않는 콘텐츠를 내 시스템이 보관하게 됩니다. 다른 사용자 데이터 저장소와 똑같이 다루세요.
- 가능하면 개인 데이터가 없는 요청만 캐시하세요. 적중률도 올라갑니다.
- 보관 정책에 맞을 만큼 짧은 TTL을 정하고, 정해진 주기로 삭제하세요.
- 파일이나 테이블을 저장 시 암호화하고, 읽을 수 있는 사람을 제한하세요.
- 캐시에 사용자 텍스트가 들어갈 수 있다면 데이터 삭제 요청 대상에 캐시도 포함하세요.
체크리스트의 나머지는 LLM API에 민감한 데이터 보내기에서 다룹니다.
캐싱은 다른 비용 통제 수단과 어떻게 어울리나요?
캐싱은 반복되는 호출을 없앱니다. 고유한 호출에는 아무 효과가 없으므로, 다른 통제 수단을 대체하지 않고 그 옆에 놓입니다. 더 짧은 프롬프트, 제공업체 프롬프트 캐싱, 요청별 max_tokens 상한, 그리고 LLM API 비용 통제의 예산과 루프 한도입니다. 일회성 대규모 작업이라면 보내기 전에 입력의 중복을 제거하세요. 캐시와 같은 아이디어를 한 번에 적용하는 것입니다. 작업 쪽은 Batch API 없이 대규모 작업 처리하기에서 보여 드립니다.
정액 플랜에서는 계산이 달라집니다. BroadNet의 DeepSeek 세션에는 토큰 계량이 없으므로 캐시가 적중해도 돈은 아끼지 못합니다. 그래도 시간은 아낍니다. 세션은 한 번에 요청 1개를 처리하므로, 건너뛴 반복 하나하나가 새 작업을 위해 세션을 비워 줍니다.
BroadNet Inference는 어디에 적합한가요?
BroadRouter는 BroadNet의 사이트입니다. BroadNet Inference는 DeepSeek V4.1 Flash, GLM 5.3, Qwen3.8 27B, Gemma 4 VL 26B를 OpenAI 호환 /v1/chat/completions 엔드포인트로 제공하므로, 위의 래퍼는 base URL만 바꾸면 OpenAI Python SDK와 함께 동작합니다. 자체 응답 캐싱 기능은 없으며, 이 글의 캐시는 직접 운영하는 것입니다. API 레퍼런스에 따르면 제공업체 쪽 캐시 적중은 usage.prompt_tokens_details.cached_tokens에 보고되고 캐시된 입력 단가로 과금됩니다. 모델별 가격은 가격 페이지에 있습니다.
