에이전트가 LLM에 보내는 내용은 대부분 매 턴 똑같습니다. 시스템 프롬프트, 도구 정의, 작업 중인 파일, 지금까지의 대화가 그렇습니다. 새로운 것은 마지막 메시지뿐입니다. 프롬프트 캐싱이 있으면 제공업체는 이 반복되는 부분에 정가를 매기지 않습니다.
캐시된 입력 토큰이란 무엇인가요?
모든 요청은 입력 토큰과 출력 토큰으로 이루어집니다. 모델은 답하기 전에 프롬프트 전체를 처리합니다. 이전 요청이 정확히 같은 토큰으로 시작했다면, 서빙 시스템은 그 처리를 다시 하지 않고 재사용할 수 있습니다. 재사용된 부분은 캐시된 입력 토큰으로 보고되고 더 낮은 단가로 과금됩니다.
이 동작 방식에서 두 가지가 나옵니다.
- 캐시되는 것은 접두부뿐입니다. 일치 여부는 첫 토큰부터 앞으로 확인하며, 처음 달라지는 지점에서 멈춥니다.
- 답변은 절대 캐시되지 않습니다. 모델은 여전히 새 출력을 생성하며, 출력은 정가로 과금됩니다.
BroadNet Inference에서 캐시된 토큰은 얼마인가요?
공개된 가격 파일 기준, 100만 토큰당 가격:
| 모델 | 새 입력 | 캐시된 입력 | 출력 |
|---|---|---|---|
| DeepSeek V4.1 Flash | $0.175 | $0.0055 | $0.52 |
| GLM 5.3 | $0.78 | $0.173 | $3.46 |
| Qwen3.8 27B | $0.175 | $0.0435 | $2.17 |
DeepSeek V4.1 Flash는 차이가 큽니다. 캐시된 토큰은 100만 토큰당 $0.0055, 새 토큰은 100만 토큰당 $0.175이니 비교해 보세요. 매 턴마다 200,000토큰 분량의 저장소를 다시 보내는 에이전트라면 청구액 대부분이 캐시 적중률로 결정됩니다.
캐싱으로 얼마나 아낄 수 있나요? 계산 예시
코딩 에이전트가 하루 근무 시간 동안 200,000토큰짜리 프롬프트를 100번 보냅니다. 하루 입력 토큰은 2,000만 개입니다.
| 캐시 적중률 | 새 입력 토큰 | 캐시된 입력 토큰 |
|---|---|---|
| 0% | 20M, 100만 토큰당 $0.175 | 0 |
| 50% | 10M, 100만 토큰당 $0.175 | 10M, 100만 토큰당 $0.0055 |
| 90% | 2M, 100만 토큰당 $0.175 | 18M, 100만 토큰당 $0.0055 |
하루 입력 요금의 공식은 new tokens (M) × input price + cached tokens (M) × cached price입니다. 적중률이 90%이면 입력 토큰 20M 중 18M이 전체 입력 단가 대신 캐시 단가로 과금되므로, 두 단가의 차이가 클수록 입력 청구액을 더 많이 줄일 수 있습니다. 출력은 그대로입니다. 프롬프트 캐싱 계산기에 자신의 수치를 넣어 보세요.
API 응답에서 캐시된 토큰은 어떻게 확인하나요?
BroadNet의 API 레퍼런스에 따르면, 모델이 보고하는 경우 usage 객체에 prompt_tokens_details.cached_tokens가 담깁니다. 캐시에서 읽어 캐시 단가로 과금된 프롬프트 토큰 수입니다. 스트리밍에서는 마지막 청크에 usage를 요청하세요.
from openai import OpenAI
import os
client = OpenAI(base_url="https://inference.broadnet.ai/v1", api_key=os.environ["BROADNET_API_KEY"])
messages = [
{"role": "system", "content": "You are a code reviewer."}, # stable prefix: keep it identical
{"role": "user", "content": "Review the diff below."},
]
stream = client.chat.completions.create(
model="broadnet/deepseek-v4.1-flash",
messages=messages,
stream=True,
stream_options={"include_usage": True},
)
for chunk in stream:
if chunk.usage:
u = chunk.usage
cached = (u.prompt_tokens_details.cached_tokens if u.prompt_tokens_details else 0) or 0
print(f"prompt={u.prompt_tokens} cached={cached} rate={cached / max(1, u.prompt_tokens):.0%}")
하루 동안 요청마다 이 비율을 기록하세요. 실제로 얼마를 내는지 알려 주는 값이며, 프롬프트 캐싱 계산기에 넣을 숫자이기도 합니다. 스트리밍 중 usage를 받는 방법은 스트리밍 가이드에 더 있습니다.
OpenAI, Anthropic, DeepSeek의 프롬프트 캐싱은 어떻게 다른가요?
캐싱은 표준화되어 있지 않습니다. 2026년 11월 14일에 확인한 각사 공식 문서의 내용:
| OpenAI | Anthropic | DeepSeek(직접 API) | |
|---|---|---|---|
| 활성화 | 지원 모델에서 기본 활성화 | cache_control 필드로 직접 활성화(자동 또는 블록 단위) |
모든 사용자에게 기본 활성화 |
| 최소 프롬프트 | GPT-5.6 이후 모델에서 1,024토큰 | 모델에 따라 512~4,096토큰 | 명시된 최솟값 없음 |
| 캐시 유지 시간 | GPT-5.6 이후 기본 30분, 12시간 옵션 있음 | 기본 5분, 추가 요금으로 1시간 | 최선 노력 방식, 사용하지 않으면 삭제, “a few hours to a few days”(번역: 몇 시간에서 며칠) |
| 쓰기 | GPT-5.6 이후 입력의 1.25배(30분) 또는 2.5배(12시간) | 5분은 입력의 1.25배, 1시간은 2배 | 쓰기 요금 언급 없음 |
| 읽기 | GPT-5.6 이후 입력의 0.1배(GPT-6.1 Sol과 Terra는 0.05배) | 대부분의 모델에서 입력의 0.1배, 일부는 더 낮음 | 별도의 “cache hit”(캐시 적중) 가격 |
| usage 필드 | 토큰 세부 정보의 cached_tokens |
cache_read_input_tokens |
prompt_cache_hit_tokens |
출처: OpenAI 프롬프트 캐싱 가이드, Anthropic 프롬프트 캐싱 문서, DeepSeek 컨텍스트 캐싱 문서. 쓰기에 추가 요금이 붙는 곳에서는, 쓰기만 하고 한 번도 읽지 않은 캐시가 캐시를 아예 쓰지 않는 것보다 비쌉니다. 캐싱은 실제로 반복하는 프롬프트에서만 이득입니다. 모델별 정가를 비교하려면 LLM API 가격표를 참고하세요.
캐시 적중률을 떨어뜨리는 것은 무엇인가요?
캐시는 정확한 접두부를 찾으므로, 프롬프트 앞부분에서 무언가가 바뀌면 그 뒤는 모두 새 입력이 됩니다. 흔한 원인은 다음과 같습니다.
- 시스템 프롬프트 맨 위 근처의 타임스탬프, 요청 ID, 사용자 이름
- 호출마다 키 순서가 다르게 직렬화되는 도구 정의나 JSON. 이렇게 되면 토큰이 달라집니다.
- 대화 이력을 뒤에 이어 붙이지 않고 다시 쓰거나 요약하는 에이전트
- 긴 휴지 시간. 그 사이에 캐시가 만료됩니다.
해결책은 계층 순서를 고정하고(시스템 프롬프트, 도구, 문서, 이력, 새 메시지) 각 계층을 호출 간에 바이트 단위까지 똑같이 유지하는 것입니다. 접두부가 캐시되도록 프롬프트를 구성하는 방법에서 이 구성을 코드로 보여 주고, 접두부가 재사용되는지 증명하는 테스트도 함께 다룹니다.
캐싱이 더는 중요하지 않은 때는 언제인가요?
정액 플랜에서는 요금이 토큰과 전혀 관계가 없습니다. Full Moon은 세션당 월 $60 요금으로 DeepSeek V4.1 Flash 모델을 무제한 사용합니다. 에이전트의 사용량이 이미 손익분기점을 넘었다면 캐시 적중률은 더 이상 비용 문제가 아닙니다. 다만 긴 프롬프트에서는 위의 습관이 속도에도 도움이 되므로, 어느 쪽이든 유지할 가치가 있습니다.
긴 컨텍스트에서는 왜 캐싱이 더 중요한가요?
DeepSeek V4.1 Flash와 GLM 5.3은 요청당 최대 1,048,576토큰을 받습니다. 토큰당 과금 키로 아주 긴 프롬프트를 감당할 수 있게 해 주는 것이 바로 캐싱입니다. 컨텍스트 윈도우에서 반복되는 큰 부분이 캐시 단가로 과금되기 때문입니다. 100만 토큰 컨텍스트 윈도우가 필요한 경우를 참고하세요.
BroadNet Inference는 어디에 적합한가요?
BroadNet은 캐시된 입력 가격이 있는 채팅 모델마다 그 가격을 공개하고, 모델이 캐시된 토큰을 보고하면 usage에 표시합니다. 따라서 결정하기 전에 자신의 적중률을 측정할 수 있습니다. 캐시 유지 시간이나 최소 프롬프트 길이는 공개하지 않으므로, 자신의 트래픽으로 직접 측정하세요. 에이전트가 하루 종일 돌아간다면 정액 플랜이 이 고민 자체를 없애 줍니다.
