BroadRouter

캐시된 입력 토큰: 프롬프트 캐싱으로 LLM API 요금 줄이기

BroadNet Inference 팀 · 5분 분량 · 게시 · 업데이트

캐시된 입력 토큰은 제공업체가 이미 처리해 재사용할 수 있는 프롬프트 토큰으로, 더 낮은 단가로 과금됩니다. BroadNet Inference에서 DeepSeek V4.1 Flash의 캐시된 입력은 100만 토큰당 $0.0055, 새 입력은 $0.175 요금입니다. 할인을 받으려면 모든 프롬프트에서 고정된 부분을 앞에 두고 호출 간에 똑같이 유지하세요.

에이전트가 LLM에 보내는 내용은 대부분 매 턴 똑같습니다. 시스템 프롬프트, 도구 정의, 작업 중인 파일, 지금까지의 대화가 그렇습니다. 새로운 것은 마지막 메시지뿐입니다. 프롬프트 캐싱이 있으면 제공업체는 이 반복되는 부분에 정가를 매기지 않습니다.

캐시된 입력 토큰이란 무엇인가요?

모든 요청은 입력 토큰과 출력 토큰으로 이루어집니다. 모델은 답하기 전에 프롬프트 전체를 처리합니다. 이전 요청이 정확히 같은 토큰으로 시작했다면, 서빙 시스템은 그 처리를 다시 하지 않고 재사용할 수 있습니다. 재사용된 부분은 캐시된 입력 토큰으로 보고되고 더 낮은 단가로 과금됩니다.

이 동작 방식에서 두 가지가 나옵니다.

  • 캐시되는 것은 접두부뿐입니다. 일치 여부는 첫 토큰부터 앞으로 확인하며, 처음 달라지는 지점에서 멈춥니다.
  • 답변은 절대 캐시되지 않습니다. 모델은 여전히 새 출력을 생성하며, 출력은 정가로 과금됩니다.

BroadNet Inference에서 캐시된 토큰은 얼마인가요?

공개된 가격 파일 기준, 100만 토큰당 가격:

모델 새 입력 캐시된 입력 출력
DeepSeek V4.1 Flash $0.175 $0.0055 $0.52
GLM 5.3 $0.78 $0.173 $3.46
Qwen3.8 27B $0.175 $0.0435 $2.17

DeepSeek V4.1 Flash는 차이가 큽니다. 캐시된 토큰은 100만 토큰당 $0.0055, 새 토큰은 100만 토큰당 $0.175이니 비교해 보세요. 매 턴마다 200,000토큰 분량의 저장소를 다시 보내는 에이전트라면 청구액 대부분이 캐시 적중률로 결정됩니다.

캐싱으로 얼마나 아낄 수 있나요? 계산 예시

코딩 에이전트가 하루 근무 시간 동안 200,000토큰짜리 프롬프트를 100번 보냅니다. 하루 입력 토큰은 2,000만 개입니다.

캐시 적중률 새 입력 토큰 캐시된 입력 토큰
0% 20M, 100만 토큰당 $0.175 0
50% 10M, 100만 토큰당 $0.175 10M, 100만 토큰당 $0.0055
90% 2M, 100만 토큰당 $0.175 18M, 100만 토큰당 $0.0055

하루 입력 요금의 공식은 new tokens (M) × input price + cached tokens (M) × cached price입니다. 적중률이 90%이면 입력 토큰 20M 중 18M이 전체 입력 단가 대신 캐시 단가로 과금되므로, 두 단가의 차이가 클수록 입력 청구액을 더 많이 줄일 수 있습니다. 출력은 그대로입니다. 프롬프트 캐싱 계산기에 자신의 수치를 넣어 보세요.

API 응답에서 캐시된 토큰은 어떻게 확인하나요?

BroadNet의 API 레퍼런스에 따르면, 모델이 보고하는 경우 usage 객체에 prompt_tokens_details.cached_tokens가 담깁니다. 캐시에서 읽어 캐시 단가로 과금된 프롬프트 토큰 수입니다. 스트리밍에서는 마지막 청크에 usage를 요청하세요.

from openai import OpenAI
import os

client = OpenAI(base_url="https://inference.broadnet.ai/v1", api_key=os.environ["BROADNET_API_KEY"])
messages = [
    {"role": "system", "content": "You are a code reviewer."},  # stable prefix: keep it identical
    {"role": "user", "content": "Review the diff below."},
]
stream = client.chat.completions.create(
    model="broadnet/deepseek-v4.1-flash",
    messages=messages,
    stream=True,
    stream_options={"include_usage": True},
)
for chunk in stream:
    if chunk.usage:
        u = chunk.usage
        cached = (u.prompt_tokens_details.cached_tokens if u.prompt_tokens_details else 0) or 0
        print(f"prompt={u.prompt_tokens} cached={cached} rate={cached / max(1, u.prompt_tokens):.0%}")

하루 동안 요청마다 이 비율을 기록하세요. 실제로 얼마를 내는지 알려 주는 값이며, 프롬프트 캐싱 계산기에 넣을 숫자이기도 합니다. 스트리밍 중 usage를 받는 방법은 스트리밍 가이드에 더 있습니다.

OpenAI, Anthropic, DeepSeek의 프롬프트 캐싱은 어떻게 다른가요?

캐싱은 표준화되어 있지 않습니다. 2026년 11월 14일에 확인한 각사 공식 문서의 내용:

OpenAI Anthropic DeepSeek(직접 API)
활성화 지원 모델에서 기본 활성화 cache_control 필드로 직접 활성화(자동 또는 블록 단위) 모든 사용자에게 기본 활성화
최소 프롬프트 GPT-5.6 이후 모델에서 1,024토큰 모델에 따라 512~4,096토큰 명시된 최솟값 없음
캐시 유지 시간 GPT-5.6 이후 기본 30분, 12시간 옵션 있음 기본 5분, 추가 요금으로 1시간 최선 노력 방식, 사용하지 않으면 삭제, “a few hours to a few days”(번역: 몇 시간에서 며칠)
쓰기 GPT-5.6 이후 입력의 1.25배(30분) 또는 2.5배(12시간) 5분은 입력의 1.25배, 1시간은 2배 쓰기 요금 언급 없음
읽기 GPT-5.6 이후 입력의 0.1배(GPT-6.1 Sol과 Terra는 0.05배) 대부분의 모델에서 입력의 0.1배, 일부는 더 낮음 별도의 “cache hit”(캐시 적중) 가격
usage 필드 토큰 세부 정보의 cached_tokens cache_read_input_tokens prompt_cache_hit_tokens

출처: OpenAI 프롬프트 캐싱 가이드, Anthropic 프롬프트 캐싱 문서, DeepSeek 컨텍스트 캐싱 문서. 쓰기에 추가 요금이 붙는 곳에서는, 쓰기만 하고 한 번도 읽지 않은 캐시가 캐시를 아예 쓰지 않는 것보다 비쌉니다. 캐싱은 실제로 반복하는 프롬프트에서만 이득입니다. 모델별 정가를 비교하려면 LLM API 가격표를 참고하세요.

캐시 적중률을 떨어뜨리는 것은 무엇인가요?

캐시는 정확한 접두부를 찾으므로, 프롬프트 앞부분에서 무언가가 바뀌면 그 뒤는 모두 새 입력이 됩니다. 흔한 원인은 다음과 같습니다.

  • 시스템 프롬프트 맨 위 근처의 타임스탬프, 요청 ID, 사용자 이름
  • 호출마다 키 순서가 다르게 직렬화되는 도구 정의나 JSON. 이렇게 되면 토큰이 달라집니다.
  • 대화 이력을 뒤에 이어 붙이지 않고 다시 쓰거나 요약하는 에이전트
  • 긴 휴지 시간. 그 사이에 캐시가 만료됩니다.

해결책은 계층 순서를 고정하고(시스템 프롬프트, 도구, 문서, 이력, 새 메시지) 각 계층을 호출 간에 바이트 단위까지 똑같이 유지하는 것입니다. 접두부가 캐시되도록 프롬프트를 구성하는 방법에서 이 구성을 코드로 보여 주고, 접두부가 재사용되는지 증명하는 테스트도 함께 다룹니다.

캐싱이 더는 중요하지 않은 때는 언제인가요?

정액 플랜에서는 요금이 토큰과 전혀 관계가 없습니다. Full Moon은 세션당 월 $60 요금으로 DeepSeek V4.1 Flash 모델을 무제한 사용합니다. 에이전트의 사용량이 이미 손익분기점을 넘었다면 캐시 적중률은 더 이상 비용 문제가 아닙니다. 다만 긴 프롬프트에서는 위의 습관이 속도에도 도움이 되므로, 어느 쪽이든 유지할 가치가 있습니다.

긴 컨텍스트에서는 왜 캐싱이 더 중요한가요?

DeepSeek V4.1 Flash와 GLM 5.3은 요청당 최대 1,048,576토큰을 받습니다. 토큰당 과금 키로 아주 긴 프롬프트를 감당할 수 있게 해 주는 것이 바로 캐싱입니다. 컨텍스트 윈도우에서 반복되는 큰 부분이 캐시 단가로 과금되기 때문입니다. 100만 토큰 컨텍스트 윈도우가 필요한 경우를 참고하세요.

BroadNet Inference는 어디에 적합한가요?

BroadNet은 캐시된 입력 가격이 있는 채팅 모델마다 그 가격을 공개하고, 모델이 캐시된 토큰을 보고하면 usage에 표시합니다. 따라서 결정하기 전에 자신의 적중률을 측정할 수 있습니다. 캐시 유지 시간이나 최소 프롬프트 길이는 공개하지 않으므로, 자신의 트래픽으로 직접 측정하세요. 에이전트가 하루 종일 돌아간다면 정액 플랜이 이 고민 자체를 없애 줍니다.

자주 묻는 질문

프롬프트 캐싱은 직접 켜야 하나요?

제공업체마다 다릅니다. OpenAI와 DeepSeek은 자동으로 캐시하고, Anthropic은 cache_control 필드가 필요합니다. BroadNet Inference에서는 usage 블록을 확인하세요. 모델이 캐시된 토큰을 보고하면 prompt_tokens_details.cached_tokens에 표시되고 캐시된 입력 단가로 과금됩니다.

프롬프트 캐싱이 제대로 동작하는지 어떻게 확인하나요?

모든 요청에서 usage를 받아 cached_tokens를 prompt_tokens로 나누세요. 길고 반복되는 프롬프트의 두 번째 호출에서 이 비율이 0에 가깝다면, 프롬프트 앞부분의 무언가가 호출마다 바뀌고 있다는 뜻입니다.

캐시 적중률이 낮은 이유는 무엇인가요?

대개 타임스탬프, 요청 ID, 순서가 바뀐 도구 목록처럼 프롬프트 앞부분의 무언가가 호출마다 바뀌기 때문입니다. 바뀌는 내용은 맨 뒤로 옮기세요.

프롬프트 캐싱과 응답 캐싱은 무엇이 다른가요?

프롬프트 캐싱은 반복되는 프롬프트 접두부에 대해 제공업체가 이미 한 처리를 재사용하는 것이며, 모델은 여전히 새 답변을 생성합니다. 응답 캐싱은 직접 구축하는 것으로, 답변 전체를 저장해 두었다가 같은 질문에는 모델을 호출하지 않고 그 답변을 돌려줍니다.

캐시된 토큰은 무료인가요?

아닙니다. 0이 아니라 더 낮은 단가로 과금됩니다. DeepSeek V4.1 Flash의 캐시된 입력은 100만 토큰당 $0.0055 요금이며, 출력은 전액 과금됩니다.

무제한 플랜에서도 캐싱이 중요한가요?

플랜 세션에는 토큰 계량이 없으므로 요금에는 영향이 없습니다. 다만 많은 서빙 시스템에서 긴 프롬프트의 첫 토큰까지 걸리는 시간을 줄여 주므로, 같은 습관이 여전히 도움이 됩니다.

Markdown으로 읽기ChatGPT에 질문하기Claude에 질문하기Perplexity에 질문하기