에이전트가 보내는 내용은 대부분 매 턴마다 같습니다. 프롬프트 캐싱을 쓰면 제공업체가 반복되는 부분을 다시 계산하지 않아도 되고, 그만큼 더 낮은 가격으로 과금합니다.
작동 방식
모델은 프롬프트를 읽을 때 모든 토큰에 대해 내부 상태를 계산합니다. 제공업체는 이 상태를 잠시 보관할 수 있습니다. 다음 요청이 같은 토큰으로 시작하면, 제공업체는 다시 계산하는 대신 저장된 상태를 읽습니다. 이 토큰이 캐시된 입력 토큰입니다.
캐시는 프롬프트의 시작 부분부터 일치 여부를 봅니다. OpenAI 가이드에 따르면 재사용은 “requires the entire rendered prefix to match”(번역: 렌더링된 접두부 전체가 일치해야 합니다). 프롬프트 앞부분에서 글자 하나만 바뀌어도 그 뒤는 모두 새 입력이 됩니다.
세부 사항은 제공업체마다 다릅니다.
- OpenAI는 지원 모델에서 캐싱을 기본으로 켜 두고, 캐시 적중을 usage 블록에 보고합니다. 최신 모델에서는 최소 접두부 길이를 1,024 토큰으로 문서화하고 있습니다.
- Anthropic은 대부분의 모델에서 캐시 읽기를 기본 입력 가격의 0.1배로 과금하고, 캐시 쓰기에는 할증을 붙이며, 항목을 기본 5분 동안 보관합니다.
Chat Completions 형식에서는 캐시 적중이 usage.prompt_tokens_details.cached_tokens에 표시됩니다. 캐시 비율은 이 값을 prompt_tokens로 나눈 것입니다.
왜 중요한가
길고 반복되는 프롬프트에서는 캐시 비율이 요금을 결정합니다. 매 턴마다 200,000 토큰짜리 저장소를 다시 보내는 에이전트는, 접두부가 안정적으로 유지되는 한 처음 한 번만 전체 입력 가격을 내고 그 뒤로는 캐시 가격을 냅니다. 생성 시작 전에 해야 할 작업이 줄어들기 때문에, 캐싱은 긴 프롬프트에서 첫 토큰까지의 시간도 줄일 수 있습니다.
비율을 높이려면 변하지 않는 내용(시스템 프롬프트, 도구 정의, 문서)을 앞에, 바뀌는 내용을 뒤에 두세요. 타임스탬프와 요청 ID는 프롬프트 맨 앞에 두지 말고, 도구 목록은 고정된 순서로 유지하세요. 제공업체의 공개 가격 중 캐시된 입력 가격을 포함하는 비율과 일반적인 할인 폭은 LLM API 가격 지수에서 볼 수 있습니다.
BroadNet Inference에서는
BroadNet은 채팅 모델 세 개에 대해 캐시된 입력 가격을 100만 토큰 기준으로 공개합니다.
| 모델 | 새 입력 | 캐시된 입력 |
|---|---|---|
| DeepSeek V4.1 Flash | $0.175 | $0.0055 |
| GLM 5.3 | $0.78 | $0.173 |
| Qwen3.8 27B | $0.175 | $0.0435 |
캐시된 토큰은 자동으로 더 낮은 가격으로 과금되며, 모델이 보고하는 경우 prompt_tokens_details.cached_tokens에 표시됩니다. 스트림에서는 스트리밍 가이드에 나온 대로 stream_options로 사용량을 요청하세요.
정액 플랜에는 토큰 미터가 없으므로 캐시 비율이 요금에 영향을 주지 않습니다. 캐시 비율을 기록하는 코드가 포함된 전체 설명은 캐시된 입력 토큰 설명에 있습니다.