BroadRouter

Token đầu vào từ cache (cached input tokens)

Cập nhật

Token đầu vào từ cache là token prompt mà nhà cung cấp LLM vừa xử lý gần đây và có thể dùng lại từ cache thay vì tính toán lại, thường là phần đầu lặp lại như system prompt hoặc tài liệu. Nhà cung cấp tính giá chúng thấp hơn token đầu vào mới.

Còn gọi là: token cache, đầu vào từ cache, giá cache, cache prompt, prompt caching, cache hits, cached tokens, context caching, cache read tokens

Phần lớn những gì một agent gửi đi đều giống nhau ở mọi lượt. Prompt caching cho phép nhà cung cấp bỏ qua việc tính toán lại phần lặp lại đó và tính phí thấp hơn.

Cách hoạt động

Khi đọc prompt, model tính toán trạng thái nội bộ cho từng token. Nhà cung cấp có thể giữ trạng thái đó trong một thời gian ngắn. Nếu request tiếp theo bắt đầu bằng đúng những token đó, nhà cung cấp đọc trạng thái đã lưu thay vì tính lại. Những token đó là token đầu vào từ cache.

Cache khớp từ đầu prompt. Hướng dẫn của OpenAI nói việc dùng lại “requires the entire rendered prefix to match.” (Bản dịch: đòi hỏi toàn bộ phần đầu đã render phải khớp). Chỉ một ký tự thay đổi ở đầu prompt cũng khiến mọi thứ phía sau thành đầu vào mới.

Chi tiết khác nhau giữa các nhà cung cấp:

  • OpenAI bật cache mặc định trên các model được hỗ trợ và báo số lần trúng cache trong khối usage. OpenAI ghi rõ phần đầu tối thiểu 1.024 token trên các model mới hơn của họ.
  • Anthropic tính phí đọc cache bằng 0,1 lần giá đầu vào cơ bản với hầu hết model, tính phí ghi cache cao hơn giá thường, và mặc định giữ mục cache trong 5 phút.

Ở định dạng Chat Completions, số token trúng cache xuất hiện tại usage.prompt_tokens_details.cached_tokens. Tỷ lệ cache là con số đó chia cho prompt_tokens.

Vì sao quan trọng

Với prompt dài và lặp lại, tỷ lệ cache quyết định hóa đơn. Một agent gửi lại repository 200.000 token ở mỗi lượt chỉ trả giá đầu vào đầy đủ một lần và giá cache từ đó về sau, miễn là phần đầu giữ ổn định. Cache cũng có thể rút ngắn thời gian đến token đầu tiên với prompt dài, vì có ít việc phải làm hơn trước khi bắt đầu sinh văn bản.

Để tăng tỷ lệ cache, hãy đặt nội dung ổn định lên trước (system prompt, định nghĩa tool, tài liệu) và nội dung thay đổi ở cuối. Đừng để timestamp và request ID ở đầu prompt, và giữ danh sách tool theo thứ tự cố định. Tỷ lệ nhà cung cấp có công bố giá đầu vào từ cache trong bảng giá, và mức giảm điển hình, có trong chỉ số giá API LLM.

Trên BroadNet Inference

BroadNet công bố giá đầu vào từ cache cho ba model chat, tính trên 1 triệu token:

Model Đầu vào mới Đầu vào từ cache
DeepSeek V4.1 Flash $0.175 $0.0055
GLM 5.3 $0.78 $0.173
Qwen3.8 27B $0.175 $0.0435

Token từ cache được tự động tính theo giá thấp hơn, và prompt_tokens_details.cached_tokens hiển thị chúng khi model có báo cáo. Khi dùng stream, hãy yêu cầu usage bằng stream_options như trong hướng dẫn streaming.

Với gói giá cố định thì không có đồng hồ đo token, nên tỷ lệ cache không làm thay đổi hóa đơn. Hướng dẫn đầy đủ, kèm code để ghi log tỷ lệ cache của bạn, có trong giải thích token đầu vào từ cache.

Câu hỏi thường gặp

Token từ cache có còn tính vào context window không?

Có. Cache thay đổi số tiền bạn trả cho các token đó, không thay đổi việc chúng có được tính hay không. Tài liệu của Anthropic nói rõ điều này.

Cache tồn tại trong bao lâu?

Tùy nhà cung cấp. Thời gian sống mặc định của Anthropic là 5 phút, được làm mới mỗi lần cache được dùng, và có tùy chọn 1 giờ. Các nhà cung cấp khác không phải lúc nào cũng công bố thời gian cố định, nên hãy tự đo tỷ lệ trúng cache.

Cache có làm thay đổi câu trả lời không?

Không. Cache lưu phần xử lý đã làm trên prompt, không lưu câu trả lời. Model vẫn sinh ra một câu trả lời mới.

Đọc dạng MarkdownHỏi ChatGPTHỏi ClaudeHỏi Perplexity