BroadRouter

Token đầu vào từ cache: cách giảm hóa đơn API LLM

Đội ngũ BroadNet Inference · 5 phút đọc · Đăng ngày · Cập nhật

Token đầu vào từ cache là token prompt mà nhà cung cấp đã xử lý và có thể dùng lại, nên được tính giá thấp hơn. Trên BroadNet Inference, DeepSeek V4.1 Flash tính đầu vào từ cache $0.0055 cho 1 triệu token, so với $0.175 cho đầu vào mới. Để được giảm giá, hãy đặt phần cố định của prompt lên đầu và giữ nó giống hệt giữa các lần gọi.

Phần lớn những gì một agent gửi tới LLM đều giống nhau ở mỗi lượt: system prompt, định nghĩa công cụ, các file nó đang làm việc và cuộc hội thoại tới lúc đó. Chỉ tin nhắn cuối cùng là mới. Prompt caching nghĩa là nhà cung cấp không tính đủ giá cho phần lặp lại đó.

Token đầu vào từ cache là gì?

Mỗi request gồm token đầu vào và đầu ra. Trước khi trả lời, model phải xử lý toàn bộ prompt. Nếu một request trước đó bắt đầu bằng đúng những token y hệt, hệ thống phục vụ có thể dùng lại phần việc đó thay vì làm lại. Phần được dùng lại được báo cáo là token đầu vào từ cache và tính giá thấp hơn.

Từ cách hoạt động này suy ra hai điều:

  • Chỉ phần đầu (prefix) được cache. Việc so khớp chạy từ token đầu tiên trở đi và dừng ở chỗ khác biệt đầu tiên.
  • Câu trả lời không bao giờ được cache. Model vẫn sinh đầu ra mới, tính đủ giá đầu ra.

Token cache trên BroadNet Inference giá bao nhiêu?

Giá cho 1 triệu token, theo file giá công khai:

Model Đầu vào mới Đầu vào từ cache Đầu ra
DeepSeek V4.1 Flash $0.175 $0.0055 $0.52
GLM 5.3 $0.78 $0.173 $3.46
Qwen3.8 27B $0.175 $0.0435 $2.17

Với DeepSeek V4.1 Flash, khoảng cách rất lớn: hãy so $0.0055 cho 1 triệu token cache với $0.175 cho 1 triệu token mới. Với một agent gửi lại repository 200.000 token ở mỗi lượt, tỷ lệ cache quyết định phần lớn hóa đơn.

Cache tiết kiệm được bao nhiêu? Ví dụ tính toán

Một coding agent gửi prompt 200.000 token 100 lần trong một ngày làm việc. Tức là 20 triệu token đầu vào mỗi ngày.

Tỷ lệ cache Token đầu vào mới Token đầu vào từ cache
0% 20M, giá $0.175 cho 1 triệu 0
50% 10M, giá $0.175 cho 1 triệu 10M, giá $0.0055 cho 1 triệu
90% 2M, giá $0.175 cho 1 triệu 18M, giá $0.0055 cho 1 triệu

Công thức tính tiền đầu vào mỗi ngày là new tokens (M) × input price + cached tokens (M) × cached price. Ở mức 90%, 18M trong số 20M token đầu vào được tính theo giá cache thay vì giá đầu vào đầy đủ, nên khoảng cách giữa hai mức giá càng lớn thì bạn càng tiết kiệm được nhiều trên phần đầu vào của hóa đơn. Đầu ra không đổi. Hãy thử số liệu của bạn trong công cụ tính prompt caching.

Làm sao xem token cache trong phản hồi API?

Tài liệu tham chiếu API của BroadNet cho biết khi model có báo cáo, đối tượng usage chứa prompt_tokens_details.cached_tokens: số token prompt được đọc từ cache và tính theo giá cache. Khi dùng streaming, hãy yêu cầu usage ở chunk cuối:

from openai import OpenAI
import os

client = OpenAI(base_url="https://inference.broadnet.ai/v1", api_key=os.environ["BROADNET_API_KEY"])
messages = [
    {"role": "system", "content": "You are a code reviewer."},  # stable prefix: keep it identical
    {"role": "user", "content": "Review the diff below."},
]
stream = client.chat.completions.create(
    model="broadnet/deepseek-v4.1-flash",
    messages=messages,
    stream=True,
    stream_options={"include_usage": True},
)
for chunk in stream:
    if chunk.usage:
        u = chunk.usage
        cached = (u.prompt_tokens_details.cached_tokens if u.prompt_tokens_details else 0) or 0
        print(f"prompt={u.prompt_tokens} cached={cached} rate={cached / max(1, u.prompt_tokens):.0%}")

Hãy ghi log tỷ lệ đó cho từng request trong một ngày. Nó cho biết bạn thực sự trả bao nhiêu, và đó là con số cần nhập vào công cụ tính prompt caching. Xem thêm về usage khi streaming trong hướng dẫn streaming.

Prompt caching của OpenAI, Anthropic và DeepSeek khác nhau thế nào?

Cache chưa được chuẩn hóa. Đây là những gì tài liệu chính thức ghi khi chúng tôi truy cập ngày 14 tháng 11 năm 2026:

OpenAI Anthropic DeepSeek (API trực tiếp)
Bật Mặc định cho các model được hỗ trợ Tự bật bằng trường cache_control (tự động hoặc theo từng khối) Mặc định cho mọi người dùng
Prompt tối thiểu 1.024 token trên GPT-5.6 trở về sau 512 đến 4.096 token, tùy model Không nêu mức tối thiểu
Thời gian giữ cache Mặc định 30 phút trên GPT-5.6 trở về sau; có tùy chọn 12 giờ Mặc định 5 phút, 1 giờ nếu trả thêm Cố gắng tối đa (best effort); bị xóa khi không dùng, “a few hours to a few days” (bản dịch: từ vài giờ đến vài ngày)
Ghi cache 1,25× giá đầu vào (30 phút) hoặc 2,5× (12 giờ) trên GPT-5.6 trở về sau 1,25× giá đầu vào cho 5 phút, 2× cho 1 giờ Không nhắc tới phí ghi
Đọc cache 0,1× giá đầu vào trên GPT-5.6 trở về sau (0,05× trên GPT-6.1 Sol và Terra) 0,1× giá đầu vào trên phần lớn model, thấp hơn ở một số model Giá “cache hit” (bản dịch: trúng cache) riêng
Trường usage cached_tokens trong phần chi tiết token cache_read_input_tokens prompt_cache_hit_tokens

Nguồn: hướng dẫn prompt caching của OpenAI, tài liệu prompt caching của Anthropic và tài liệu context caching của DeepSeek. Ở những nơi ghi cache tốn thêm phí, một cache được ghi nhưng không bao giờ được đọc sẽ tốn hơn cả không dùng cache. Cache chỉ có lợi với những prompt bạn thực sự lặp lại. Để so sánh giá niêm yết theo model, xem bảng giá API LLM.

Điều gì làm giảm tỷ lệ cache?

Cache so khớp một phần đầu chính xác, nên bất cứ thứ gì thay đổi sớm trong prompt đều biến phần còn lại thành mới. Các nguyên nhân thường gặp:

  • timestamp, request ID hoặc tên người dùng ở gần đầu system prompt;
  • định nghĩa công cụ hoặc JSON được serialize với thứ tự khóa khác nhau ở mỗi lần gọi, làm thay đổi token;
  • agent viết lại hoặc tóm tắt lịch sử thay vì nối thêm vào sau;
  • khoảng nghỉ dài, sau đó cache đã hết hạn.

Cách sửa là cố định thứ tự các lớp (system prompt, công cụ, tài liệu, lịch sử, tin nhắn mới), với mỗi lớp giống hệt từng byte giữa các lần gọi. Hướng dẫn cách cấu trúc prompt để phần đầu được cache trình bày bố cục đó bằng code, kèm một bài test chứng minh phần đầu được dùng lại.

Khi nào cache không còn quan trọng?

Với gói giá cố định, hóa đơn hoàn toàn không phụ thuộc vào token. Full Moon có giá $60 mỗi tháng cho mỗi phiên, dùng DeepSeek V4.1 Flash không giới hạn. Nếu agent của bạn đã vượt điểm hòa vốn, tỷ lệ cache không còn là vấn đề chi phí. Với prompt dài, các thói quen trên vẫn giúp tăng tốc, nên đằng nào cũng đáng giữ.

Vì sao cache quan trọng hơn khi context dài?

DeepSeek V4.1 Flash và GLM 5.3 nhận tới 1.048.576 token mỗi request. Chính cache làm cho prompt rất dài trở nên vừa túi tiền trên key tính theo token, vì phần lớn, lặp lại của cửa sổ context được tính theo giá cache. Xem khi nào cửa sổ context 1 triệu token đáng dùng.

BroadNet Inference phù hợp ở đâu?

BroadNet công bố giá đầu vào từ cache cho từng model chat có hỗ trợ, và báo cáo token cache trong usage khi model có báo cáo, nên bạn đo được tỷ lệ của mình trước khi cam kết. BroadNet không công bố thời gian giữ cache hay độ dài prompt tối thiểu, nên hãy đo chúng trên traffic của chính bạn. Nếu agent chạy cả ngày, một gói giá cố định sẽ xóa hẳn câu hỏi này.

Câu hỏi thường gặp

Tôi có cần tự bật prompt caching không?

Tùy nhà cung cấp. OpenAI và DeepSeek tự động cache; Anthropic cần trường cache_control. Trên BroadNet Inference, hãy xem khối usage: khi model báo cáo token cache, chúng xuất hiện ở prompt_tokens_details.cached_tokens và được tính theo giá đầu vào từ cache.

Làm sao kiểm tra prompt caching có hoạt động không?

Hãy yêu cầu usage ở mọi request và tính cached_tokens chia cho prompt_tokens. Nếu tỷ lệ gần bằng 0 ở lần gọi thứ hai của một prompt dài lặp lại, nghĩa là có gì đó ở phần đầu prompt đang thay đổi giữa các lần gọi.

Vì sao tỷ lệ cache của tôi thấp?

Thường là vì có gì đó ở phần đầu prompt thay đổi sau mỗi lần gọi, như timestamp, request ID hoặc danh sách công cụ bị đổi thứ tự. Hãy chuyển nội dung thay đổi xuống cuối.

Prompt caching và response caching khác nhau thế nào?

Prompt caching dùng lại phần việc nhà cung cấp đã làm cho phần đầu prompt lặp lại, và model vẫn viết câu trả lời mới. Response caching là thứ bạn tự xây, lưu toàn bộ câu trả lời và trả lại chúng cho các câu hỏi giống hệt mà không gọi model.

Token cache có miễn phí không?

Không. Chúng được tính giá thấp hơn chứ không phải bằng không. Với DeepSeek V4.1 Flash, đầu vào từ cache là $0.0055 cho 1 triệu token, còn đầu ra tính đủ giá.

Cache có quan trọng với gói không giới hạn không?

Không ảnh hưởng tới hóa đơn, vì phiên của gói không đo token. Nhưng trên nhiều hệ thống phục vụ, cache vẫn rút ngắn thời gian tới token đầu tiên với prompt dài, nên các thói quen này vẫn có ích.

Đọc dạng MarkdownHỏi ChatGPTHỏi ClaudeHỏi Perplexity