Mỗi lần model viết một token, nó nhìn lại mọi token phía trước. KV cache là thứ làm cho việc nhìn lại đó trở nên rẻ.
Cách hoạt động
Attention so sánh query của token hiện tại với một key và một value của mỗi token trước đó. Không có cache, model sẽ phải tính lại mọi key và value trước đó ở mỗi bước. Hướng dẫn về cache của Hugging Face tóm tắt sự đánh đổi: có cache, “attention cost per step is linear with sequence length” (Bản dịch: chi phí attention mỗi bước tăng tuyến tính theo độ dài chuỗi), còn bộ nhớ “grows linearly” (Bản dịch: tăng tuyến tính).
Vì thế inference có hai giai đoạn:
- Prefill. Model đọc toàn bộ prompt và lấp đầy cache. Đây là phần lớn của time to first token.
- Decode. Mỗi token mới thêm một key và một value cho mỗi layer, rồi đọc toàn bộ cache.
Kích thước cache mỗi token xấp xỉ 2 × layers × KV heads × head size × bytes per number. Những người thiết kế model tìm cách giảm mọi thừa số. Model card của DeepSeek V4.1 Flash báo cáo KV cache toàn cục là 890 byte mỗi token, dùng lưu trữ FP4. Ở context đầy đủ 1,048,576 token, con số này là 890 × 1,048,576 = 933,232,640 byte, khoảng 890 MiB cho một request.
Vì sao quan trọng
- Đồng thời và giá. Bài báo PagedAttention nói việc phục vụ nhiều request cùng lúc bị giới hạn vì bộ nhớ KV cache “is huge and grows and shrinks dynamically” (Bản dịch: rất lớn và tăng giảm liên tục). vLLM phân trang bộ nhớ đó giống như hệ điều hành và báo cáo throughput cao hơn 2 đến 4 lần ở cùng độ trễ.
- Context dài không miễn phí. Nhà cung cấp phải giữ cache cho toàn bộ prompt của bạn trong khi sinh. Đó là một lý do khiến request context dài bắt đầu chậm hơn.
- Prompt caching được xây trên nó. Giữ trạng thái KV của một prefix sau khi request kết thúc chính là thứ nhà cung cấp tính tiền dưới dạng token đầu vào đã cache. Prefix ổn định thì trúng cache thường xuyên hơn; xem cấu trúc prompt để tận dụng cache.
- Lượng tử hóa cũng áp dụng ở đây. Lưu key và value bằng ít bit hơn giúp cache nhỏ lại, đổi lại có chút rủi ro về chất lượng.
Trên BroadNet Inference
BroadNet không công bố cách họ quản lý bộ nhớ KV cache. Điều tài liệu tham chiếu API có ghi là tác động nhìn thấy được: usage.prompt_tokens_details.cached_tokens cho biết số token prompt được đọc từ cache, tính theo giá đầu vào đã cache, ví dụ $0.0055 mỗi 1 triệu token trên DeepSeek V4.1 Flash so với $0.175 cho đầu vào mới. Model đó và GLM 5.3 nhận tối đa 1,048,576 token mỗi request.
Lỗi thường gặp
- Coi độ dài context chỉ là chuyện giá cả. Cache lớn hơn cũng có nghĩa là prefill chậm hơn.
- Sắp xếp lại system prompt ở mỗi lượt. Prefix đã cache không còn khớp, nên nhà cung cấp phải tính lại.