BroadRouter
Bắt đầu

KV cache (bộ nhớ đệm key-value)

Cập nhật

KV cache là vùng bộ nhớ nơi model transformer lưu key và value attention đã tính cho mọi token đã xử lý, để mỗi token mới dùng lại thay vì tính lại cả chuỗi. Nó lớn dần theo độ dài context và thường giới hạn số request một GPU phục vụ được.

Còn gọi là: KV cache là gì, bộ nhớ đệm key-value, cache attention, bộ nhớ KV, key-value cache, KV cache, past_key_values, attention cache, KV memory

Mỗi lần model viết một token, nó nhìn lại mọi token phía trước. KV cache là thứ làm cho việc nhìn lại đó trở nên rẻ.

Cách hoạt động

Attention so sánh query của token hiện tại với một key và một value của mỗi token trước đó. Không có cache, model sẽ phải tính lại mọi key và value trước đó ở mỗi bước. Hướng dẫn về cache của Hugging Face tóm tắt sự đánh đổi: có cache, “attention cost per step is linear with sequence length” (Bản dịch: chi phí attention mỗi bước tăng tuyến tính theo độ dài chuỗi), còn bộ nhớ “grows linearly” (Bản dịch: tăng tuyến tính).

Vì thế inference có hai giai đoạn:

  1. Prefill. Model đọc toàn bộ prompt và lấp đầy cache. Đây là phần lớn của time to first token.
  2. Decode. Mỗi token mới thêm một key và một value cho mỗi layer, rồi đọc toàn bộ cache.

Kích thước cache mỗi token xấp xỉ 2 × layers × KV heads × head size × bytes per number. Những người thiết kế model tìm cách giảm mọi thừa số. Model card của DeepSeek V4.1 Flash báo cáo KV cache toàn cục là 890 byte mỗi token, dùng lưu trữ FP4. Ở context đầy đủ 1,048,576 token, con số này là 890 × 1,048,576 = 933,232,640 byte, khoảng 890 MiB cho một request.

Vì sao quan trọng

  • Đồng thời và giá. Bài báo PagedAttention nói việc phục vụ nhiều request cùng lúc bị giới hạn vì bộ nhớ KV cache “is huge and grows and shrinks dynamically” (Bản dịch: rất lớn và tăng giảm liên tục). vLLM phân trang bộ nhớ đó giống như hệ điều hành và báo cáo throughput cao hơn 2 đến 4 lần ở cùng độ trễ.
  • Context dài không miễn phí. Nhà cung cấp phải giữ cache cho toàn bộ prompt của bạn trong khi sinh. Đó là một lý do khiến request context dài bắt đầu chậm hơn.
  • Prompt caching được xây trên nó. Giữ trạng thái KV của một prefix sau khi request kết thúc chính là thứ nhà cung cấp tính tiền dưới dạng token đầu vào đã cache. Prefix ổn định thì trúng cache thường xuyên hơn; xem cấu trúc prompt để tận dụng cache.
  • Lượng tử hóa cũng áp dụng ở đây. Lưu key và value bằng ít bit hơn giúp cache nhỏ lại, đổi lại có chút rủi ro về chất lượng.

Trên BroadNet Inference

BroadNet không công bố cách họ quản lý bộ nhớ KV cache. Điều tài liệu tham chiếu API có ghi là tác động nhìn thấy được: usage.prompt_tokens_details.cached_tokens cho biết số token prompt được đọc từ cache, tính theo giá đầu vào đã cache, ví dụ $0.0055 mỗi 1 triệu token trên DeepSeek V4.1 Flash so với $0.175 cho đầu vào mới. Model đó và GLM 5.3 nhận tối đa 1,048,576 token mỗi request.

Lỗi thường gặp

  • Coi độ dài context chỉ là chuyện giá cả. Cache lớn hơn cũng có nghĩa là prefill chậm hơn.
  • Sắp xếp lại system prompt ở mỗi lượt. Prefix đã cache không còn khớp, nên nhà cung cấp phải tính lại.

Câu hỏi thường gặp

KV cache có giống prompt caching không?

Không hẳn. KV cache tồn tại bên trong một request trong lúc model sinh. Prompt caching giữ trạng thái đó sau khi request kết thúc để request sau có cùng prefix dùng lại, và nhà cung cấp tính các token đó là đầu vào đã cache.

Vì sao prompt dài tốn nhiều bộ nhớ GPU như vậy?

Mỗi token trong context thêm key và value của nó vào cache, ở mọi layer. Một prompt một triệu token giữ trạng thái attention của một triệu token trong bộ nhớ cho tới khi trả lời xong.

KV cache lớn cỡ nào?

Khoảng 2 × số layer × số KV head × kích thước head × số byte mỗi số, cho mỗi token trong context. Model card của DeepSeek báo cáo 890 byte mỗi token cho DeepSeek V4.1 Flash, khoảng 890 MiB ở context đầy đủ 1,048,576 token.

Đọc dạng MarkdownHỏi ChatGPTHỏi ClaudeHỏi Perplexity