Context window là bộ nhớ làm việc của model cho một request. Mọi thứ model cần thấy, và mọi thứ nó viết ra, đều phải nằm gọn trong đó.
Cách hoạt động
Context window được đo bằng token. Tài liệu của Anthropic mô tả nó là “all the text a language model can reference when generating a response, including the response itself.” (Bản dịch: toàn bộ văn bản mà model ngôn ngữ có thể tham chiếu khi tạo phản hồi, bao gồm cả chính phản hồi đó). Nó gồm:
- system prompt và mọi tin nhắn, kể cả các lượt trước;
- định nghĩa tool và kết quả tool;
- tài liệu và hình ảnh;
- đầu ra, kể cả token suy luận bị ẩn.
Vì vậy đây là một ngân sách dùng chung. Với context window 1.048.576 token, một prompt 1.040.000 token chỉ còn khoảng 8.000 token cho phần suy luận và câu trả lời. Hãy đặt max_tokens với điều đó trong đầu.
Model không nhớ các request trước. Cuộc chat có vẻ liền mạch chỉ vì client gửi lại lịch sử ở mỗi lượt, nên một cuộc hội thoại dài sẽ lấp đầy context window từng bước một.
Vì sao quan trọng
- Khả năng. Context window lớn cho phép một request chứa cả một codebase, một bộ hợp đồng hay nhiều giờ bản chép lời, để model liên kết các dữ kiện với nhau.
- Chi phí. Với key tính theo token, mọi token trong context window đều bị tính phí như đầu vào. Cache giảm giá cho phần đầu lặp lại, nhưng token từ cache vẫn chiếm chỗ trong context window.
- Chất lượng. Nhiều hơn không phải lúc nào cũng tốt hơn. Anthropic gọi việc giảm độ chính xác trong prompt rất dài là “context rot” (Bản dịch: context bị thoái hóa). Hãy chọn lọc những gì bạn gửi.
- Độ trễ. Prompt dài khiến token đầu tiên xuất hiện chậm hơn.
Trên BroadNet Inference
| Model | Context window |
|---|---|
| DeepSeek V4.1 Flash | 1.048.576 token |
| GLM 5.3 | 1.048.576 token |
| Qwen3.8 27B | 262.144 token |
| BroadNet Gemma 4 VL 26B | 32.768 token |
Context window bao gồm cả prompt và câu trả lời, và BroadNet không cắt bớt context của bạn. DeepSeek V4.1 Flash, GLM 5.3 và Qwen3.8 27B suy luận trước khi trả lời, nên hãy chừa chỗ: context window đầy cộng với ngân sách đầu ra nhỏ sẽ cho ra câu trả lời rỗng. Xem vì sao model suy luận trả về câu trả lời rỗng.
Các gói không giới hạn có đủ context window 1 triệu token trên DeepSeek V4.1 Flash. Để biết khi nào nhiều context như vậy tốt hơn retrieval, hãy đọc hướng dẫn về context window 1 triệu token.
Lỗi thường gặp
- Nhầm context window với độ dài đầu ra. Giới hạn đầu ra được đặt riêng bằng
max_tokens. - Gửi lại toàn bộ lịch sử mãi mãi. Hãy tóm tắt hoặc bỏ các lượt cũ trước khi context window đầy.