BroadRouter
Bắt đầu

Context window (cửa sổ ngữ cảnh)

Cập nhật

Context window là số token tối đa mà model ngôn ngữ xử lý được trong một request. Nó bao gồm prompt, lịch sử hội thoại, định nghĩa tool, hình ảnh và đầu ra được sinh ra, kể cả token suy luận. Phần không vừa phải được cắt bớt, tóm tắt hoặc chia ra nhiều request.

Còn gọi là: cửa sổ ngữ cảnh, độ dài context, giới hạn context, context window là gì, context length, context size, token limit, context limit

Context window là bộ nhớ làm việc của model cho một request. Mọi thứ model cần thấy, và mọi thứ nó viết ra, đều phải nằm gọn trong đó.

Cách hoạt động

Context window được đo bằng token. Tài liệu của Anthropic mô tả nó là “all the text a language model can reference when generating a response, including the response itself.” (Bản dịch: toàn bộ văn bản mà model ngôn ngữ có thể tham chiếu khi tạo phản hồi, bao gồm cả chính phản hồi đó). Nó gồm:

  • system prompt và mọi tin nhắn, kể cả các lượt trước;
  • định nghĩa tool và kết quả tool;
  • tài liệu và hình ảnh;
  • đầu ra, kể cả token suy luận bị ẩn.

Vì vậy đây là một ngân sách dùng chung. Với context window 1.048.576 token, một prompt 1.040.000 token chỉ còn khoảng 8.000 token cho phần suy luận và câu trả lời. Hãy đặt max_tokens với điều đó trong đầu.

Model không nhớ các request trước. Cuộc chat có vẻ liền mạch chỉ vì client gửi lại lịch sử ở mỗi lượt, nên một cuộc hội thoại dài sẽ lấp đầy context window từng bước một.

Vì sao quan trọng

  • Khả năng. Context window lớn cho phép một request chứa cả một codebase, một bộ hợp đồng hay nhiều giờ bản chép lời, để model liên kết các dữ kiện với nhau.
  • Chi phí. Với key tính theo token, mọi token trong context window đều bị tính phí như đầu vào. Cache giảm giá cho phần đầu lặp lại, nhưng token từ cache vẫn chiếm chỗ trong context window.
  • Chất lượng. Nhiều hơn không phải lúc nào cũng tốt hơn. Anthropic gọi việc giảm độ chính xác trong prompt rất dài là “context rot” (Bản dịch: context bị thoái hóa). Hãy chọn lọc những gì bạn gửi.
  • Độ trễ. Prompt dài khiến token đầu tiên xuất hiện chậm hơn.

Trên BroadNet Inference

Model Context window
DeepSeek V4.1 Flash 1.048.576 token
GLM 5.3 1.048.576 token
Qwen3.8 27B 262.144 token
BroadNet Gemma 4 VL 26B 32.768 token

Context window bao gồm cả prompt và câu trả lời, và BroadNet không cắt bớt context của bạn. DeepSeek V4.1 Flash, GLM 5.3 và Qwen3.8 27B suy luận trước khi trả lời, nên hãy chừa chỗ: context window đầy cộng với ngân sách đầu ra nhỏ sẽ cho ra câu trả lời rỗng. Xem vì sao model suy luận trả về câu trả lời rỗng.

Các gói không giới hạn có đủ context window 1 triệu token trên DeepSeek V4.1 Flash. Để biết khi nào nhiều context như vậy tốt hơn retrieval, hãy đọc hướng dẫn về context window 1 triệu token.

Lỗi thường gặp

  • Nhầm context window với độ dài đầu ra. Giới hạn đầu ra được đặt riêng bằng max_tokens.
  • Gửi lại toàn bộ lịch sử mãi mãi. Hãy tóm tắt hoặc bỏ các lượt cũ trước khi context window đầy.

Câu hỏi thường gặp

Nếu prompt dài hơn context window thì sao?

API từ chối request, thường với lỗi 400. Ví dụ, Anthropic trả về “prompt is too long” (Bản dịch: prompt quá dài). Một số ứng dụng chat tự cắt bớt tin nhắn cũ cho bạn; phần lớn API thì không.

Context window càng lớn có càng tốt không?

Không. Prompt dài tốn tiền hơn và xử lý lâu hơn, và Anthropic lưu ý rằng độ chính xác và khả năng nhớ lại có thể giảm khi số token tăng. Hãy gửi đúng những gì tác vụ cần.

BroadNet có tự cắt bớt context của tôi không?

Không. BroadNet Inference không cắt bớt context của bạn. Nếu request không vừa, bạn phải tự rút gọn.

Đọc dạng MarkdownHỏi ChatGPTHỏi ClaudeHỏi Perplexity