BroadRouter
Bắt đầu

Context compaction (nén context)

Cập nhật

Context compaction là cách tóm tắt một cuộc hội thoại sắp chạm giới hạn context window rồi tiếp tục phiên làm việc từ bản tóm tắt đó, để agent giữ lại các quyết định và trạng thái quan trọng trong khi bỏ đi lịch sử thô như kết quả tool cũ.

Còn gọi là: nén context, compaction, auto-compact, tóm tắt hội thoại, conversation compaction, context summarization

Các phiên agent dài sẽ vượt quá context window. Compaction thay toàn bộ lịch sử bằng một bản tóm tắt và tiếp tục làm việc.

Cách hoạt động

Bài viết về context engineering của Anthropic định nghĩa compaction là “the practice of taking a conversation nearing the context window limit, summarizing its contents,” (Bản dịch: cách lấy một cuộc hội thoại sắp chạm giới hạn context window, tóm tắt nội dung của nó) và bắt đầu một context window mới với bản tóm tắt đó. Theo bài viết, trong Claude Code, model “preserves architectural decisions, unresolved bugs, and implementation details,” (Bản dịch: giữ lại các quyết định kiến trúc, bug chưa giải quyết và chi tiết triển khai) bỏ kết quả tool thừa, rồi tiếp tục với bản tóm tắt cộng “the five most recently accessed files.” (Bản dịch: năm file được truy cập gần nhất.)

Dạng nhẹ nhất là xóa kết quả tool. Cùng bài viết gọi nó là “one of the safest lightest touch forms of compaction” (Bản dịch: một trong những dạng compaction an toàn và nhẹ tay nhất): các kết quả tool thô cũ nằm sâu trong lịch sử bị xóa, mọi thứ khác giữ nguyên.

Các công cụ cung cấp compaction theo những cách khác nhau:

Công cụ Compaction chạy thế nào
Claude Code Auto-compaction tóm tắt lịch sử khi gần chạm giới hạn; /compact Focus on ... chạy thủ công kèm chỉ dẫn về những gì cần giữ
OpenAI Responses API context_management với compact_threshold sẽ nén phía server khi số token vượt ngưỡng, hoặc gọi endpoint compact độc lập
Agent tự viết Yêu cầu model tóm tắt lịch sử, rồi bắt đầu danh sách message mới gồm system prompt, bản tóm tắt và các lượt gần nhất

Một phép tính ví dụ: một agent có 180.000 token lịch sử nén xuống còn bản tóm tắt 6.000 token cộng 20.000 token file gần đây. Mỗi lượt sau đó gửi khoảng 26.000 token lịch sử thay vì 180.000 và tiếp tục tăng.

Vì sao quan trọng

  • Độ dài. Không có compaction, một task dài sẽ dừng khi context window đầy.
  • Chất lượng. Độ chính xác có thể giảm từ rất lâu trước khi chạm giới hạn, hiện tượng gọi là context rot. Một context ngắn và gọn hơn có thể giúp ích.
  • Chi phí. Với tính tiền theo token, mỗi lượt đều gửi lại lịch sử. Compaction thu nhỏ nó, dù bản thân request compaction đọc toàn bộ lịch sử một lần, và phần đầu bị viết lại phải được cache lại (token đầu vào từ cache).
  • Rủi ro. Bản tóm tắt có thể bỏ sót một chi tiết quan trọng về sau. Hãy viết chỉ dẫn riêng về những gì cần giữ, và để các dữ kiện then chốt trong một file ghi chú.

Trên BroadNet Inference

API của BroadNet là Chat Completions không lưu trạng thái (stateless): mỗi lần bạn gửi toàn bộ danh sách message, và tài liệu của BroadNet không mô tả tính năng compaction phía server. Compaction diễn ra trong agent hoặc công cụ của bạn, sau đó nó gửi đi lịch sử ngắn hơn.

DeepSeek V4.1 Flash và GLM 5.3 nhận context 1.048.576 token, nên ít khi cần compaction hơn, nhưng các điểm về chi phí và chất lượng ở trên vẫn áp dụng với trả theo mức dùng. Trên gói giá cố định không có đồng hồ đếm token, nên compaction quan trọng vì chất lượng và tốc độ chứ không vì hóa đơn. Quản lý context cho agent chạy lâu trình bày khi nào nên nén và nên bỏ gì trước.

Câu hỏi thường gặp

Compaction có làm mất thông tin không?

Có, theo thiết kế. Bản tóm tắt giữ những gì bên tóm tắt cho là quan trọng và bỏ phần còn lại. Hãy để những dữ kiện không được phép mất, như yêu cầu và bug chưa xử lý, trong một file ghi chú mà agent có thể đọc lại.

Compaction có miễn phí không?

Không. Tài liệu Claude Code chỉ ra rằng compaction phải đọc toàn bộ cuộc hội thoại cần tóm tắt, nên nén một context lớn bản thân nó đã là một request lớn. Bắt đầu lại bằng /clear không tốn gì, nhưng không giữ được sự liên tục.

Compaction có phá prompt caching không?

Nó viết lại lịch sử, nên request tiếp theo sẽ trượt cache ở phần bị viết lại. Claude Code xem đây là việc dựng lại cache được dự kiến trước. Sau đó, lịch sử ngắn hơn được cache như bình thường.

Đọc dạng MarkdownHỏi ChatGPTHỏi ClaudeHỏi Perplexity