Các phiên agent dài sẽ vượt quá context window. Compaction thay toàn bộ lịch sử bằng một bản tóm tắt và tiếp tục làm việc.
Cách hoạt động
Bài viết về context engineering của Anthropic định nghĩa compaction là “the practice of taking a conversation nearing the context window limit, summarizing its contents,” (Bản dịch: cách lấy một cuộc hội thoại sắp chạm giới hạn context window, tóm tắt nội dung của nó) và bắt đầu một context window mới với bản tóm tắt đó. Theo bài viết, trong Claude Code, model “preserves architectural decisions, unresolved bugs, and implementation details,” (Bản dịch: giữ lại các quyết định kiến trúc, bug chưa giải quyết và chi tiết triển khai) bỏ kết quả tool thừa, rồi tiếp tục với bản tóm tắt cộng “the five most recently accessed files.” (Bản dịch: năm file được truy cập gần nhất.)
Dạng nhẹ nhất là xóa kết quả tool. Cùng bài viết gọi nó là “one of the safest lightest touch forms of compaction” (Bản dịch: một trong những dạng compaction an toàn và nhẹ tay nhất): các kết quả tool thô cũ nằm sâu trong lịch sử bị xóa, mọi thứ khác giữ nguyên.
Các công cụ cung cấp compaction theo những cách khác nhau:
| Công cụ | Compaction chạy thế nào |
|---|---|
| Claude Code | Auto-compaction tóm tắt lịch sử khi gần chạm giới hạn; /compact Focus on ... chạy thủ công kèm chỉ dẫn về những gì cần giữ |
| OpenAI Responses API | context_management với compact_threshold sẽ nén phía server khi số token vượt ngưỡng, hoặc gọi endpoint compact độc lập |
| Agent tự viết | Yêu cầu model tóm tắt lịch sử, rồi bắt đầu danh sách message mới gồm system prompt, bản tóm tắt và các lượt gần nhất |
Một phép tính ví dụ: một agent có 180.000 token lịch sử nén xuống còn bản tóm tắt 6.000 token cộng 20.000 token file gần đây. Mỗi lượt sau đó gửi khoảng 26.000 token lịch sử thay vì 180.000 và tiếp tục tăng.
Vì sao quan trọng
- Độ dài. Không có compaction, một task dài sẽ dừng khi context window đầy.
- Chất lượng. Độ chính xác có thể giảm từ rất lâu trước khi chạm giới hạn, hiện tượng gọi là context rot. Một context ngắn và gọn hơn có thể giúp ích.
- Chi phí. Với tính tiền theo token, mỗi lượt đều gửi lại lịch sử. Compaction thu nhỏ nó, dù bản thân request compaction đọc toàn bộ lịch sử một lần, và phần đầu bị viết lại phải được cache lại (token đầu vào từ cache).
- Rủi ro. Bản tóm tắt có thể bỏ sót một chi tiết quan trọng về sau. Hãy viết chỉ dẫn riêng về những gì cần giữ, và để các dữ kiện then chốt trong một file ghi chú.
Trên BroadNet Inference
API của BroadNet là Chat Completions không lưu trạng thái (stateless): mỗi lần bạn gửi toàn bộ danh sách message, và tài liệu của BroadNet không mô tả tính năng compaction phía server. Compaction diễn ra trong agent hoặc công cụ của bạn, sau đó nó gửi đi lịch sử ngắn hơn.
DeepSeek V4.1 Flash và GLM 5.3 nhận context 1.048.576 token, nên ít khi cần compaction hơn, nhưng các điểm về chi phí và chất lượng ở trên vẫn áp dụng với trả theo mức dùng. Trên gói giá cố định không có đồng hồ đếm token, nên compaction quan trọng vì chất lượng và tốc độ chứ không vì hóa đơn. Quản lý context cho agent chạy lâu trình bày khi nào nên nén và nên bỏ gì trước.