Prompt là thứ bạn viết một lần. Context là mọi thứ model thấy ở mỗi lượt, và trong một agent nó thay đổi sau mỗi lượt.
Cách hoạt động
Bài viết kỹ thuật của Anthropic mô tả context engineering là “the set of strategies for curating and maintaining the optimal set of tokens” (Bản dịch: tập hợp các chiến lược để chọn lọc và duy trì tập token tối ưu) trong lúc inference, gồm cả thông tin nằm ngoài prompt. Bài đặt mục tiêu là tìm “smallest possible set of high-signal tokens” (Bản dịch: tập token giàu tín hiệu nhỏ nhất có thể) giúp kết quả mong muốn dễ xảy ra.
Lý do là sự chú ý có hạn. Bài viết nói model có một “attention budget” (Bản dịch: ngân sách chú ý), và khả năng nhớ lại giảm khi context dài ra, hiện tượng được gọi là context rot. Vị trí cũng quan trọng: dữ kiện nằm giữa một prompt dài dễ bị bỏ sót hơn (lost in the middle).
Bài viết nêu một số kỹ thuật cho agent chạy lâu:
| Kỹ thuật | Tác dụng |
|---|---|
| Compaction (nén context) | Tóm tắt lịch sử khi gần chạm giới hạn và tiếp tục từ bản tóm tắt |
| Tool result clearing | Bỏ đầu ra thô cũ của tool khỏi lịch sử |
| Structured note-taking | Agent ghi chú vào một file ngoài context và đọc lại sau |
| Subagent | Làm việc tập trung trong một context sạch và trả về bản tóm tắt ngắn |
| Just-in-time retrieval | Chỉ giữ tham chiếu (đường dẫn file, truy vấn) và nạp dữ liệu khi cần |
Ví dụ ngân sách của một lượt trong coding agent:
System prompt + rules 4,000 tokens
Tool definitions 6,000 tokens
Notes file 1,500 tokens
History (compacted) 20,000 tokens
Latest tool output 8,000 tokens <- largest single item
Vì sao quan trọng
- Chất lượng. Context ít nhiễu thường đồng nghĩa với câu trả lời tốt hơn và ít chỉ dẫn bị bỏ sót hơn.
- Chi phí. Khi tính tiền theo token, mọi token trong context bị tính tiền ở mọi lượt. Nội dung ổn định đặt lên đầu sẽ rẻ hơn nhờ input từ cache; xem cấu trúc prompt để tận dụng cache.
- Độ dài phiên chạy. Quản lý context tốt giúp agent làm việc hàng giờ mà không chạm context window.
Trên BroadNet Inference
Context engineering diễn ra trong code của bạn: Chat Completions API của BroadNet nhận bất kỳ danh sách message nào bạn gửi. DeepSeek V4.1 Flash và GLM 5.3 nhận 1.048.576 token, Qwen3.8 27B nhận 262.144 và Gemma 4 VL 26B nhận 32K, nên giữ context gọn quan trọng nhất trên Gemma.
Khi model có báo cáo, usage.prompt_tokens_details.cached_tokens cho biết số token đọc từ cache, được tính theo giá input từ cache với gói trả theo mức dùng. Quản lý context cho agent chạy lâu đưa ra năm quy tắc thực tế, và bài ngân sách token của agent cho thấy token của agent đi đâu.