BroadRouter
Bắt đầu

Context engineering (kỹ thuật quản lý context)

Cập nhật

Context engineering là công việc chọn và duy trì tập token mà model ngôn ngữ thấy ở mỗi request, gồm system prompt, định nghĩa tool, lịch sử hội thoại, tài liệu truy xuất và ghi chú, để model nhận được tập thông tin nhỏ nhất nhưng giàu tín hiệu nhất cần cho tác vụ.

Còn gọi là: context engineering là gì, kỹ thuật context, quản lý context, quản lý ngữ cảnh, context management, agent context engineering

Prompt là thứ bạn viết một lần. Context là mọi thứ model thấy ở mỗi lượt, và trong một agent nó thay đổi sau mỗi lượt.

Cách hoạt động

Bài viết kỹ thuật của Anthropic mô tả context engineering là “the set of strategies for curating and maintaining the optimal set of tokens” (Bản dịch: tập hợp các chiến lược để chọn lọc và duy trì tập token tối ưu) trong lúc inference, gồm cả thông tin nằm ngoài prompt. Bài đặt mục tiêu là tìm “smallest possible set of high-signal tokens” (Bản dịch: tập token giàu tín hiệu nhỏ nhất có thể) giúp kết quả mong muốn dễ xảy ra.

Lý do là sự chú ý có hạn. Bài viết nói model có một “attention budget” (Bản dịch: ngân sách chú ý), và khả năng nhớ lại giảm khi context dài ra, hiện tượng được gọi là context rot. Vị trí cũng quan trọng: dữ kiện nằm giữa một prompt dài dễ bị bỏ sót hơn (lost in the middle).

Bài viết nêu một số kỹ thuật cho agent chạy lâu:

Kỹ thuật Tác dụng
Compaction (nén context) Tóm tắt lịch sử khi gần chạm giới hạn và tiếp tục từ bản tóm tắt
Tool result clearing Bỏ đầu ra thô cũ của tool khỏi lịch sử
Structured note-taking Agent ghi chú vào một file ngoài context và đọc lại sau
Subagent Làm việc tập trung trong một context sạch và trả về bản tóm tắt ngắn
Just-in-time retrieval Chỉ giữ tham chiếu (đường dẫn file, truy vấn) và nạp dữ liệu khi cần

Ví dụ ngân sách của một lượt trong coding agent:

System prompt + rules          4,000 tokens
Tool definitions               6,000 tokens
Notes file                     1,500 tokens
History (compacted)           20,000 tokens
Latest tool output             8,000 tokens   <- largest single item

Vì sao quan trọng

  • Chất lượng. Context ít nhiễu thường đồng nghĩa với câu trả lời tốt hơn và ít chỉ dẫn bị bỏ sót hơn.
  • Chi phí. Khi tính tiền theo token, mọi token trong context bị tính tiền ở mọi lượt. Nội dung ổn định đặt lên đầu sẽ rẻ hơn nhờ input từ cache; xem cấu trúc prompt để tận dụng cache.
  • Độ dài phiên chạy. Quản lý context tốt giúp agent làm việc hàng giờ mà không chạm context window.

Trên BroadNet Inference

Context engineering diễn ra trong code của bạn: Chat Completions API của BroadNet nhận bất kỳ danh sách message nào bạn gửi. DeepSeek V4.1 Flash và GLM 5.3 nhận 1.048.576 token, Qwen3.8 27B nhận 262.144 và Gemma 4 VL 26B nhận 32K, nên giữ context gọn quan trọng nhất trên Gemma.

Khi model có báo cáo, usage.prompt_tokens_details.cached_tokens cho biết số token đọc từ cache, được tính theo giá input từ cache với gói trả theo mức dùng. Quản lý context cho agent chạy lâu đưa ra năm quy tắc thực tế, và bài ngân sách token của agent cho thấy token của agent đi đâu.

Câu hỏi thường gặp

Context engineering khác prompt engineering thế nào?

Prompt engineering là viết chỉ dẫn tốt. Context engineering bao trùm mọi thứ model thấy trong một lượt, gồm định nghĩa tool, lịch sử và dữ liệu truy xuất, cùng cách tập đó thay đổi qua một phiên dài.

Sao không dùng luôn context window lớn hơn?

Window lớn hơn chỉ đẩy vấn đề lùi lại chứ không xóa được nó. Anthropic lưu ý khả năng nhớ lại giảm khi context dài ra, và khi tính tiền theo token thì mỗi token thừa lại bị trả tiền lần nữa ở mỗi lượt.

Nên thử gì đầu tiên?

Đo xem cái gì đang chiếm context. Đầu ra của tool và lịch sử cũ thường là phần lớn nhất, và cắt bớt hay tóm tắt chúng là cách thử rẻ.

Đọc dạng MarkdownHỏi ChatGPTHỏi ClaudeHỏi Perplexity