---
title: "Quản lý context cho agent LLM chạy dài | BroadRouter"
description: "Giữ phiên agent dài chính xác và rẻ với cửa sổ 1M token: lịch sử chỉ nối thêm, prompt thân thiện với cache, khi nào nén và nên cắt gì trước."
url: https://broadrouter.com/vi/blog/long-running-agent-context-management/
lang: vi
updated: 2026-11-14
publisher: BroadRouter (a BroadNet site); API by BroadNet Inference, https://inference.broadnet.ai
---

Được dịch từ tiếng Anh với sự hỗ trợ của AI. [Đọc bản gốc tiếng Anh](https://broadrouter.com/blog/long-running-agent-context-management/) (cập nhật ngày 2026-11-16).

# Quản lý context cho agent chạy dài với cửa sổ 1M token

Đội ngũ BroadNet Inference · 6 phút đọc · Đăng ngày 2026-11-14 · Cập nhật 2026-11-16

Hãy coi context là log chỉ nối thêm: system prompt và danh sách tool cố định ở đầu, sau đó là lịch sử chỉ tăng dần, để mỗi lượt dùng lại prefix đã cache. Với cửa sổ 1.048.576 token như DeepSeek V4.1 Flash, hãy nén ít và theo bước lớn, cắt output tool cồng kềnh trước, và giữ dữ kiện lâu dài trong một file ghi chú ngắn.

## Ý chính

-   Cửa sổ lớn chỉ hoãn vấn đề context, không loại bỏ nó. Hãy tính trước chuyện xảy ra khi gần chạm giới hạn.
-   Lịch sử chỉ nối thêm giữ prefix của prompt ổn định, nhờ đó input đã cache vẫn rẻ.
-   Mỗi lần viết lại lịch sử cũ sẽ phá cache từ điểm đó trở đi.
-   Cắt output tool cồng kềnh (log, nội dung file) trước khi cắt phần suy luận và quyết định.
-   Nén ít và theo bước lớn, đồng thời giữ một file ghi chú ngắn chứa các dữ kiện lâu dài.

**Trong trang này**

1.  Cửa sổ 1M token mang lại gì cho agent chạy dài?
2.  Quy tắc 1: vì sao lịch sử nên chỉ nối thêm?
3.  Quy tắc 2: đo tỷ lệ trúng cache thế nào?
4.  Quy tắc 3: context lớn dần thì nên cắt gì trước?
5.  Quy tắc 4: khi nào agent nên nén lịch sử?
6.  Quy tắc 5: file ghi chú nên chứa gì?
7.  Token suy luận ảnh hưởng ngân sách thế nào?
8.  Với gói giá cố định thì điều này còn quan trọng không?
9.  Checklist quản lý context

Một coding agent làm việc suốt buổi chiều sẽ tích lũy rất nhiều lịch sử: file đã đọc, lệnh đã chạy, output của test, kế hoạch, các lần sửa. Mỗi lượt đều gửi lại toàn bộ cho model. Cách bạn quản lý context ngày càng lớn đó quyết định ba thứ cùng lúc: chi phí mỗi lượt, tốc độ trả lời, và việc agent còn nhớ mình đang làm gì hay không.

Cửa sổ 1M token thay đổi các đánh đổi này. Nó không làm chúng biến mất.

## Cửa sổ 1M token mang lại gì cho agent chạy dài?

Trên BroadNet Inference, [DeepSeek V4.1 Flash](https://broadrouter.com/vi/models/deepseek-v4.1-flash/) và [GLM 5.3](https://broadrouter.com/vi/models/glm-5.3/) nhận tối đa 1.048.576 token mỗi request, tính cả prompt và câu trả lời. [Qwen3.8 27B](https://broadrouter.com/vi/models/qwen3.8-27b/) nhận 262.144. Với cửa sổ nhỏ hơn, agent phải tóm tắt sau một hai giờ làm việc. Với một triệu token, thường nó có thể giữ toàn bộ lịch sử gốc của cả phiên và chỉ nén gần cuối một lần chạy rất dài.

Đó là lợi thế thật: bản tóm tắt luôn mất thông tin, và mỗi lần tóm tắt là một lần có thể quên đúng chi tiết quan trọng. Nhưng ba chi phí vẫn tăng theo prompt:

-   **Tiền**, với key tính theo token, vì mỗi lượt gửi lại cả prompt.
-   **Độ trễ**, vì server phải xử lý mọi token input trước token output đầu tiên.
-   **Sự chú ý.** Chất lượng có thể giảm khi input lớn dần, hiện tượng gọi là [context rot](https://broadrouter.com/vi/glossary/context-rot/). Bài báo [“Lost in the Middle”](https://arxiv.org/abs/2307.03172) phát hiện model thường dùng thông tin ở đầu và cuối một input dài ổn định hơn thông tin ở giữa. Model mới hơn làm tốt hơn, nhưng thói quen đặt dữ kiện quan trọng gần hai đầu vẫn có ích.

## Quy tắc 1: vì sao lịch sử nên chỉ nối thêm?

Prompt caching so khớp từ đầu prompt. Nếu 300.000 token đầu tiên của lượt này giống hệt lượt trước, chúng có thể được phục vụ từ cache; token đầu tiên bị thay đổi sẽ kết thúc phần khớp. API của BroadNet báo con số này trong `usage.prompt_tokens_details.cached_tokens` khi model có báo cáo, và tính input đã cache với giá thấp hơn: trên DeepSeek V4.1 Flash là $0.0055 mỗi 1M token, so với $0.175 cho input mới.

Vì vậy hãy dựng mọi request theo cùng một thứ tự và chỉ thêm vào cuối:

```text
[ system prompt ]        never changes during a session
[ tool definitions ]     fixed order, never changes
[ project notes ]        changes rarely, and only by appending
[ turn 1 ... turn N ]    grows at the end
[ new message ]
```

Những thứ thường phá prefix là timestamp trong system prompt, định nghĩa tool có thứ tự không ổn định, và việc render lại kết quả tool cũ. Với agent, thêm một thứ nữa: kiểu cắt “cửa sổ trượt” bỏ lượt cũ nhất mỗi lần, làm dịch chuyển mọi thứ phía sau. Mỗi thứ trên biến một prompt đã cache thành prompt mới; [cấu trúc prompt để tận dụng cache](https://broadrouter.com/vi/blog/prompt-structure-for-caching/) liệt kê phần còn lại, kèm một bài test chứng minh prefix đã được cache. Trong phiên dài, khác biệt rất lớn: phần lớn prompt có thể là input đã cache thay vì input mới. Xem [cách tính phí input đã cache](https://broadrouter.com/vi/blog/cached-input-tokens-explained/).

## Quy tắc 2: đo tỷ lệ trúng cache thế nào?

Ghi log cho từng request. Với OpenAI SDK, ba dòng sau lời gọi là đủ:

```python
import os
from openai import OpenAI

client = OpenAI(base_url="https://inference.broadnet.ai/v1", api_key=os.environ["BROADNET_API_KEY"])

resp = client.chat.completions.create(model="broadnet/deepseek-v4.1-flash", messages=history, max_tokens=8000)
u = resp.usage
cached = (u.prompt_tokens_details.cached_tokens if u.prompt_tokens_details else 0) or 0
print(f"turn prompt={u.prompt_tokens:,} cached={cached:,} ({cached / max(1, u.prompt_tokens):.0%})")
```

Một agent chỉ nối thêm khỏe mạnh sẽ có tỷ lệ cache cao ở mọi lượt sau lượt đầu. Nếu tỷ lệ đột ngột tụt gần về 0, nghĩa là có thứ gì đó ở đầu prompt đã thay đổi. Hãy tìm ra và cố định nó. [Công cụ tính prompt caching](https://broadrouter.com/tools/prompt-caching-calculator/) đổi tỷ lệ cache thành số tiền mỗi phiên.

## Quy tắc 3: context lớn dần thì nên cắt gì trước?

Khi thật sự cần thu nhỏ context, việc bỏ gì rất quan trọng. Trong phần lớn transcript của agent, khối lượng chủ yếu là output của tool: một log test 4.000 dòng, cả một file được đọc chỉ để tìm một hàm, một danh sách thư mục. Phần có giá trị lại nhỏ: kế hoạch, các quyết định và lý do, các lỗi đã sửa.

Thứ tự cắt, từ trước đến sau:

1.  **Output tool đã cũ.** Thay phần thân của kết quả tool cũ bằng một dòng tóm tắt: “ran pytest: 3 failures in test\_api.py (fixed in turn 14)”.
2.  **Nội dung file đã lỗi thời.** Nếu agent đọc `api.py`, sửa nó, rồi đọc lại, thì lần đọc đầu chỉ là gánh nặng.
3.  **Những lần khám phá không đi đến đâu.** Các lần tìm kiếm và đọc không dẫn đến thay đổi nào.
4.  **Suy luận và kế hoạch.** Giữ những thứ này lâu nhất. Chúng giải thích vì sao code trông như hiện tại.

Cắt ngắn output tool ngay lúc nó được tạo ra còn tốt hơn. Đặt giới hạn cho mỗi kết quả tool (ví dụ 200 dòng cuối của log kèm tổng số dòng) và để agent tự xin thêm nếu cần. Như vậy lịch sử vừa chỉ nối thêm vừa nhỏ gọn.

## Quy tắc 4: khi nào agent nên nén lịch sử?

Nén (compaction, tóm tắt lịch sử cũ thành một khối ngắn hơn) là công cụ nặng. Nó viết lại prefix, nên lượt ngay sau khi nén phải trả đủ giá input cho mọi thứ sau system prompt. Cứ vài lượt lại nén một chút nghĩa là trả cái giá đó lặp đi lặp lại.

Cách tốt hơn:

-   **Chọn ngưỡng cao.** Với cửa sổ 1M, nén khi đầy khoảng 60–70% sẽ còn chỗ cho lượt tóm tắt và một đoạn dài công việc mới.
-   **Giữ nguyên văn phần gần nhất.** Tóm tắt phần cũ và giữ nguyên các lượt cuối. [Tài liệu về nén](https://opencode.ai/docs/compaction/) của opencode mô tả đúng cách này: tóm tắt cuộc hội thoại và giữ phần gần nhất, mặc định khoảng 15.000 token.
-   **Tóm tắt bằng toàn bộ prompt.** Gửi cả cuộc hội thoại vào request tóm tắt để nó dùng lại cache của lượt trước.
-   **Nén một lần, rồi lại chỉ nối thêm.** Sau khi nén, prefix mới ổn định và việc cache tiếp tục từ đó.

## Quy tắc 5: file ghi chú nên chứa gì?

Có những dữ kiện phải tồn tại qua bất kỳ số lần nén nào: mục tiêu, các ràng buộc, các quyết định đã đưa ra, các lệnh build và test dự án. Hãy giữ chúng trong một file ghi chú ngắn (`NOTES.md` hoặc một file tác vụ) mà agent ghi thêm và đọc lại. File này nằm gần đầu prompt, hiếm khi thay đổi, và là thứ đầu tiên một phiên mới đọc nếu lần chạy khởi động lại.

Đây cũng là dạng bộ nhớ rẻ nhất: vài nghìn token giúp agent khỏi phải tìm lại cùng những dữ kiện đó sau mỗi lần tóm tắt.

## Token suy luận ảnh hưởng ngân sách thế nào?

DeepSeek V4.1 Flash, GLM 5.3 và Qwen3.8 27B suy luận trước khi trả lời, và phần suy luận được tính vào `max_tokens`. Phiên dài không thay đổi điều đó, nhưng prompt lớn dễ khiến người ta hạ `max_tokens` để “chừa chỗ”. Đừng làm vậy. Ngân sách output quá chật sẽ sinh ra câu trả lời rỗng, rồi agent lại retry. Xem [vì sao câu trả lời trả về rỗng](https://broadrouter.com/vi/guides/reasoning-tokens-empty-response/).

Cũng nhớ rằng cửa sổ tính cả prompt và câu trả lời. Khi prompt gần 1.048.576 token thì không còn chỗ để trả lời. Hãy nén trước khi đến đó; [công cụ tính cửa sổ context](https://broadrouter.com/tools/context-window-calculator/) cho biết một prompt cụ thể còn chừa bao nhiêu chỗ.

## Với gói giá cố định thì điều này còn quan trọng không?

Trên một phiên của gói BroadNet, DeepSeek V4.1 Flash không đo token: một phiên Full Moon có giá $60 mỗi tháng dù prompt dài đến đâu. Lý do tiền bạc để dùng cache biến mất. Hai lý do còn lại thì không. Prefix đã cache thường được xử lý nhanh hơn trong nhiều hệ thống serving, và context được quản lý tốt cho câu trả lời tốt hơn. Thói quen vẫn vậy; chỉ có lý do thay đổi. Xem [cách các phiên của gói hoạt động](https://broadrouter.com/vi/guides/unlimited-llm-api-sessions/).

## Checklist quản lý context

-   System prompt và danh sách tool cố định suốt phiên.
-   Lịch sử chỉ nối thêm; không bao giờ định dạng lại các lượt cũ.
-   Ghi log tỷ lệ cache cho từng request.
-   Giới hạn output tool ngay khi tạo ra; output cũ được thay bằng dòng tóm tắt sau đó.
-   Nén ở ngưỡng cao, giữ nguyên văn phần gần nhất.
-   Một file ghi chú chứa mục tiêu, ràng buộc và quyết định.
-   Ngân sách output đủ lớn cho phần suy luận.

Để biết khi nào cửa sổ một triệu token thật sự đáng dùng, xem [hướng dẫn về cửa sổ context 1M](https://broadrouter.com/vi/blog/million-token-context-window-guide/). Để dừng những phiên cứ phình ra mà không tiến triển, xem [kiểm soát chi phí vòng lặp agent](https://broadrouter.com/vi/blog/cut-coding-agent-llm-costs/).

Công cụ miễn phí cho chủ đề này (tiếng Anh)

-   [Agent run cost estimator](https://broadrouter.com/tools/agent-run-cost-estimator/) Context growth per step, total tokens and cost of one agent run, with a DeepSeek session comparison.
-   [LLM batch job planner](https://broadrouter.com/tools/llm-batch-job-planner/) Run time, binding limit, cost per model and the flat sessions needed to finish a big job by a deadline.
-   [Flat-rate vs per-token LLM cost calculator](https://broadrouter.com/tools/flat-rate-vs-per-token-calculator/) Break-even between an unlimited plan and paying per token, per agent.
-   [LLM rate limit and concurrency calculator](https://broadrouter.com/tools/llm-rate-limit-calculator/) Which limit binds first: RPM, TPM or concurrency, with Little's law.

[Công cụ miễn phí (tiếng Anh)](https://broadrouter.com/tools/)

## Thuật ngữ trong bài này

[Token](https://broadrouter.com/vi/glossary/token/)

Token là đơn vị văn bản mà model ngôn ngữ đọc và viết: một từ, một phần của từ, một dấu câu hoặc một chuỗi byte do tokenizer của model tạo ra. API LLM đếm, giới hạn và thường tính phí theo token.

[System prompt (lời nhắc hệ thống)](https://broadrouter.com/vi/glossary/system-prompt/)

System prompt là đoạn chỉ dẫn mà ứng dụng gửi cho model ngôn ngữ trước cuộc hội thoại, thường là tin nhắn có vai trò system hoặc developer. Nó đặt vai trò, quy tắc, giọng điệu và định dạng đầu ra, và model được kỳ vọng tuân theo nó hơn các tin nhắn người dùng mâu thuẫn.

[Context compaction (nén context)](https://broadrouter.com/vi/glossary/context-compaction/)

Context compaction là cách tóm tắt một cuộc hội thoại sắp chạm giới hạn context window rồi tiếp tục phiên làm việc từ bản tóm tắt đó, để agent giữ lại các quyết định và trạng thái quan trọng trong khi bỏ đi lịch sử thô như kết quả tool cũ.

[Context engineering (kỹ thuật quản lý context)](https://broadrouter.com/vi/glossary/context-engineering/)

Context engineering là công việc chọn và duy trì tập token mà model ngôn ngữ thấy ở mỗi request, gồm system prompt, định nghĩa tool, lịch sử hội thoại, tài liệu truy xuất và ghi chú, để model nhận được tập thông tin nhỏ nhất nhưng giàu tín hiệu nhất cần cho tác vụ.

[Token đầu vào từ cache (cached input tokens)](https://broadrouter.com/vi/glossary/cached-input-tokens/)

Token đầu vào từ cache là token prompt mà nhà cung cấp LLM vừa xử lý gần đây và có thể dùng lại từ cache thay vì tính toán lại, thường là phần đầu lặp lại như system prompt hoặc tài liệu. Nhà cung cấp tính giá chúng thấp hơn token đầu vào mới.

[Tool calling (gọi tool, function calling)](https://broadrouter.com/vi/glossary/tool-calling/)

Tool calling, còn gọi là function calling, là tính năng của API LLM trong đó model trả về một yêu cầu có cấu trúc để chạy một hàm do nhà phát triển định nghĩa, kèm đối số JSON. Ứng dụng chạy hàm rồi gửi kết quả lại; model không bao giờ tự chạy code.

[AI coding agent](https://broadrouter.com/vi/glossary/coding-agent/)

AI coding agent là công cụ phần mềm trong đó một model ngôn ngữ làm việc trên codebase theo vòng lặp: đọc file, sửa file, chạy lệnh như test, đọc kết quả và quyết định bước tiếp theo cho tới khi xong task hoặc chạm giới hạn.

[Context rot (suy giảm khi context dài)](https://broadrouter.com/vi/glossary/context-rot/)

Context rot là sự suy giảm dần về độ chính xác và độ tin cậy của model ngôn ngữ khi input dài ra, ngay cả khi tác vụ không đổi và input vẫn nằm gọn trong context window. Thuật ngữ này phổ biến nhờ một báo cáo kỹ thuật năm 2025 của Chroma thử nghiệm 18 model.

## Câu hỏi thường gặp

### Model đã có cửa sổ 1M rồi, sao còn phải quản lý context?

Vì chi phí, độ trễ và độ chính xác đều thay đổi khi prompt lớn dần. Prompt dài mất nhiều thời gian xử lý hơn, tốn nhiều tiền hơn mỗi lượt với key tính theo token, và nghiên cứu cho thấy model dùng thông tin nằm giữa input dài kém ổn định hơn.

### Làm sao biết agent của tôi có trúng cache không?

Khi model có báo cáo, khối usage chứa prompt\_tokens\_details.cached\_tokens. Chia giá trị này cho prompt\_tokens ở mỗi request và ghi log tỷ lệ đó.

### Dùng gói giá cố định thì việc nén context có còn quan trọng không?

Không quan trọng với hóa đơn, vì phiên của gói không đo token. Nhưng nó vẫn quan trọng với tốc độ và chất lượng câu trả lời trong những phiên rất dài.

## Đọc tiếp

-   [Khi nào context window 1M token đáng dùng (và khi nào không)](https://broadrouter.com/vi/blog/million-token-context-window-guide/)
-   [Token đầu vào từ cache: cách giảm hóa đơn API LLM](https://broadrouter.com/vi/blog/cached-input-tokens-explained/)
-   [10 cách giảm chi phí LLM cho coding agent, kèm mức tiết kiệm ước tính](https://broadrouter.com/vi/blog/cut-coding-agent-llm-costs/)
-   [Cách chạy coding agent qua đêm không cần giám sát mà vẫn an toàn](https://broadrouter.com/vi/blog/overnight-coding-agent-runs/)
-   [Chi phí một lần chạy AI coding agent: số bước, context và cache](https://broadrouter.com/vi/blog/ai-coding-agent-run-cost/)
-   [Claude Code với model mở: proxy, endpoint gốc và giới hạn](https://broadrouter.com/vi/blog/claude-code-with-openai-compatible-models/)
-   [Hướng dẫn: Streaming chat completions và xử lý khi mất kết nối](https://broadrouter.com/vi/guides/streaming-chat-completions/)
-   [Hướng dẫn: Vì sao model suy luận trả về câu trả lời rỗng](https://broadrouter.com/vi/guides/reasoning-tokens-empty-response/)
-   [Hướng dẫn: Gói LLM API không giới hạn cho agent hoạt động thế nào?](https://broadrouter.com/vi/guides/unlimited-llm-api-sessions/)

Hãy thử với khối lượng công việc thực tế của bạn. Tài khoản mới được tặng US$5 tín dụng ban đầu cho Gemma và chuyển giọng nói thành văn bản. DeepSeek, GLM và Qwen3.8 cần nạp tiền.

[Bắt đầu](https://inference.broadnet.ai/account/?utm_source=broadrouter&utm_medium=referral&utm_campaign=vi-blog-long-running-agent-context-management&utm_content=page-cta) ·

**Nguồn**

-   [Tài liệu tham chiếu API BroadNet Inference, token suy luận và token đã cache (tiếng Anh)](https://inference.broadnet.ai/docs?utm_source=broadrouter&utm_medium=referral&utm_campaign=vi-blog-long-running-agent-context-management&utm_content=sources)
-   [Liu và cộng sự, Lost in the Middle: How Language Models Use Long Contexts (arXiv)](https://arxiv.org/abs/2307.03172)
-   [Tài liệu opencode, nén context (compaction)](https://opencode.ai/docs/compaction/)
