BroadRouter

Ngân sách token của agent: token trong vòng lặp agent đi đâu

Đội ngũ BroadNet Inference · 5 phút đọc · Đăng ngày

Vòng lặp agent gửi lại toàn bộ context ở mỗi lần gọi: system prompt, định nghĩa tool, lịch sử hội thoại, nội dung file và output của tool, cộng bước mới. Đầu vào thường lớn hơn đầu ra nhiều lần. Hãy ghi prompt_tokens, cached_tokens và completion_tokens cho mỗi lần gọi, tìm khối lặp lại lớn nhất, rồi bớt tool, giới hạn output tool và khởi động lại phiên dài.

Một cuộc chat tốn bằng những gì bạn gõ cộng những gì model viết. Một agent tốn nhiều hơn hẳn, vì nó gọi model hàng chục lần và gửi lại gần như mọi thứ mỗi lần. Nếu bạn muốn cắt chi phí đó, hoặc đơn giản là thôi chạm giới hạn context window, bạn cần biết phần nào trong mỗi request là lớn. Bài này chia một vòng lặp agent thành năm nhóm, chỉ cách đo từng nhóm từ chính dữ liệu usage của API, và liệt kê những gì nên cắt trước.

Vì sao agent gửi lại mọi thứ?

API chat completions là stateless. Model không nhớ gì giữa các lần gọi, nên agent gửi toàn bộ context ở mỗi bước. Một tác vụ 40 bước, mỗi lần gọi mang 30.000 token, đọc 1,2 triệu token đầu vào để tạo ra có lẽ 40.000 token đầu ra. Tỷ lệ 30 trên 1 đó là lý do token đầu vào và giá cache của chúng chi phối hóa đơn agent.

Token đi đâu?

Nhóm Là gì Lặp lại ở mọi lần gọi? Nguyên nhân thường gặp
System prompt Chỉ dẫn cho agent, file quy tắc, ghi chú dự án Có File quy tắc dài
Schema tool Tên, mô tả và JSON Schema của mọi tool Có Tool tích hợp sẵn cộng mọi MCP server
Lịch sử Tin nhắn, tool call và kết quả trước đó Có, và còn tăng Phiên dài
Đọc file và output tool Nội dung file, test log, kết quả tìm kiếm Có, cho tới khi bị loại bỏ Đọc cả file, lệnh in nhiều output
Đầu ra Câu trả lời hiển thị, tool call và suy luận Không Mức suy luận, viết lại cả file

Hai nhóm đầu là chi phí cố định. Tháng 9 năm 2026, Cursor viết rằng system prompt và định nghĩa tool “had become one of the largest sources of spend that we fully control” (bản dịch: đã trở thành một trong những nguồn chi lớn nhất mà chúng tôi kiểm soát hoàn toàn), và gọi việc đọc file là “another large source of token spend” (bản dịch: một nguồn chi token lớn khác). Các thay đổi của họ, gồm cắt khoảng hai phần ba system prompt và chỉ nạp khi cần những tool dùng trong dưới 20% cuộc hội thoại, đã giảm 7% chi phí token của người dùng. Nhóm VS Code của GitHub cũng nêu đúng hai khoản này cho Copilot: prefix prompt lặp lại và chi phí định nghĩa tool.

Đo bằng cách nào?

Bạn không cần sản phẩm tracing. Khối usage trên mỗi response là đủ.

  1. Bật usage. Với streaming, thêm stream_options: {"include_usage": true}; usage nằm ở chunk cuối cùng. Xem streaming.
  2. Ghi lại cho mỗi lần gọi: số thứ tự bước, prompt_tokens, prompt_tokens_details.cached_tokens, completion_tokens và, khi có, completion_tokens_details.reasoning_tokens.
  3. Đo chi phí cố định một lần. Gửi một request chỉ có system prompt và tool, cùng chữ “hi”. prompt_tokens của nó là mức sàn.
  4. Đo output của một tool. Đếm số ký tự của mỗi kết quả tool trước khi nối vào. Chia cho bốn sẽ ra số token tiếng Anh ước chừng; dán một mẫu vào công cụ đếm token miễn phí để có con số chính xác theo tokenizer của model.
r = client.chat.completions.create(model=MODEL, messages=msgs, tools=tools)
u = r.usage
cached = getattr(u.prompt_tokens_details, "cached_tokens", 0) or 0
log.info("step=%d prompt=%d cached=%d out=%d", step, u.prompt_tokens, cached, u.completion_tokens)

Vẽ prompt_tokens theo từng bước. Độ dốc đều nghĩa là lịch sử đang tăng. Một bước nhảy đột ngột nghĩa là một file hay log lớn vừa vào context. Mức sàn cao nghĩa là quá nhiều tool.

Trong Aider, /tokens báo những gì đang có trong context hiện tại, và /drop loại file khỏi đó.

Nên cắt gì trước?

Sắp theo kích thước nhân số lần lặp, không theo cái gì dễ nhất:

  1. Tool không dùng. Mọi schema tool đều đi kèm mọi lần gọi. Hướng dẫn của OpenAI nói định nghĩa function “are billed as input tokens” (bản dịch: được tính phí như token đầu vào) và gợi ý dưới 20 function ở đầu một lượt, như một quy tắc mềm. Hãy tắt các MCP server không dùng trong tác vụ này; tài liệu opencode nói rõ tool MCP tiêu tốn context của model.
  2. Output tool. Giới hạn output lệnh (200 dòng cuối của test log, không phải 20.000). Trả kết quả tìm kiếm dưới dạng đường dẫn và số dòng, rồi chỉ đọc phần cần.
  3. Đọc file. Đọc function, không đọc cả file. Repo map của Aider dùng ngân sách mặc định 1k token (--map-tokens) thay vì cả file.
  4. Lịch sử. Bắt đầu tác vụ mới cho mỗi thay đổi. Khi một phiên buộc phải tiếp tục, thay các lượt cũ bằng một bản tóm tắt ngắn.
  5. System prompt. Bỏ những quy tắc model vốn đã tuân theo. Giữ phần còn lại ổn định.
  6. Đầu ra. Yêu cầu diff, không yêu cầu cả file. Đặt reasoning_effort là low cho các bước thường ngày. Token suy luận được tính như đầu ra.

Vì sao phải giữ prefix ổn định?

Nhà cung cấp cache prefix lặp lại và tính phí thấp hơn. Trên BroadNet Inference, DeepSeek V4.1 Flash tính đầu vào từ cache $0.0055 mỗi 1M token và đầu vào mới $0.175. GLM 5.3 tính $0.173 so với $0.78. Một timestamp trong system prompt, hay tool liệt kê theo thứ tự khác nhau mỗi lần gọi, sẽ phá cache từ điểm đó trở đi. Hãy đặt phần ổn định lên trước, theo thứ tự cố định, và phần thay đổi ở cuối. Xem thêm giải thích token đầu vào từ cache; công cụ tính prompt caching cho thấy một tỷ lệ hit nhất định tiết kiệm được bao nhiêu.

Cache hạ giá của prefix, nhưng không giảm kích thước của nó. Token từ cache vẫn chiếm chỗ trong context window và vẫn mất thời gian xử lý.

Một ngân sách agent mẫu trông thế nào?

Lấy tác vụ 40 bước ở trên, với 80% đầu vào được cache:

Phần Token Tính theo
Đầu vào mới 240.000 Giá đầu vào
Đầu vào từ cache 960.000 Giá đầu vào từ cache
Đầu ra kể cả suy luận 40.000 Giá đầu ra

Bỏ 5.000 token schema tool không dùng khỏi mỗi lần gọi sẽ loại 200.000 token đầu vào khỏi tác vụ này, khoảng một phần sáu tổng số, mà không thay đổi hành vi của agent. Với các đòn bẩy chi phí ngoài việc cắt gọt, như chọn model, cache và gói giá cố định, xem 10 cách giảm chi phí LLM cho coding agent. Với thiết lập multi-agent, hãy nhân với số agent; xem chi phí thật của thiết lập multi-agent. Để mô hình hóa vòng lặp của bạn từng bước, dùng công cụ ước tính chi phí chạy agent.

BroadNet Inference phù hợp ở đâu

BroadNet Inference trả về prompt token và completion token trong khối usage, cùng token từ cache và token suy luận khi model báo, nên cách đo ở trên dùng được đúng như mô tả. Giá đầu vào từ cache thấp trên DeepSeek V4.1 Flash thưởng cho một prefix ổn định. Nếu việc cắt gọt không đáng thời gian của bạn, các gói không giới hạn bỏ việc đếm token cho DeepSeek V4.1 Flash với giá $60 mỗi phiên mỗi tháng; context window vẫn áp dụng, và context gọn vẫn chạy nhanh hơn. Các gói có tại inference.broadnet.ai/plans.

Câu hỏi thường gặp

Vì sao coding agent của tôi dùng nhiều token đầu vào đến vậy?

Vì API là stateless. Mỗi lần gọi gửi lại system prompt, mọi định nghĩa tool, toàn bộ hội thoại tới lúc đó và mọi nội dung file còn trong context. Một phiên dài nhân con số đó với số bước.

Làm sao xem mỗi bước của agent dùng bao nhiêu token?

Đọc khối usage của mỗi response. Với streaming, đặt include_usage trong stream_options là true và đọc chunk cuối cùng. Ghi prompt_tokens, prompt_tokens_details.cached_tokens và completion_tokens kèm số thứ tự bước.

Định nghĩa tool có tính là token đầu vào không?

Có. Danh sách tool là một phần của prompt và được gửi ở mọi lần gọi. MCP server thêm tool của chúng vào danh sách đó, vì vậy tài liệu opencode khuyên chỉ thêm những server bạn cần.

Prompt caching có giải quyết được vấn đề không?

Nó giảm giá của prefix lặp lại, không giảm kích thước. Đầu vào từ cache vẫn chiếm chỗ trong context window. Trên BroadNet, DeepSeek V4.1 Flash tính đầu vào từ cache $0.0055 mỗi 1M token, so với $0.175 cho đầu vào mới.

Token suy luận có nằm trong ngân sách không?

Có, ở phía đầu ra. Model suy luận tính phần suy nghĩ vào max_tokens và khi trả theo mức dùng thì tính phí như đầu ra. Đặt reasoning_effort là low cho các bước thường ngày.

Đọc dạng MarkdownHỏi ChatGPTHỏi ClaudeHỏi Perplexity