Agent là một model chạy trong vòng lặp: hỏi, hành động bằng một tool, đọc kết quả, rồi quyết định lại.
Cách hoạt động
Anthropic phân biệt hai kiểu thiết kế. Workflow là “systems where LLMs and tools are orchestrated through predefined code paths.” (Bản dịch: hệ thống trong đó LLM và tool được điều phối qua các luồng code định sẵn). Agent là hệ thống trong đó “LLMs dynamically direct their own processes and tool usage.” (Bản dịch: LLM tự điều khiển một cách linh hoạt quy trình và việc dùng tool của mình).
OpenAI Agents SDK mô tả chính vòng lặp này. Runner gọi model. Nếu phản hồi là câu trả lời cuối cùng, lần chạy kết thúc. Nếu nó chứa lệnh gọi tool, runner thực thi chúng, nối thêm kết quả và gọi lại model. Thiết lập max_turns giới hạn vòng lặp và báo MaxTurnsExceeded khi bị vượt quá.
Ví dụ cụ thể: một coding agent được yêu cầu sửa một test đang lỗi có thể mất bốn lượt.
Turn 1 model -> tool call: run_tests()
Turn 2 model -> tool call: read_file("src/dates.py")
Turn 3 model -> tool call: edit_file("src/dates.py", ...)
Turn 4 model -> final answer: "Fixed the timezone bug; tests pass."
Agent chạy test, đọc file, sửa file, rồi ở lượt thứ tư trả lời rằng đã sửa lỗi múi giờ và test đã qua.
Mỗi lượt là một request API riêng. Nếu system prompt và định nghĩa tool tổng cộng 5.000 token, chúng được gửi 4 lần: 20.000 token đầu vào trước khi tính đến lịch sử hay đầu ra của tool.
Tool có thể là hàm của riêng bạn hoặc đến từ các server MCP, cho phép một agent kết nối với hệ thống file, cơ sở dữ liệu và API SaaS qua một giao thức chung.
Vì sao quan trọng
- Chi phí tăng theo số lượt. Mỗi lượt là một request mới gửi lại hội thoại. Bài ngân sách token cho agent phân tích các token đó đi đâu. Đầu vào từ cache giảm chi phí cho phần đầu lặp lại.
- Context bị lấp đầy. Các lần chạy dài tiến sát giới hạn context window và chất lượng giảm trước cả khi chạm tới. Xem quản lý context cho agent chạy lâu.
- Lỗi cộng dồn. Anthropic lưu ý rằng tính tự chủ kéo theo “higher costs, and the potential for compounding errors.” (Bản dịch: chi phí cao hơn và khả năng lỗi cộng dồn). Hãy thêm điều kiện dừng, guardrail và bước con người phê duyệt cho các hành động làm thay đổi dữ liệu hoặc tiêu tiền.
- Chạy song song. Nhiều agent nghĩa là nhiều request đang xử lý cùng lúc. Giới hạn request đồng thời của nhà cung cấp quyết định bao nhiêu agent chạy được cùng lúc. Bài chi phí multi-agent so sánh giá theo token và giá cố định cho trường hợp này.
Trên BroadNet Inference
Mọi framework agent nhận base URL tương thích OpenAI đều gọi được BroadNet; hướng dẫn OpenAI Agents SDK trình bày cách thiết lập. Tài liệu BroadNet ghi hỗ trợ tool calling cho GLM 5.3 và Qwen3.8 27B. Theo tài liệu BroadNet, một key trả theo mức dùng được 30 request mỗi phút và 4 request đang xử lý cùng lúc.
Các gói giá cố định (Full Moon, Orbit, Meteor) dùng DeepSeek V4.1 Flash mà không có đồng hồ đo token. Mỗi phiên chạy một request tại một thời điểm, đúng như cách một agent đơn lẻ làm việc, nên bạn mua mỗi agent chạy song song một phiên. Tài liệu của BroadNet không liệt kê tool calling cho DeepSeek V4.1 Flash, nên hãy thử các lệnh gọi tool của agent trên model này trước khi dựa vào một gói; muốn có tool calling được ghi trong tài liệu thì dùng GLM 5.3 hoặc Qwen3.8 27B theo hình thức trả theo mức dùng.