Tool calling là cách model ngôn ngữ tác động ra thế giới bên ngoài: nó yêu cầu code của bạn tra cứu một thứ, chạy một truy vấn hoặc sửa một file, rồi dùng kết quả.
Cách hoạt động
Hướng dẫn của OpenAI mô tả một vòng lặp giữa ứng dụng và model:
- Gửi tool. Request liệt kê các hàm với tên, mô tả và một JSON Schema cho đối số.
- Nhận lệnh gọi tool. Nếu model cần một tool, nó trả về tên hàm và đối số JSON thay vì câu trả lời cuối cùng.
- Chạy hàm. Code của bạn thực thi hàm. Hướng dẫn của OpenAI đặt bước này ở “the application side” (Bản dịch: phía ứng dụng); model không bao giờ tự chạy code.
- Trả kết quả kèm ID lệnh gọi tương ứng.
- Nhận câu trả lời, hoặc một lệnh gọi tool khác. Lặp lại khi cần.
Trong định dạng Chat Completions, định nghĩa một tool trông như sau:
{
"type": "function",
"function": {
"name": "get_order_status",
"description": "Look up an order by ID",
"parameters": {
"type": "object",
"properties": { "order_id": { "type": "string" } },
"required": ["order_id"]
}
}
}
Ví dụ này định nghĩa hàm get_order_status tra cứu đơn hàng theo ID, với đối số bắt buộc order_id kiểu chuỗi.
Phản hồi có finish_reason: "tool_calls" và một danh sách tool_calls. Mỗi mục có id, tên hàm và arguments dưới dạng chuỗi JSON. Bạn thêm một message với role: "tool", cùng tool_call_id và kết quả, rồi gọi lại API.
Vì sao quan trọng
- Agent. Coding agent, bot hỗ trợ khách hàng và trợ lý dữ liệu phần lớn là các vòng lặp gọi tool.
- Chi phí. Mỗi vòng là một request mới gửi lại hội thoại, định nghĩa tool và kết quả tool dưới dạng token đầu vào. Vòng lặp tool dài khiến đầu vào từ cache và thứ tự tool cố định trở nên quan trọng.
- An toàn. Đối số do model tạo ra. Hãy kiểm tra chúng trước khi chạy bất cứ thứ gì làm thay đổi dữ liệu hoặc tiêu tiền.
Với câu trả lời phải khớp một schema mà không cần hàm nào, đầu ra có cấu trúc là công cụ đơn giản hơn.
Trên BroadNet Inference
Tài liệu BroadNet ghi hỗ trợ tool calling cho GLM 5.3 và Qwen3.8 27B, cả hai đều có đầu ra có cấu trúc và suy luận. Tài liệu không nêu hỗ trợ tool cho DeepSeek V4.1 Flash hay BroadNet Gemma 4 VL 26B. Hãy thử vòng lặp tool của bạn trên chính model bạn định đưa vào sản phẩm.
Cả hai model được liệt kê đều suy luận trước khi trả lời, và suy luận được tính vào max_tokens, nên hãy chừa chỗ, nếu không lệnh gọi tool có thể bị cắt. Xem token suy luận. Với các công cụ agent có định dạng tool riêng, hãy xem hướng dẫn Cline và hướng dẫn Vercel AI SDK.
Lỗi thường gặp
- Parse
argumentsnhư một object. Nó đến dưới dạng chuỗi JSON; hãy decode và xử lý lỗi. - Quên
tool_call_id. Thiếu nó, model không thể ghép kết quả với lệnh gọi.