Tool calling cho phép model yêu cầu code của bạn chạy một function. tool_choice quyết định việc đó là tùy chọn, bắt buộc hay bị tắt.
Cách hoạt động
Bạn gửi tools (tên function, mô tả và tham số dạng JSON Schema) và có thể gửi thêm tool_choice.
| Giá trị OpenAI | Ý nghĩa | Tương đương Anthropic |
|---|---|---|
"auto" |
Model chọn trả tin nhắn hoặc một hay nhiều lệnh gọi; mặc định khi có gửi tool | {"type": "auto"} |
"required" |
“The model must call one or more tools” (Bản dịch: model phải gọi một hoặc nhiều tool) | {"type": "any"} |
{"type": "function", "function": {"name": "get_weather"}} |
Ép gọi đúng tool đó | {"type": "tool", "name": "get_weather"} |
"none" |
Không gọi tool; mặc định khi không có tool | {"type": "none"} |
Hướng dẫn function calling của OpenAI còn mô tả tùy chọn allowed-tools, giới hạn lệnh gọi trong một tập con mà vẫn giữ nguyên danh sách tool đầy đủ, và gợi ý dùng nó để tận dụng prompt caching.
{"model": "broadnet/glm-5.3",
"messages": [{"role": "user", "content": "Weather in Riyadh?"}],
"tools": [{"type": "function", "function": {"name": "get_weather",
"parameters": {"type": "object", "properties": {"city": {"type": "string"}},
"required": ["city"]}}}],
"tool_choice": {"type": "function", "function": {"name": "get_weather"}}}
Tài liệu của Anthropic lưu ý rằng với any hoặc tool, API sẽ prefill câu trả lời, nên model không viết chữ nào trước lệnh gọi, và một số model Claude từ chối việc ép dùng tool và trả về lỗi 400.
Vì sao quan trọng
- Pipeline ổn định. Một bước trích xuất bắt buộc kết thúc bằng lệnh gọi thì không nên nhận về một câu trả lời văn bản dài dòng. Ép gọi tool loại bỏ nhánh đó.
- Lượt an toàn. Đặt
nonecho lượt tóm tắt cuối cùng giúp model không bắt đầu thêm một vòng gọi tool, trong khi vẫn giữ nguyên danh sách tool. - Caching. Anthropic nói việc thay đổi
tool_choicelàm mất hiệu lực các khối tin nhắn đã cache, nên hãy giữ nó ổn định giữa các lượt khi có thể.
Trên BroadNet Inference
Tài liệu tham khảo API của BroadNet chỉ mô tả tool calling cho GLM 5.3 và Qwen3.8 27B, và không mô tả tool_choice. Hãy thử từng giá trị bạn định dùng: gửi required hoặc tên một function rồi xác nhận câu trả lời có chứa tool_calls. Nếu việc ép gọi không hoạt động như mong đợi, hãy dùng auto kèm chỉ dẫn rõ ràng và kiểm tra kết quả, hoặc dùng đầu ra có cấu trúc trên cùng các model đó. Bài tool calling với model mở có sẵn vòng lặp kiểm tra và thử lại.
Lỗi thường gặp
- Ép gọi tool ở mọi lượt của vòng lặp agent, khiến nó không bao giờ đưa ra được câu trả lời cuối.
- Cho rằng
requirednghĩa là một tool cụ thể. Nó có nghĩa là tool nào cũng được.