BroadRouter
Bắt đầu

Tool calling (gọi tool, function calling)

Cập nhật

Tool calling, còn gọi là function calling, là tính năng của API LLM trong đó model trả về một yêu cầu có cấu trúc để chạy một hàm do nhà phát triển định nghĩa, kèm đối số JSON. Ứng dụng chạy hàm rồi gửi kết quả lại; model không bao giờ tự chạy code.

Còn gọi là: gọi tool, gọi hàm, function calling, tool use, tools, tool_calls

Tool calling là cách model ngôn ngữ tác động ra thế giới bên ngoài: nó yêu cầu code của bạn tra cứu một thứ, chạy một truy vấn hoặc sửa một file, rồi dùng kết quả.

Cách hoạt động

Hướng dẫn của OpenAI mô tả một vòng lặp giữa ứng dụng và model:

  1. Gửi tool. Request liệt kê các hàm với tên, mô tả và một JSON Schema cho đối số.
  2. Nhận lệnh gọi tool. Nếu model cần một tool, nó trả về tên hàm và đối số JSON thay vì câu trả lời cuối cùng.
  3. Chạy hàm. Code của bạn thực thi hàm. Hướng dẫn của OpenAI đặt bước này ở “the application side” (Bản dịch: phía ứng dụng); model không bao giờ tự chạy code.
  4. Trả kết quả kèm ID lệnh gọi tương ứng.
  5. Nhận câu trả lời, hoặc một lệnh gọi tool khác. Lặp lại khi cần.

Trong định dạng Chat Completions, định nghĩa một tool trông như sau:

{
  "type": "function",
  "function": {
    "name": "get_order_status",
    "description": "Look up an order by ID",
    "parameters": {
      "type": "object",
      "properties": { "order_id": { "type": "string" } },
      "required": ["order_id"]
    }
  }
}

Ví dụ này định nghĩa hàm get_order_status tra cứu đơn hàng theo ID, với đối số bắt buộc order_id kiểu chuỗi.

Phản hồi có finish_reason: "tool_calls" và một danh sách tool_calls. Mỗi mục có id, tên hàm và arguments dưới dạng chuỗi JSON. Bạn thêm một message với role: "tool", cùng tool_call_id và kết quả, rồi gọi lại API.

Vì sao quan trọng

  • Agent. Coding agent, bot hỗ trợ khách hàng và trợ lý dữ liệu phần lớn là các vòng lặp gọi tool.
  • Chi phí. Mỗi vòng là một request mới gửi lại hội thoại, định nghĩa tool và kết quả tool dưới dạng token đầu vào. Vòng lặp tool dài khiến đầu vào từ cache và thứ tự tool cố định trở nên quan trọng.
  • An toàn. Đối số do model tạo ra. Hãy kiểm tra chúng trước khi chạy bất cứ thứ gì làm thay đổi dữ liệu hoặc tiêu tiền.

Với câu trả lời phải khớp một schema mà không cần hàm nào, đầu ra có cấu trúc là công cụ đơn giản hơn.

Trên BroadNet Inference

Tài liệu BroadNet ghi hỗ trợ tool calling cho GLM 5.3 và Qwen3.8 27B, cả hai đều có đầu ra có cấu trúc và suy luận. Tài liệu không nêu hỗ trợ tool cho DeepSeek V4.1 Flash hay BroadNet Gemma 4 VL 26B. Hãy thử vòng lặp tool của bạn trên chính model bạn định đưa vào sản phẩm.

Cả hai model được liệt kê đều suy luận trước khi trả lời, và suy luận được tính vào max_tokens, nên hãy chừa chỗ, nếu không lệnh gọi tool có thể bị cắt. Xem token suy luận. Với các công cụ agent có định dạng tool riêng, hãy xem hướng dẫn Cline và hướng dẫn Vercel AI SDK.

Lỗi thường gặp

  • Parse arguments như một object. Nó đến dưới dạng chuỗi JSON; hãy decode và xử lý lỗi.
  • Quên tool_call_id. Thiếu nó, model không thể ghép kết quả với lệnh gọi.

Câu hỏi thường gặp

Model có tự chạy hàm của tôi không?

Không. Model chỉ trả về tên hàm và đối số. Code của bạn quyết định có chạy hay không, chạy nó, rồi gửi kết quả lại trong một tool message.

Model có thể gọi nhiều tool cùng lúc không?

Nhiều API cho phép gọi tool song song, trả về nhiều mục trong tool_calls trong cùng một phản hồi. Code của bạn chạy từng mục và trả về một kết quả cho mỗi tool_call_id.

Model BroadNet nào hỗ trợ tool calling?

Tài liệu BroadNet ghi hỗ trợ tool cho GLM 5.3 và Qwen3.8 27B. Tài liệu không nêu hỗ trợ tool cho DeepSeek V4.1 Flash hay BroadNet Gemma 4 VL 26B, nên hãy thử trước khi dựa vào chúng.

Đọc dạng MarkdownHỏi ChatGPTHỏi ClaudeHỏi Perplexity