BroadRouter

Gọi tool song song (parallel tool calls)

Cập nhật

Gọi tool song song (parallel tool calls) là khi model trả về nhiều lệnh gọi tool trong một phản hồi, ví dụ đọc ba tệp cùng lúc. Ở định dạng OpenAI, chúng là nhiều phần tử trong tool_calls, và đặt parallel_tool_calls bằng false giới hạn model ở không hoặc một lệnh gọi mỗi lượt.

Còn gọi là: parallel tool calls, gọi hàm song song, parallel function calling, gọi nhiều tool cùng lúc, parallel tool calling, parallel_tool_calls, multiple tool calls

Một agent cần ba tệp không phải xin từng tệp qua mỗi lượt đi về. Với parallel tool calls, model xin cả ba cùng lúc.

Cách hoạt động

Trong phản hồi tool calling, message.tool_calls là một danh sách. Với lệnh gọi song song, danh sách có nhiều hơn một phần tử, mỗi phần tử có id, tên hàm và tham số JSON riêng.

"tool_calls": [
  {"id": "call_1", "type": "function", "function": {"name": "read_file", "arguments": "{\"path\": \"a.py\"}"}},
  {"id": "call_2", "type": "function", "function": {"name": "read_file", "arguments": "{\"path\": \"b.py\"}"}}
]

Code của bạn chạy các lệnh gọi và thêm một message tool cho mỗi lệnh gọi, mỗi message có tool_call_id tương ứng, rồi gọi lại model.

  • OpenAI: parallel_tool_calls mặc định là true. Đặt nó thành false sẽ “ensures exactly zero or one tool is called.” (Bản dịch: bảo đảm chỉ có đúng không hoặc một tool được gọi.) Hướng dẫn cảnh báo rằng một snapshot model đôi khi gọi lặp lại cùng một tool, và khuyên tắt tính năng này với snapshot đó.
  • Anthropic: dùng song song được bật mặc định. Tắt bằng disable_parallel_tool_use: true bên trong object tool_choice. Anthropic nói API “doesn’t prescribe an execution order” (Bản dịch: không quy định thứ tự thực thi), và mọi kết quả tool nên được gửi về trong một message user duy nhất để việc song song tiếp tục hoạt động.

Vì sao quan trọng

  • Độ trễ. Ít lượt đi về với model hơn. Các tool độc lập, chỉ đọc có thể chạy cùng lúc ở phía bạn.
  • Thứ tự. Các lệnh gọi có tác dụng phụ, như ghi rồi đọc, có thể phụ thuộc lẫn nhau. Anthropic gợi ý chạy chúng tuần tự. Hoặc tắt tính năng này.
  • Quản lý. Mỗi lệnh gọi cần một kết quả với đúng ID. Thiếu một kết quả là nguyên nhân phổ biến khiến request tiếp theo lỗi.

Trên BroadNet Inference

Tài liệu tham chiếu API của BroadNet mô tả tool calling cho GLM 5.3 và Qwen3.8 27B nhưng không mô tả parallel_tool_calls. Hãy kiểm thử xem prompt của bạn có nhận về nhiều lệnh gọi không và false có được tuân theo không. Lệnh gọi song song đến trong một phản hồi, nên không làm tăng số request của bạn. Việc chạy tool là ở phía bạn. Lưu ý rằng một phiên của gói không giới hạn của BroadNet chỉ cho phép một request tại một thời điểm và chỉ dành cho DeepSeek V4.1 Flash; với key trả theo mức dùng, giới hạn concurrency là 4 request đang xử lý cùng lúc. Bài viết về tool calling với model mở có một vòng lặp chạy được.

Lỗi thường gặp

  • Trả kết quả theo định dạng message khác nhau cho từng lệnh gọi, hoặc bỏ sót một kết quả.
  • Chạy đồng thời các tool phụ thuộc nhau chỉ vì model liệt kê chúng cùng nhau.

Câu hỏi thường gặp

Gọi tool song song có nghĩa là gửi request API song song không?

Không. Model trả về nhiều lệnh gọi trong một phản hồi. Code của bạn chạy chúng, đồng thời hoặc lần lượt, rồi gửi tất cả kết quả trở lại trong request tiếp theo.

Làm sao tắt gọi tool song song?

Ở định dạng OpenAI, đặt parallel_tool_calls bằng false; OpenAI nói thiết lập này “ensures exactly zero or one tool is called” (Bản dịch: bảo đảm chỉ có đúng không hoặc một tool được gọi). Trong API của Anthropic, đặt disable_parallel_tool_use bằng true bên trong tool_choice.

BroadNet Inference có hỗ trợ parallel_tool_calls không?

Tài liệu tham chiếu API của BroadNet không mô tả parallel_tool_calls. Tool calling được ghi cho GLM 5.3 và Qwen3.8 27B; hãy kiểm thử xem chúng có trả về nhiều lệnh gọi không và cờ này có được tuân theo không.

Đọc dạng MarkdownHỏi ChatGPTHỏi ClaudeHỏi Perplexity