工具调用是语言模型对外部世界采取行动的方式:它请你的代码去查点东西、跑个查询或改个文件,然后利用结果。
工作原理
OpenAI 的指南描述了应用与模型之间的一个循环:
- 发送工具。 请求中列出函数,每个函数有名称、描述和描述参数的 JSON Schema。
- 收到工具调用。 如果模型需要工具,它返回的是函数名和 JSON 参数,而不是最终回答。
- 执行。 你的代码执行这个函数。OpenAI 的指南把这一步放在 “the application side”(译文:应用一侧);模型自己从不执行代码。
- 返回结果,并附上对应的调用 ID。
- 拿到回答,或者又一次工具调用。按需重复。
在 Chat Completions 格式中,工具定义是这样的:
{
"type": "function",
"function": {
"name": "get_order_status",
"description": "Look up an order by ID",
"parameters": {
"type": "object",
"properties": { "order_id": { "type": "string" } },
"required": ["order_id"]
}
}
}
(示例函数的描述意思是:按 ID 查询订单。)
回复中会带有 finish_reason: "tool_calls" 和一个 tool_calls 列表。每个条目都有一个 id、函数名,以及 JSON 字符串形式的 arguments。你追加一条 role: "tool" 的消息,带上相同的 tool_call_id 和结果,然后再次调用 API。
为什么重要
- 智能体。 编程智能体、客服机器人和数据助手,大多就是一轮轮的工具调用循环。
- 费用。 每一轮往返都是一个新请求,会把对话、工具定义和工具结果作为输入 token 重新发送。工具循环越长,缓存输入和稳定的工具顺序就越重要。
- 安全。 参数来自模型。在执行任何会修改数据或花钱的操作之前,先校验参数。
如果回复只需要符合某个 schema、并不需要调用函数,结构化输出是更简单的工具。
在 BroadNet Inference 上
BroadNet 的文档为 GLM 5.3 和 Qwen3.8 27B 列出了工具调用,两者也都支持结构化输出和思考。文档没有说明 DeepSeek V4.1 Flash 或 BroadNet Gemma 4 VL 26B 是否支持工具。请在你打算上线的模型上测试自己的工具循环。
这两个列出的模型都会先思考再回答,而思考内容计入 max_tokens,所以要留出空间,否则工具调用可能被截断。参见思考 token。对于自带工具格式的智能体工具,请看 Cline 指南和 Vercel AI SDK 指南。
常见错误
- 把
arguments当成对象来解析。它是一个 JSON 字符串;要先解码并处理错误。 - 忘了
tool_call_id。没有它,模型无法把结果和调用对应起来。