BroadRouter
Magsimula

Tool calling (function calling)

Na-update

Ang tool calling, tinatawag ding function calling, ay feature ng LLM API kung saan nagbabalik ang model ng structured na request para magpatakbo ng function na tinukoy ng developer, kasama ang JSON arguments. Ang application ang nagpapatakbo ng function at nagpapadala pabalik ng resulta; hindi kailanman nagpapatakbo ng code ang model mismo.

Tinatawag ding: tool calling, function calling, tool use, tools, tool_calls, pagtawag ng tool

Sa tool calling kumikilos ang isang language model sa labas ng sarili nito: hinihiling nito sa code mo na maghanap ng impormasyon, magpatakbo ng query o mag-edit ng file, saka ginagamit ang resulta.

Paano ito gumagana

Inilalarawan ng gabay ng OpenAI ang isang loop sa pagitan ng app mo at ng model:

  1. Ipadala ang mga tool. Nakalista sa request ang mga function, bawat isa may pangalan, description at JSON Schema para sa arguments.
  2. Tumanggap ng tool call. Kung kailangan ng model ng tool, ibinabalik nito ang pangalan ng function at ang JSON arguments sa halip na huling sagot.
  3. Patakbuhin ito. Ang code mo ang nagpapatakbo ng function. Inilalagay ng gabay ng OpenAI ang hakbang na ito sa “the application side” (panig ng application); hindi kailanman nagpapatakbo ng code ang model mismo.
  4. Ibalik ang resulta kasama ang katugmang call ID.
  5. Tanggapin ang sagot, o isa pang tool call. Ulitin hangga’t kailangan.

Sa format ng Chat Completions, ganito ang hitsura ng isang tool definition. Ang example ay function na get_order_status na naghahanap ng order ayon sa ID, at may iisang required na argument na order_id:

{
  "type": "function",
  "function": {
    "name": "get_order_status",
    "description": "Look up an order by ID",
    "parameters": {
      "type": "object",
      "properties": { "order_id": { "type": "string" } },
      "required": ["order_id"]
    }
  }
}

May finish_reason: "tool_calls" at isang tool_calls list ang sagot. Bawat entry ay may id, ang pangalan ng function at arguments bilang JSON string. Magdagdag ka ng mensaheng may role: "tool", ang parehong tool_call_id at ang resulta, saka tawagin ulit ang API.

Bakit ito mahalaga

  • Mga agent. Ang mga coding agent, support bot at data assistant ay kadalasang paikot-ikot na tool call.
  • Gastos. Bawat balikan ay bagong request na nagpapadala ulit ng usapan, tool definitions at tool results bilang input token. Sa mahahabang tool loop, mahalaga ang cached input at stable na pagkakasunod ng mga tool.
  • Kaligtasan. Galing sa model ang arguments. I-validate ang mga ito bago magpatakbo ng anumang nagbabago ng data o gumagastos ng pera.

Kung ang sagot ay kailangang tumugma sa isang schema pero hindi kailangan ng function, mas simple ang structured output.

Sa BroadNet Inference

Nakalista sa docs ng BroadNet ang tool calling para sa GLM 5.3 at Qwen3.8 27B, na parehong may structured output at reasoning. Hindi sinasabi ng docs na may tool support ang DeepSeek V4.1 Flash o BroadNet Gemma 4 VL 26B. I-test ang sarili mong tool loop sa model na balak mong gamitin sa production.

Parehong nagre-reason ang dalawang nakalistang model bago sumagot, at kasama ang reasoning sa max_tokens, kaya maglaan ng espasyo o puwedeng maputol ang isang tool call. Tingnan ang reasoning tokens. Para sa mga agent tool na may sariling tool format, tingnan ang gabay sa Cline at ang gabay sa Vercel AI SDK.

Mga karaniwang pagkakamali

  • Pag-parse sa arguments na parang object. JSON string ang dumarating; i-decode ito at hawakan ang mga error.
  • Pagkalimot sa tool_call_id. Hindi maitutugma ng model ang mga resulta sa mga call kung wala ito.

Mga tanong

Ang model ba ang nagpapatakbo ng function ko?

Hindi. Pangalan ng function at arguments lang ang ibinabalik ng model. Ang code mo ang nagpapasya kung patatakbuhin ito, ang nagpapatakbo nito, at ang nagpapadala pabalik ng resulta sa isang tool message.

Puwede bang tumawag ang model ng ilang tool nang sabay?

Maraming API ang pumapayag sa parallel tool calls, kaya ilang entry sa tool_calls ang ibinabalik sa iisang response. Patatakbuhin ng code mo ang bawat isa at magbabalik ng isang resulta kada tool_call_id.

Aling mga model ng BroadNet ang sumusuporta sa tool calling?

Nakalista sa docs ng BroadNet ang tools para sa GLM 5.3 at Qwen3.8 27B. Hindi nito sinasabing may tool support ang DeepSeek V4.1 Flash o BroadNet Gemma 4 VL 26B, kaya mag-test muna bago umasa rito sa mga iyon.

Basahin bilang MarkdownTanungin ang ChatGPTTanungin ang ClaudeTanungin ang Perplexity