BroadRouter
Mulakan

Tool calling (panggilan alatan)

Dikemas kini

Tool calling, juga dipanggil function calling, ialah ciri API LLM di mana model memulangkan permintaan berstruktur untuk menjalankan fungsi yang ditakrifkan oleh pembangun, bersama argumen JSON. Aplikasi menjalankan fungsi itu dan menghantar hasilnya kembali; model sendiri tidak pernah menjalankan kod.

Juga dikenali sebagai: panggilan alatan, panggilan fungsi, tool calling, function calling, tool use, tools, tool_calls

Tool calling ialah cara model bahasa bertindak di luar dirinya: ia meminta kod anda mencari sesuatu, menjalankan pertanyaan atau menyunting fail, kemudian menggunakan hasilnya.

Cara ia berfungsi

Panduan OpenAI menerangkan satu gelung antara aplikasi anda dan model:

  1. Hantar alatan. Permintaan menyenaraikan fungsi dengan nama, penerangan dan JSON Schema untuk argumen.
  2. Terima panggilan alatan. Jika model memerlukan alatan, ia memulangkan nama fungsi dan argumen JSON dan bukan jawapan akhir.
  3. Jalankan. Kod anda melaksanakan fungsi itu. Panduan OpenAI meletakkan langkah ini di “the application side” (pihak aplikasi); model sendiri tidak pernah menjalankan kod.
  4. Pulangkan hasil bersama ID panggilan yang sepadan.
  5. Terima jawapan, atau panggilan alatan seterusnya. Ulang mengikut keperluan.

Dalam format Chat Completions, definisi alatan kelihatan seperti di bawah. Contohnya ialah fungsi get_order_status yang mencari pesanan mengikut ID, dengan satu argumen wajib, order_id:

{
  "type": "function",
  "function": {
    "name": "get_order_status",
    "description": "Look up an order by ID",
    "parameters": {
      "type": "object",
      "properties": { "order_id": { "type": "string" } },
      "required": ["order_id"]
    }
  }
}

Jawapan mempunyai finish_reason: "tool_calls" dan senarai tool_calls. Setiap entri mempunyai id, nama fungsi dan arguments sebagai rentetan JSON. Anda menambah mesej dengan role: "tool", tool_call_id yang sama dan hasilnya, kemudian memanggil API sekali lagi.

Mengapa ia penting

  • Ejen. Ejen pengekodan, bot sokongan dan pembantu data kebanyakannya ialah gelung panggilan alatan.
  • Kos. Setiap pusingan ialah permintaan baharu yang menghantar semula perbualan, definisi alatan dan hasil alatan sebagai token input. Gelung alatan yang panjang menjadikan input cache dan susunan alatan yang stabil penting.
  • Keselamatan. Argumen datang daripada model. Sahkan argumen itu sebelum menjalankan apa-apa yang mengubah data atau membelanjakan wang.

Untuk jawapan yang mesti mengikut skema tetapi tidak memerlukan fungsi, output berstruktur ialah pilihan yang lebih ringkas.

Di BroadNet Inference

Dokumentasi BroadNet menyenaraikan tool calling untuk GLM 5.3 dan Qwen3.8 27B, kedua-duanya dengan output berstruktur dan penaakulan. Dokumentasi tidak menyatakan sokongan alatan untuk DeepSeek V4.1 Flash atau BroadNet Gemma 4 VL 26B. Uji gelung alatan anda sendiri pada model yang anda rancang untuk digunakan dalam produksi.

Kedua-dua model yang disenaraikan membuat penaakulan sebelum menjawab, dan penaakulan dikira dalam max_tokens, jadi tinggalkan ruang atau panggilan alatan boleh terpotong. Lihat token penaakulan. Untuk alatan ejen yang membawa format alatan sendiri, lihat panduan Cline dan panduan Vercel AI SDK.

Kesilapan biasa

  • Menghuraikan arguments sebagai objek. Ia tiba sebagai rentetan JSON; nyahkodnya dan kendalikan ralat.
  • Terlupa tool_call_id. Model tidak dapat memadankan hasil dengan panggilan tanpanya.

Soalan lazim

Adakah model menjalankan fungsi saya?

Tidak. Model hanya memulangkan nama fungsi dan argumen. Kod anda yang memutuskan sama ada untuk menjalankannya, menjalankannya, dan menghantar hasilnya kembali dalam mesej tool.

Bolehkah model memanggil beberapa alatan sekali gus?

Banyak API membenarkan panggilan alatan selari (parallel tool calls), dengan beberapa entri dalam tool_calls dalam satu respons. Kod anda menjalankan setiap satu dan memulangkan satu hasil bagi setiap tool_call_id.

Model BroadNet manakah yang menyokong tool calling?

Dokumentasi BroadNet menyenaraikan tools untuk GLM 5.3 dan Qwen3.8 27B. Ia tidak menyatakan sokongan alatan untuk DeepSeek V4.1 Flash atau BroadNet Gemma 4 VL 26B, jadi uji dahulu sebelum bergantung padanya pada model tersebut.

Baca sebagai MarkdownTanya ChatGPTTanya ClaudeTanya Perplexity