Tool calling ialah cara model bahasa bertindak di luar dirinya: ia meminta kod anda mencari sesuatu, menjalankan pertanyaan atau menyunting fail, kemudian menggunakan hasilnya.
Cara ia berfungsi
Panduan OpenAI menerangkan satu gelung antara aplikasi anda dan model:
- Hantar alatan. Permintaan menyenaraikan fungsi dengan nama, penerangan dan JSON Schema untuk argumen.
- Terima panggilan alatan. Jika model memerlukan alatan, ia memulangkan nama fungsi dan argumen JSON dan bukan jawapan akhir.
- Jalankan. Kod anda melaksanakan fungsi itu. Panduan OpenAI meletakkan langkah ini di “the application side” (pihak aplikasi); model sendiri tidak pernah menjalankan kod.
- Pulangkan hasil bersama ID panggilan yang sepadan.
- Terima jawapan, atau panggilan alatan seterusnya. Ulang mengikut keperluan.
Dalam format Chat Completions, definisi alatan kelihatan seperti di bawah. Contohnya ialah fungsi get_order_status yang mencari pesanan mengikut ID, dengan satu argumen wajib, order_id:
{
"type": "function",
"function": {
"name": "get_order_status",
"description": "Look up an order by ID",
"parameters": {
"type": "object",
"properties": { "order_id": { "type": "string" } },
"required": ["order_id"]
}
}
}
Jawapan mempunyai finish_reason: "tool_calls" dan senarai tool_calls. Setiap entri mempunyai id, nama fungsi dan arguments sebagai rentetan JSON. Anda menambah mesej dengan role: "tool", tool_call_id yang sama dan hasilnya, kemudian memanggil API sekali lagi.
Mengapa ia penting
- Ejen. Ejen pengekodan, bot sokongan dan pembantu data kebanyakannya ialah gelung panggilan alatan.
- Kos. Setiap pusingan ialah permintaan baharu yang menghantar semula perbualan, definisi alatan dan hasil alatan sebagai token input. Gelung alatan yang panjang menjadikan input cache dan susunan alatan yang stabil penting.
- Keselamatan. Argumen datang daripada model. Sahkan argumen itu sebelum menjalankan apa-apa yang mengubah data atau membelanjakan wang.
Untuk jawapan yang mesti mengikut skema tetapi tidak memerlukan fungsi, output berstruktur ialah pilihan yang lebih ringkas.
Di BroadNet Inference
Dokumentasi BroadNet menyenaraikan tool calling untuk GLM 5.3 dan Qwen3.8 27B, kedua-duanya dengan output berstruktur dan penaakulan. Dokumentasi tidak menyatakan sokongan alatan untuk DeepSeek V4.1 Flash atau BroadNet Gemma 4 VL 26B. Uji gelung alatan anda sendiri pada model yang anda rancang untuk digunakan dalam produksi.
Kedua-dua model yang disenaraikan membuat penaakulan sebelum menjawab, dan penaakulan dikira dalam max_tokens, jadi tinggalkan ruang atau panggilan alatan boleh terpotong. Lihat token penaakulan. Untuk alatan ejen yang membawa format alatan sendiri, lihat panduan Cline dan panduan Vercel AI SDK.
Kesilapan biasa
- Menghuraikan
argumentssebagai objek. Ia tiba sebagai rentetan JSON; nyahkodnya dan kendalikan ralat. - Terlupa
tool_call_id. Model tidak dapat memadankan hasil dengan panggilan tanpanya.