Tool calling membolehkan model meminta kod anda menjalankan fungsi. tool_choice menentukan sama ada itu pilihan, wajib atau dimatikan.
Cara ia berfungsi
Anda menghantar tools (nama fungsi, penerangan dan parameter JSON Schema) dan, jika mahu, tool_choice.
| Nilai OpenAI | Maksud | Setara Anthropic |
|---|---|---|
"auto" |
Model memilih mesej atau satu atau lebih panggilan; lalai apabila alat dihantar | {"type": "auto"} |
"required" |
“The model must call one or more tools” (Terjemahan BroadRouter: model mesti memanggil satu atau lebih alat) | {"type": "any"} |
{"type": "function", "function": {"name": "get_weather"}} |
Memaksa alat yang satu itu | {"type": "tool", "name": "get_weather"} |
"none" |
Tiada panggilan alat; lalai apabila tiada alat | {"type": "none"} |
Panduan function calling OpenAI juga menerangkan pilihan allowed-tools yang mengehadkan panggilan kepada subset sambil mengekalkan senarai alat penuh tanpa perubahan, yang dicadangkannya untuk prompt caching.
{"model": "broadnet/glm-5.3",
"messages": [{"role": "user", "content": "Weather in Riyadh?"}],
"tools": [{"type": "function", "function": {"name": "get_weather",
"parameters": {"type": "object", "properties": {"city": {"type": "string"}},
"required": ["city"]}}}],
"tool_choice": {"type": "function", "function": {"name": "get_weather"}}}
Dokumentasi Anthropic menyatakan bahawa dengan any atau tool, API mengisi awal (prefill) balasan, jadi model tidak menulis teks sebelum panggilan, dan sesetengah model Claude menolak penggunaan alat secara paksa dan memulangkan ralat 400.
Mengapa ia penting
- Saluran paip yang boleh dipercayai. Langkah pengekstrakan yang mesti berakhir dengan panggilan tidak patut menerima balasan teks yang meleret. Memaksa panggilan membuang cabang itu.
- Giliran yang selamat. Menetapkan
noneuntuk giliran ringkasan terakhir menghalang model daripada memulakan pusingan alat baharu sambil mengekalkan senarai alat yang sama. - Caching. Anthropic menyatakan mengubah
tool_choicemembatalkan blok mesej yang dicache, jadi kekalkannya stabil merentas giliran jika boleh.
Di BroadNet Inference
Rujukan API BroadNet mendokumenkan tool calling untuk GLM 5.3 dan Qwen3.8 27B sahaja, dan tidak mendokumenkan tool_choice. Uji setiap nilai yang anda rancang untuk guna: hantar required atau fungsi bernama dan sahkan balasan mengandungi tool_calls. Jika paksaan tidak berfungsi, gunakan auto dengan arahan yang jelas dan sahkan hasilnya, atau gunakan output berstruktur pada model yang sama. Hantaran tool calling model terbuka mempunyai gelung sahkan-dan-cuba-semula.
Kesilapan biasa
- Memaksa alat pada setiap giliran gelung ejen, sehingga ia tidak pernah dapat memberi jawapan akhir.
- Menganggap
requiredbermaksud alat tertentu. Ia bermaksud mana-mana alat.