Tool calling adalah cara model bahasa bertindak di dunia nyata: model meminta kode Anda mencari sesuatu, menjalankan query, atau mengedit file, lalu memakai hasilnya.
Cara kerjanya
Panduan OpenAI menggambarkan sebuah loop antara aplikasi Anda dan model:
- Kirim tools. Permintaan mencantumkan fungsi dengan nama, deskripsi, dan JSON Schema untuk argumennya.
- Terima tool call. Jika model butuh tool, model mengembalikan nama fungsi dan argumen JSON, bukan jawaban akhir.
- Jalankan. Kode Anda mengeksekusi fungsinya. Panduan OpenAI menempatkan langkah ini di “the application side” (terjemahan: sisi aplikasi); model tidak pernah menjalankan kode sendiri.
- Kembalikan hasilnya dengan ID panggilan yang sesuai.
- Terima jawaban, atau tool call berikutnya. Ulangi sesuai kebutuhan.
Dalam format Chat Completions, definisi tool terlihat seperti ini:
{
"type": "function",
"function": {
"name": "get_order_status",
"description": "Look up an order by ID",
"parameters": {
"type": "object",
"properties": { "order_id": { "type": "string" } },
"required": ["order_id"]
}
}
}
(description di sini menyatakan bahwa fungsi tersebut mencari pesanan berdasarkan ID.) Balasannya berisi finish_reason: "tool_calls" dan daftar tool_calls. Setiap entri punya id, nama fungsi, dan arguments berupa string JSON. Anda menambahkan pesan dengan role: "tool", tool_call_id yang sama, dan hasilnya, lalu memanggil API lagi.
Kenapa ini penting
- Agen. Agen coding, bot dukungan, dan asisten data sebagian besar adalah loop tool call.
- Biaya. Setiap putaran adalah permintaan baru yang mengirim ulang percakapan, definisi tool, dan hasil tool sebagai token input. Loop tool yang panjang membuat input cache dan urutan tool yang stabil menjadi penting.
- Keamanan. Argumen berasal dari model. Validasi dulu sebelum menjalankan apa pun yang mengubah data atau mengeluarkan uang.
Untuk balasan yang harus sesuai schema tetapi tidak membutuhkan fungsi, output terstruktur adalah alat yang lebih sederhana.
Di BroadNet Inference
Dokumentasi BroadNet mencantumkan tool calling untuk GLM 5.3 dan Qwen3.8 27B, keduanya dengan output terstruktur dan penalaran. Dokumentasinya tidak menyebutkan dukungan tools untuk DeepSeek V4.1 Flash atau BroadNet Gemma 4 VL 26B. Uji loop tool Anda sendiri di model yang akan Anda rilis.
Kedua model yang dicantumkan bernalar sebelum menjawab, dan penalaran ikut dihitung dalam max_tokens, jadi sisakan ruang agar tool call tidak terpotong. Lihat token penalaran. Untuk alat agen yang membawa format tool sendiri, lihat panduan Cline dan panduan Vercel AI SDK.
Kesalahan umum
- Mem-parse
argumentssebagai objek. Nilainya datang sebagai string JSON; decode lalu tangani error-nya. - Lupa
tool_call_id. Tanpanya, model tidak bisa mencocokkan hasil dengan panggilannya.