BroadRouter
Mulai

Tool calling (function calling)

Diperbarui

Tool calling, disebut juga function calling, adalah fitur API LLM di mana model mengembalikan permintaan terstruktur untuk menjalankan fungsi yang didefinisikan developer, lengkap dengan argumen JSON. Aplikasi yang menjalankan fungsi itu dan mengirim hasilnya kembali; model tidak pernah menjalankan kode sendiri.

Disebut juga: tool calling, function calling, pemanggilan fungsi, pemanggilan tool, tool use, tools, tool_calls

Tool calling adalah cara model bahasa bertindak di dunia nyata: model meminta kode Anda mencari sesuatu, menjalankan query, atau mengedit file, lalu memakai hasilnya.

Cara kerjanya

Panduan OpenAI menggambarkan sebuah loop antara aplikasi Anda dan model:

  1. Kirim tools. Permintaan mencantumkan fungsi dengan nama, deskripsi, dan JSON Schema untuk argumennya.
  2. Terima tool call. Jika model butuh tool, model mengembalikan nama fungsi dan argumen JSON, bukan jawaban akhir.
  3. Jalankan. Kode Anda mengeksekusi fungsinya. Panduan OpenAI menempatkan langkah ini di “the application side” (terjemahan: sisi aplikasi); model tidak pernah menjalankan kode sendiri.
  4. Kembalikan hasilnya dengan ID panggilan yang sesuai.
  5. Terima jawaban, atau tool call berikutnya. Ulangi sesuai kebutuhan.

Dalam format Chat Completions, definisi tool terlihat seperti ini:

{
  "type": "function",
  "function": {
    "name": "get_order_status",
    "description": "Look up an order by ID",
    "parameters": {
      "type": "object",
      "properties": { "order_id": { "type": "string" } },
      "required": ["order_id"]
    }
  }
}

(description di sini menyatakan bahwa fungsi tersebut mencari pesanan berdasarkan ID.) Balasannya berisi finish_reason: "tool_calls" dan daftar tool_calls. Setiap entri punya id, nama fungsi, dan arguments berupa string JSON. Anda menambahkan pesan dengan role: "tool", tool_call_id yang sama, dan hasilnya, lalu memanggil API lagi.

Kenapa ini penting

  • Agen. Agen coding, bot dukungan, dan asisten data sebagian besar adalah loop tool call.
  • Biaya. Setiap putaran adalah permintaan baru yang mengirim ulang percakapan, definisi tool, dan hasil tool sebagai token input. Loop tool yang panjang membuat input cache dan urutan tool yang stabil menjadi penting.
  • Keamanan. Argumen berasal dari model. Validasi dulu sebelum menjalankan apa pun yang mengubah data atau mengeluarkan uang.

Untuk balasan yang harus sesuai schema tetapi tidak membutuhkan fungsi, output terstruktur adalah alat yang lebih sederhana.

Di BroadNet Inference

Dokumentasi BroadNet mencantumkan tool calling untuk GLM 5.3 dan Qwen3.8 27B, keduanya dengan output terstruktur dan penalaran. Dokumentasinya tidak menyebutkan dukungan tools untuk DeepSeek V4.1 Flash atau BroadNet Gemma 4 VL 26B. Uji loop tool Anda sendiri di model yang akan Anda rilis.

Kedua model yang dicantumkan bernalar sebelum menjawab, dan penalaran ikut dihitung dalam max_tokens, jadi sisakan ruang agar tool call tidak terpotong. Lihat token penalaran. Untuk alat agen yang membawa format tool sendiri, lihat panduan Cline dan panduan Vercel AI SDK.

Kesalahan umum

  • Mem-parse arguments sebagai objek. Nilainya datang sebagai string JSON; decode lalu tangani error-nya.
  • Lupa tool_call_id. Tanpanya, model tidak bisa mencocokkan hasil dengan panggilannya.

Pertanyaan umum

Apakah model yang menjalankan fungsi saya?

Tidak. Model hanya mengembalikan nama fungsi dan argumennya. Kode Anda yang memutuskan apakah fungsi itu dijalankan, menjalankannya, dan mengirim hasilnya kembali dalam pesan tool.

Bisakah model memanggil beberapa tool sekaligus?

Banyak API mengizinkan parallel tool calls, yaitu beberapa entri di tool_calls dalam satu respons. Kode Anda menjalankan masing-masing dan mengembalikan satu hasil per tool_call_id.

Model BroadNet mana yang mendukung tool calling?

Dokumentasi BroadNet mencantumkan tools untuk GLM 5.3 dan Qwen3.8 27B. Dukungan tools tidak disebutkan untuk DeepSeek V4.1 Flash atau BroadNet Gemma 4 VL 26B, jadi uji dulu sebelum mengandalkannya di sana.

Baca sebagai MarkdownTanya ChatGPTTanya ClaudeTanya Perplexity