---
title: "Tool calling model terbuka: skema, retry, dan kode | BroadRouter"
description: "Function calling di model terbuka yang kompatibel OpenAI: tips skema, tool call paralel, lima penyebab tool call gagal, dan loop Python yang memvalidasi dan retry."
url: https://broadrouter.com/id/blog/tool-calling-open-models/
lang: id
updated: 2026-11-14
publisher: BroadRouter (a BroadNet site); API by BroadNet Inference, https://inference.broadnet.ai
---

Diterjemahkan dari bahasa Inggris dengan bantuan AI. [Baca versi asli bahasa Inggris](https://broadrouter.com/blog/tool-calling-open-models/) (diperbarui 2026-11-16).

# Tool calling dengan model terbuka: skema, panggilan paralel, retry

Oleh tim BroadNet Inference · 4 menit baca · Dipublikasikan 2026-11-14 · Diperbarui 2026-11-16

Model terbuka di API yang kompatibel dengan OpenAI memakai format tools dan tool\_calls yang sama dengan OpenAI. Buat skema kecil dan datar, parse argumen sebagai string JSON, validasi sebelum menjalankan apa pun, dan kembalikan error ke model sebagai hasil tool agar model bisa mencoba lagi. Batasi jumlah langkah. Di BroadNet, GLM 5.3 dan Qwen3.8 27B tercantum mendukung tools.

## Poin penting

-   Format datanya sama dengan OpenAI: daftar tools masuk, tool\_calls keluar, lalu satu pesan role tool per tool\_call\_id.
-   Argumen datang sebagai string JSON. Dokumentasi vLLM memperingatkan bahwa saat vLLM mengekstrak tool call dari teks mentah, argumennya "may occasionally be malformed or violate the function's parameter schema" (Terjemahan BroadRouter: sesekali bisa rusak atau melanggar skema parameter fungsi).
-   Validasi setiap panggilan, kirim error kembali sebagai hasil tool, dan batasi jumlah retry serta total langkah.
-   Tool yang lebih sedikit dan lebih datar bekerja lebih baik. OpenAI menyarankan kurang dari 20 fungsi di awal satu giliran.
-   Di BroadNet Inference, pakai GLM 5.3 atau Qwen3.8 27B untuk tool calling; uji DeepSeek V4.1 Flash sebelum mengandalkannya.

**Di halaman ini**

1.  Bagaimana tool calling bekerja di API yang kompatibel dengan OpenAI?
2.  Bagaimana sebaiknya menulis skema tool?
3.  Bagaimana dengan tool call paralel?
4.  Kenapa tool call gagal?
5.  Loop tool yang memvalidasi dan retry
6.  Model BroadNet mana yang mendukung tool calling?
7.  Posisi BroadNet Inference

[Tool calling](https://broadrouter.com/id/glossary/tool-calling/) adalah yang mengubah model menjadi agen. Dengan model terbuka di [API yang kompatibel dengan OpenAI](https://broadrouter.com/id/glossary/openai-compatible-api/), format permintaannya sama dengan yang Anda pakai di OpenAI. Yang berbeda adalah seberapa sering terjadi masalah dan apa yang dilakukan server untuk mencegahnya. Artikel ini membahas formatnya, cara menulis skema yang ditangani model terbuka dengan baik, panggilan paralel, lima kegagalan yang benar-benar akan Anda temui, dan loop Python yang tahan terhadap semuanya.

## Bagaimana tool calling bekerja di API yang kompatibel dengan OpenAI?

1.  Anda mengirim `messages` beserta daftar `tools`. Setiap tool punya nama, deskripsi, dan JSON Schema untuk argumennya.
2.  Model membalas dengan `finish_reason: "tool_calls"` dan daftar `tool_calls`. Setiap entri berisi `id`, nama fungsi, dan `arguments` sebagai **string JSON**.
3.  Kode Anda menjalankan setiap panggilan dan menambahkan satu pesan `role: "tool"` per panggilan, dengan `tool_call_id` yang cocok.
4.  Anda memanggil API lagi. Model menjawab atau meminta tool lain.

Model tidak pernah menjalankan apa pun. Kode Anda yang memutuskan apa yang dieksekusi.

## Bagaimana sebaiknya menulis skema tool?

Model terbuka lebih andal mengikuti skema yang sederhana. Aturan berikut berasal dari panduan OpenAI dan dari hal-hal yang biasanya rusak:

-   **Beri nama tool berdasarkan aksinya**, misalnya `read_file` atau `search_code`, dan tulis di deskripsi _kapan_ masing-masing dipakai.
-   **Buat daftarnya pendek.** Panduan OpenAI menyebut kurang dari 20 fungsi di awal satu giliran sebagai saran yang tidak mengikat. Setiap skema juga dikirim di setiap panggilan; lihat [anggaran token agen](https://broadrouter.com/id/blog/agent-token-budget/).
-   **Utamakan argumen datar.** String, angka, boolean, dan enum. Hindari nesting dalam dan objek berbentuk bebas.
-   **Pakai enum** untuk pilihan tetap, agar model tidak bisa mengarang nilai. [Generator JSON schema](https://broadrouter.com/tools/json-schema-generator/) mengubah contoh objek argumen menjadi skema datar yang bisa Anda tempel ke `parameters`.
-   **Tandai field wajib.** Strict mode OpenAI mensyaratkan `additionalProperties: false` dan setiap field ada di `required`, dengan `null` sebagai tipe untuk field opsional. Apakah penyedia memaksakan `strict` atau tidak itu bervariasi, jadi tetap lakukan validasi.

## Bagaimana dengan tool call paralel?

Model bisa mengembalikan beberapa entri di `tool_calls` dalam satu giliran, misalnya tiga pembacaan file. Jalankan panggilan yang saling independen secara bersamaan dan kembalikan satu hasil per `tool_call_id`, dalam urutan apa pun. Jika tool Anda punya efek samping yang saling bergantung, set `parallel_tool_calls: false`; panduan OpenAI menyebut itu membatasi model ke nol atau satu panggilan per giliran. Uji apakah penyedia Anda menghormatinya.

## Kenapa tool call gagal?

| Kegagalan | Yang Anda lihat | Solusi |
| --- | --- | --- |
| Argumen rusak | `json.loads` memunculkan exception | Kembalikan error parse sebagai hasil tool; retry |
| Skema tidak cocok | Field hilang, tipe salah, enum karangan | Validasi; kembalikan error validasinya |
| Tool tidak dikenal | Nama yang tidak pernah Anda definisikan | Kembalikan “unknown tool, available: …” |
| Tidak memanggil saat diperlukan | Malah menjawab dengan teks | `tool_choice: "required"` atau fungsi bernama |
| Panggilan terpotong | `finish_reason: "length"` | Naikkan `max_tokens`; penalaran ikut memakainya |

Dua yang pertama memang bisa diperkirakan, bukan hal langka. Dokumentasi tool calling vLLM menyebut bahwa dalam mode `auto`, kecuali sebuah tool menyetel `strict: true` (atau server memaksakan batas minimum strictness) dan parser model mendukung constraint, “vLLM extracts tool calls from raw text, so arguments may occasionally be malformed or violate the function’s parameter schema.” (Terjemahan BroadRouter: vLLM mengekstrak tool call dari teks mentah, sehingga argumen sesekali bisa rusak atau melanggar skema parameter fungsi.) Fungsi bernama memakai backend structured outputs milik vLLM. Penyedia Anda mungkin menyajikan model dengan cara berbeda, jadi anggap validasi sebagai keharusan.

Baris terakhir sering menjebak pengguna [model penalaran](https://broadrouter.com/id/glossary/reasoning-tokens/). GLM 5.3 dan Qwen3.8 27B berpikir dulu sebelum menjawab, dan proses berpikir itu dihitung ke dalam [`max_tokens`](https://broadrouter.com/id/glossary/max-tokens/). [Kenapa balasan kosong atau terpotong](https://broadrouter.com/id/guides/reasoning-tokens-empty-response/) menjelaskan berapa banyak ruang yang perlu disisakan.

## Loop tool yang memvalidasi dan retry

```python
import json, os
from openai import OpenAI
from jsonschema import validate, ValidationError

client = OpenAI(base_url="https://inference.broadnet.ai/v1", api_key=os.environ["BROADNET_API_KEY"], max_retries=4)
MODEL = "broadnet/glm-5.3"

TOOLS = [{"type": "function", "function": {
    "name": "get_order_status",
    "description": "Look up one order by its ID. Use when the user asks where an order is.",
    "parameters": {"type": "object",
                   "properties": {"order_id": {"type": "string"}},
                   "required": ["order_id"], "additionalProperties": False}}}]
SCHEMAS = {t["function"]["name"]: t["function"]["parameters"] for t in TOOLS}
IMPL = {"get_order_status": lambda order_id: f"Order {order_id}: shipped"}

def run_call(call):
    name = call.function.name
    if name not in IMPL:
        return f"Error: unknown tool {name}. Available: {', '.join(IMPL)}"
    try:
        args = json.loads(call.function.arguments or "{}")
        validate(args, SCHEMAS[name])
    except (json.JSONDecodeError, ValidationError) as e:
        return f"Error: invalid arguments ({e}). Send the call again with valid JSON."
    return str(IMPL[name](**args))

def agent(messages, max_steps=8):
    for _ in range(max_steps):
        r = client.chat.completions.create(model=MODEL, messages=messages,
                                           tools=TOOLS, max_tokens=4000)
        msg = r.choices[0].message
        if r.choices[0].finish_reason == "length":
            raise RuntimeError("Output limit reached; raise max_tokens")
        messages.append(msg.model_dump(exclude_none=True))
        if not msg.tool_calls:
            return msg.content
        for call in msg.tool_calls:
            messages.append({"role": "tool", "tool_call_id": call.id,
                             "content": run_call(call)})
    raise RuntimeError("Step limit reached")
```

Tiga keputusan desain penting di sini:

1.  **Error dikembalikan ke model sebagai hasil tool.** Model melihat apa yang salah dan biasanya memperbaikinya di giliran berikutnya. Memunculkan exception membuang kesempatan itu.
2.  **Loop-nya dibatasi.** `max_steps` menghentikan model yang terus memanggil tool tanpa kemajuan.
3.  **Retry di level transport dipisahkan.** `max_retries` di client menangani 429 dan 5xx. Argumen yang buruk ditangani di dalam loop. Jangan campur keduanya; lihat [error dan retry](https://broadrouter.com/id/guides/errors-and-retries/).

Untuk tool yang punya efek samping, seperti mengirim email, tambahkan idempotency key agar langkah yang di-retry tidak bertindak dua kali. [Agen yang berjalan lama](https://broadrouter.com/id/blog/long-running-agents-timeouts-retries/) membahas hal ini.

## Model BroadNet mana yang mendukung tool calling?

| Model | Tools tercantum | Konteks | Catatan |
| --- | --- | --- | --- |
| [GLM 5.3](https://broadrouter.com/id/models/glm-5.3/) | Ya | 1.048.576 | Juga output terstruktur |
| [Qwen3.8 27B](https://broadrouter.com/id/models/qwen3.8-27b/) | Ya | 262.144 | Juga input gambar |
| [DeepSeek V4.1 Flash](https://broadrouter.com/id/models/deepseek-v4.1-flash/) | Tidak tercantum | 1.048.576 | Input gambar; uji tools sebelum mengandalkannya |
| [Gemma 4 VL 26B](https://broadrouter.com/id/models/gemma-4-vl-26b/) | Tidak tercantum | 32.768 | Bukan untuk loop tool |

Untuk memilih di antara dua model yang mendukung tool, lihat [GLM 5.3 vs Qwen3.8 27B](https://broadrouter.com/compare/glm-5.3-vs-qwen3.8-27b/). Jika jawaban akhir harus mengikuti bentuk tertentu tetapi tidak ada fungsi yang perlu dijalankan, [output terstruktur](https://broadrouter.com/id/blog/structured-output-json-schema/) lebih sederhana daripada tool.

## Posisi BroadNet Inference

BroadNet Inference menyajikan GLM 5.3 dan Qwen3.8 27B dengan tool calling tercantum, lewat format chat-completions standar, sehingga loop di atas berjalan tanpa perubahan dengan [OpenAI Python SDK](https://broadrouter.com/id/guides/openai-python-sdk/). Harga per token ada di [halaman harga](https://broadrouter.com/id/pricing/). BroadNet tidak meng-host tool sisi server seperti web search atau eksekusi kode, dan dokumentasinya tidak mencantumkan tool calling untuk DeepSeek V4.1 Flash, model di paket unlimited. Untuk agen yang banyak memakai tools, gunakan GLM 5.3 atau Qwen3.8 27B dengan harga per token. Jika Anda tetap menginginkan paket harga tetap, pastikan dengan satu jam Meteor seharga $1 bahwa DeepSeek V4.1 Flash memanggil tools Anda dengan andal sebelum membeli paket bulanan.

Alat gratis untuk topik ini (bahasa Inggris)

-   [OpenAI to BroadNet migration helper](https://broadrouter.com/tools/openai-to-broadnet-migration/) Paste OpenAI SDK code; get base URL, key and model edits, a diff and the checks that remain.
-   [max\_tokens calculator for reasoning models](https://broadrouter.com/tools/reasoning-token-budget/) Answer length + reasoning budget + margin = a max\_tokens that does not cut the answer off.
-   [JSON schema generator for LLM structured output](https://broadrouter.com/tools/json-schema-generator/) Sample JSON to strict schema, Pydantic, Zod and a ready request.
-   [LLM JSON output validator](https://broadrouter.com/tools/llm-json-output-validator/) Parse errors by line and column, safe repairs, cut-off detection and JSON Schema checks for model output.

[Alat gratis (bahasa Inggris)](https://broadrouter.com/tools/)

## Istilah dalam artikel ini

[Tool calling (function calling)](https://broadrouter.com/id/glossary/tool-calling/)

Tool calling, disebut juga function calling, adalah fitur API LLM di mana model mengembalikan permintaan terstruktur untuk menjalankan fungsi yang didefinisikan developer, lengkap dengan argumen JSON. Aplikasi yang menjalankan fungsi itu dan mengirim hasilnya kembali; model tidak pernah menjalankan kode sendiri.

[Output terstruktur (structured output)](https://broadrouter.com/id/glossary/structured-output/)

Output terstruktur adalah fitur API LLM yang membatasi balasan model pada format yang ditentukan developer, biasanya JSON Schema, agar kode bisa mem-parse-nya dengan andal. Fitur ini lebih ketat daripada JSON mode, yang menjamin JSON valid tetapi tidak menjamin bentuk tertentu.

[vLLM](https://broadrouter.com/id/glossary/vllm/)

vLLM adalah library open-source untuk inferensi dan serving LLM, awalnya dikembangkan di Sky Computing Lab UC Berkeley. Ia mengelola memori KV cache dengan PagedAttention, mem-batch request yang masuk secara kontinu, mendukung banyak format kuantisasi, dan menyediakan server HTTP yang kompatibel dengan OpenAI.

[Model open-weight (bobot terbuka)](https://broadrouter.com/id/glossary/open-weight-model/)

Model open-weight adalah model machine learning yang bobot hasil pelatihannya dipublikasikan agar bisa diunduh dan dijalankan siapa saja, biasanya di bawah lisensi dengan syarat tertentu. Model ini berbeda dari AI yang sepenuhnya open source, yang juga merilis kode pelatihan dan informasi rinci tentang data pelatihan agar orang lain bisa mempelajari dan mereproduksinya.

[Token](https://broadrouter.com/id/glossary/token/)

Token adalah satuan teks yang dibaca dan ditulis model bahasa: sebuah kata, bagian kata, tanda baca, atau urutan byte yang dihasilkan tokenizer model. API LLM menghitung, membatasi, dan biasanya menagih pemakaian dalam token.

[API kompatibel OpenAI](https://broadrouter.com/id/glossary/openai-compatible-api/)

API kompatibel OpenAI adalah API HTTP yang menerima format permintaan dan respons yang sama dengan API OpenAI, seperti POST /v1/chat/completions, sehingga SDK dan tool OpenAI bisa memakainya hanya dengan mengganti base URL, kunci API, dan nama model.

[Idempotency key](https://broadrouter.com/id/glossary/idempotency-key/)

Idempotency key adalah nilai unik, biasanya ID acak seperti UUID, yang dilampirkan klien pada request yang mengubah state, misalnya pembayaran atau pembelian. Jika request yang sama dikirim lagi dengan key yang sama, server mengembalikan hasil aslinya alih-alih menjalankan aksi itu dua kali.

[JSON Schema (skema JSON)](https://broadrouter.com/id/glossary/json-schema/)

JSON Schema adalah kosakata yang ditulis dalam JSON untuk mendeskripsikan dan memvalidasi struktur data JSON: tipe, field wajib, nilai yang diizinkan, dan susunan bertingkat. Versi terbarunya 2020-12. API LLM memakainya untuk mendefinisikan parameter tool dan bentuk persis yang harus diikuti output terstruktur.

## Pertanyaan umum

### Apakah model terbuka mendukung function calling?

Banyak yang mendukung, tetapi tergantung modelnya dan cara penyedia menyajikannya. Di BroadNet Inference, dokumentasinya mencantumkan tool calling untuk GLM 5.3 dan Qwen3.8 27B. Fitur ini tidak tercantum untuk DeepSeek V4.1 Flash atau Gemma 4 VL 26B.

### Kenapa argumen tool call saya bukan JSON yang valid?

Kecuali server membatasi decoding, argumen dihasilkan sebagai teks lalu di-parse belakangan. Dokumentasi vLLM menyebut argumen yang diekstrak dari teks mentah sesekali bisa rusak. Tangkap error parse-nya dan kirim kembali sebagai hasil tool agar model bisa memperbaiki dirinya.

### Bagaimana cara mematikan tool call paralel?

Dalam format OpenAI, set parallel\_tool\_calls ke false. Itu membatasi model ke nol atau satu tool call per giliran. Pastikan penyedia Anda menghormati field tersebut.

### Kenapa model menjawab dengan teks alih-alih memanggil tool?

Dengan tool\_choice auto, model yang memutuskan. Set tool\_choice ke required, atau ke fungsi tertentu, jika panggilan wajib dilakukan. Periksa juga apakah deskripsi tool menyebutkan kapan tool itu dipakai.

### Kenapa tool call saya terpotong?

Model penalaran menghitung proses berpikir ke dalam max\_tokens. Batas yang kecil bisa mengakhiri balasan di tengah argumen. Cek finish\_reason dan naikkan max\_tokens.

## Baca juga

-   [OpenClaw dan Hermes Agent dengan model murah: setup dan hitungan token](https://broadrouter.com/id/blog/openclaw-hermes-agent-cheap-model/)
-   [JSON mode vs json\_schema: output terstruktur yang andal](https://broadrouter.com/id/blog/structured-output-json-schema/)
-   [Memakai server MCP dengan model kompatibel OpenAI (penyedia apa pun)](https://broadrouter.com/id/blog/mcp-with-openai-compatible-models/)
-   [Agent yang berjalan lama: timeout, retry, dan checkpoint yang andal](https://broadrouter.com/id/blog/long-running-agents-timeouts-retries/)
-   [Anggaran token agen: ke mana token loop agen pergi](https://broadrouter.com/id/blog/agent-token-budget/)
-   [Hardware GPU dan pendekatan serving BroadNet, menurut BroadNet](https://broadrouter.com/id/blog/broadnet-gpu-fleet-and-serving/)
-   [Cache respons API LLM untuk memangkas biaya: exact cache di Python](https://broadrouter.com/id/blog/cache-llm-responses-cut-cost/)
-   [Panduan: Memakai OpenAI Python SDK dengan BroadNet Inference](https://broadrouter.com/id/guides/openai-python-sdk/)
-   [Panduan: Menjalankan OpenAI Agents SDK di BroadNet Inference](https://broadrouter.com/id/guides/openai-agents-sdk-custom-provider/)
-   [Panduan: Kenapa model reasoning mengembalikan jawaban kosong](https://broadrouter.com/id/guides/reasoning-tokens-empty-response/)
-   [Panduan: Kode error BroadNet Inference dan kapan harus mencoba ulang](https://broadrouter.com/id/guides/errors-and-retries/)

Coba dengan beban kerja Anda yang sebenarnya. Akun baru mendapat kredit US$5 untuk Gemma dan transkripsi. DeepSeek, GLM, dan Qwen3.8 memerlukan top up.

[Mulai](https://inference.broadnet.ai/account/?utm_source=broadrouter&utm_medium=referral&utm_campaign=id-blog-tool-calling-open-models&utm_content=page-cta) ·

**Sumber**

-   [OpenAI, panduan function calling (dicek 2026-11-14)](https://developers.openai.com/api/docs/guides/function-calling)
-   [Dokumentasi vLLM, tool calling (dicek 2026-11-14)](https://docs.vllm.ai/en/latest/features/tool_calling/)
-   [Referensi API BroadNet Inference, model (bahasa Inggris)](https://inference.broadnet.ai/docs?utm_source=broadrouter&utm_medium=referral&utm_campaign=id-blog-tool-calling-open-models&utm_content=sources#models)
