---
title: "Tool calling model terbuka: skema, cuba semula, kod | BroadRouter"
description: "Function calling pada model terbuka yang serasi OpenAI: tip skema, panggilan alat selari, lima punca kegagalan, dan gelung Python yang mengesah dan mencuba semula."
url: https://broadrouter.com/ms/blog/tool-calling-open-models/
lang: ms
updated: 2026-11-14
publisher: BroadRouter (a BroadNet site); API by BroadNet Inference, https://inference.broadnet.ai
---

Diterjemahkan daripada bahasa Inggeris dengan bantuan AI. [Baca versi asal dalam bahasa Inggeris](https://broadrouter.com/blog/tool-calling-open-models/) (dikemas kini 2026-11-16).

# Tool calling pada model terbuka: skema, panggilan selari, cuba semula

Oleh pasukan BroadNet Inference · 4 minit bacaan · Diterbitkan 2026-11-14 · Dikemas kini 2026-11-16

Model terbuka pada API yang serasi OpenAI menggunakan format tools dan tool\_calls yang sama seperti OpenAI. Kekalkan skema kecil dan rata, hurai argumen sebagai rentetan JSON, sahkan sebelum menjalankan apa-apa, dan pulangkan ralat kepada model sebagai hasil tool supaya ia boleh mencuba semula. Hadkan bilangan langkah. Di BroadNet, GLM 5.3 dan Qwen3.8 27B menyenaraikan sokongan tool.

## Perkara utama

-   Format wayarnya sama seperti OpenAI: senarai tools masuk, tool\_calls keluar, kemudian satu mesej role tool bagi setiap tool\_call\_id.
-   Argumen tiba sebagai rentetan JSON. Dokumentasi vLLM memberi amaran bahawa apabila ia mengekstrak panggilan alat daripada teks mentah, argumennya "may occasionally be malformed or violate the function's parameter schema" (Terjemahan: kadangkala rosak atau melanggar skema parameter fungsi).
-   Sahkan setiap panggilan, hantar ralat semula sebagai hasil tool, dan hadkan cuba semula serta jumlah langkah.
-   Tool yang lebih sedikit dan lebih rata berfungsi lebih baik. OpenAI mencadangkan kurang daripada 20 fungsi pada permulaan satu giliran.
-   Di BroadNet Inference, gunakan GLM 5.3 atau Qwen3.8 27B untuk panggilan alat; uji DeepSeek V4.1 Flash sebelum bergantung padanya.

**Dalam halaman ini**

1.  Bagaimanakah panggilan alat berfungsi pada API yang serasi OpenAI?
2.  Bagaimanakah skema tool patut ditulis?
3.  Bagaimana pula dengan panggilan alat selari?
4.  Mengapakah panggilan alat gagal?
5.  Gelung tool yang mengesah dan mencuba semula
6.  Model BroadNet manakah yang menyokong panggilan alat?
7.  Di manakah BroadNet Inference sesuai

[Panggilan alat](https://broadrouter.com/ms/glossary/tool-calling/) ialah perkara yang menukar model menjadi ejen. Dengan model terbuka pada [API yang serasi OpenAI](https://broadrouter.com/ms/glossary/openai-compatible-api/), format permintaannya sama seperti yang anda gunakan dengan OpenAI. Yang berbeza ialah kekerapan sesuatu menjadi salah dan apa yang dilakukan oleh pelayan untuk mencegahnya. Artikel ini merangkumi format itu, cara menulis skema yang dikendalikan dengan baik oleh model terbuka, panggilan selari, lima kegagalan yang benar-benar akan anda lihat, dan gelung Python yang mampu menanganinya.

## Bagaimanakah panggilan alat berfungsi pada API yang serasi OpenAI?

1.  Anda menghantar `messages` bersama senarai `tools`. Setiap tool mempunyai nama, penerangan dan JSON Schema untuk argumennya.
2.  Model menjawab dengan `finish_reason: "tool_calls"` dan senarai `tool_calls`. Setiap entri mempunyai `id`, nama fungsi dan `arguments` sebagai **rentetan JSON**.
3.  Kod anda menjalankan setiap panggilan dan menambah satu mesej `role: "tool"` bagi setiap panggilan, dengan `tool_call_id` yang sepadan.
4.  Anda memanggil API sekali lagi. Model menjawab atau meminta lebih banyak tool.

Model tidak pernah menjalankan apa-apa. Kod anda yang memutuskan apa yang dilaksanakan.

## Bagaimanakah skema tool patut ditulis?

Model terbuka mengikut skema ringkas dengan lebih boleh dipercayai. Peraturan ini datang daripada panduan OpenAI dan daripada perkara yang biasanya rosak:

-   **Namakan tool mengikut tindakan**, seperti `read_file` atau `search_code`, dan nyatakan dalam penerangan _bila_ setiap satu patut digunakan.
-   **Kekalkan senarai pendek.** Panduan OpenAI menyebut kurang daripada 20 fungsi pada permulaan satu giliran sebagai cadangan longgar. Setiap skema juga dihantar pada setiap panggilan; lihat [bajet token ejen](https://broadrouter.com/ms/blog/agent-token-budget/).
-   **Utamakan argumen rata.** Rentetan, nombor, boolean dan enum. Elakkan sarang yang dalam dan objek bentuk bebas.
-   **Gunakan enum** untuk pilihan tetap, supaya model tidak boleh mereka nilai. [Penjana skema JSON](https://broadrouter.com/tools/json-schema-generator/) menukar objek argumen sampel kepada skema rata yang boleh anda tampal ke dalam `parameters`.
-   **Tandakan medan wajib.** Mod strict OpenAI memerlukan `additionalProperties: false` dan setiap medan dalam `required`, dengan `null` sebagai jenis bagi medan pilihan. Sama ada penyedia menguatkuasakan `strict` berbeza-beza, jadi tetap sahkan.

## Bagaimana pula dengan panggilan alat selari?

Model mungkin memulangkan beberapa entri dalam `tool_calls` dalam satu giliran, contohnya tiga bacaan fail. Jalankan panggilan yang bebas secara serentak dan pulangkan satu hasil bagi setiap `tool_call_id`, dalam sebarang susunan. Jika tool anda mempunyai kesan sampingan yang bergantung antara satu sama lain, tetapkan `parallel_tool_calls: false`; panduan OpenAI menyatakan itu mengehadkan model kepada sifar atau satu panggilan setiap giliran. Uji sama ada penyedia anda mematuhinya.

## Mengapakah panggilan alat gagal?

| Kegagalan | Apa yang anda lihat | Pembaikan |
| --- | --- | --- |
| Argumen rosak | `json.loads` menimbulkan ralat | Pulangkan ralat hurai sebagai hasil tool; cuba semula |
| Tidak sepadan dengan skema | Medan hilang, jenis salah, enum rekaan | Sahkan; pulangkan ralat pengesahan |
| Tool tidak dikenali | Nama yang anda tidak pernah takrifkan | Pulangkan “unknown tool, available: …” |
| Tiada panggilan walaupun diperlukan | Jawapan teks sebaliknya | `tool_choice: "required"` atau fungsi bernama |
| Panggilan terpotong | `finish_reason: "length"` | Naikkan `max_tokens`; penaakulan berkongsi had itu |

Dua yang pertama dijangka, bukan jarang berlaku. Dokumentasi tool calling vLLM menyatakan bahawa dalam mod `auto`, melainkan tool menetapkan `strict: true` (atau pelayan menguatkuasakan tahap ketegasan minimum) dan penghurai model menyokong kekangan, “vLLM extracts tool calls from raw text, so arguments may occasionally be malformed or violate the function’s parameter schema.” (Terjemahan: vLLM mengekstrak panggilan alat daripada teks mentah, jadi argumen kadangkala rosak atau melanggar skema parameter fungsi.) Fungsi bernama menggunakan backend structured-outputs vLLM. Penyedia anda mungkin menghidangkan model secara berbeza, jadi anggap pengesahan sebagai wajib.

Baris terakhir memerangkap pengguna [model penaakulan](https://broadrouter.com/ms/glossary/reasoning-tokens/). GLM 5.3 dan Qwen3.8 27B berfikir sebelum menjawab, dan proses berfikir dikira dalam [`max_tokens`](https://broadrouter.com/ms/glossary/max-tokens/). [Mengapa jawapan kembali kosong atau terpotong](https://broadrouter.com/ms/guides/reasoning-tokens-empty-response/) menerangkan berapa banyak ruang yang perlu ditinggalkan.

## Gelung tool yang mengesah dan mencuba semula

```python
import json, os
from openai import OpenAI
from jsonschema import validate, ValidationError

client = OpenAI(base_url="https://inference.broadnet.ai/v1", api_key=os.environ["BROADNET_API_KEY"], max_retries=4)
MODEL = "broadnet/glm-5.3"

TOOLS = [{"type": "function", "function": {
    "name": "get_order_status",
    "description": "Look up one order by its ID. Use when the user asks where an order is.",
    "parameters": {"type": "object",
                   "properties": {"order_id": {"type": "string"}},
                   "required": ["order_id"], "additionalProperties": False}}}]
SCHEMAS = {t["function"]["name"]: t["function"]["parameters"] for t in TOOLS}
IMPL = {"get_order_status": lambda order_id: f"Order {order_id}: shipped"}

def run_call(call):
    name = call.function.name
    if name not in IMPL:
        return f"Error: unknown tool {name}. Available: {', '.join(IMPL)}"
    try:
        args = json.loads(call.function.arguments or "{}")
        validate(args, SCHEMAS[name])
    except (json.JSONDecodeError, ValidationError) as e:
        return f"Error: invalid arguments ({e}). Send the call again with valid JSON."
    return str(IMPL[name](**args))

def agent(messages, max_steps=8):
    for _ in range(max_steps):
        r = client.chat.completions.create(model=MODEL, messages=messages,
                                           tools=TOOLS, max_tokens=4000)
        msg = r.choices[0].message
        if r.choices[0].finish_reason == "length":
            raise RuntimeError("Output limit reached; raise max_tokens")
        messages.append(msg.model_dump(exclude_none=True))
        if not msg.tool_calls:
            return msg.content
        for call in msg.tool_calls:
            messages.append({"role": "tool", "tool_call_id": call.id,
                             "content": run_call(call)})
    raise RuntimeError("Step limit reached")
```

Tiga pilihan reka bentuk penting di sini:

1.  **Ralat kembali kepada model sebagai hasil tool.** Model melihat apa yang salah dan biasanya membetulkannya pada giliran seterusnya. Menimbulkan pengecualian membuang peluang itu.
2.  **Gelung itu terhad.** `max_steps` menghentikan model yang terus memanggil tool tanpa kemajuan.
3.  **Cuba semula pengangkutan adalah berasingan.** `max_retries` pada klien mengendalikan 429 dan 5xx. Argumen yang salah dikendalikan dalam gelung. Jangan campurkan kedua-duanya; lihat [ralat dan cuba semula](https://broadrouter.com/ms/guides/errors-and-retries/).

Untuk tool yang mempunyai kesan sampingan, seperti menghantar e-mel, tambah kunci idempotensi supaya langkah yang dicuba semula tidak bertindak dua kali. [Ejen yang berjalan lama](https://broadrouter.com/ms/blog/long-running-agents-timeouts-retries/) membincangkan perkara ini.

## Model BroadNet manakah yang menyokong panggilan alat?

| Model | Tools disenaraikan | Konteks | Nota |
| --- | --- | --- | --- |
| [GLM 5.3](https://broadrouter.com/ms/models/glm-5.3/) | Ya | 1,048,576 | Juga output berstruktur |
| [Qwen3.8 27B](https://broadrouter.com/ms/models/qwen3.8-27b/) | Ya | 262,144 | Juga input imej |
| [DeepSeek V4.1 Flash](https://broadrouter.com/ms/models/deepseek-v4.1-flash/) | Tidak disenaraikan | 1,048,576 | Input imej; uji tools sebelum bergantung padanya |
| [Gemma 4 VL 26B](https://broadrouter.com/ms/models/gemma-4-vl-26b/) | Tidak disenaraikan | 32,768 | Bukan untuk gelung tool |

Untuk memilih antara dua model yang menyokong tool, lihat [GLM 5.3 vs Qwen3.8 27B](https://broadrouter.com/compare/glm-5.3-vs-qwen3.8-27b/). Apabila jawapan akhir mesti mengikut sesuatu bentuk tetapi tiada fungsi perlu dijalankan, [output berstruktur](https://broadrouter.com/ms/blog/structured-output-json-schema/) lebih mudah daripada tool.

## Di manakah BroadNet Inference sesuai

BroadNet Inference menghidangkan GLM 5.3 dan Qwen3.8 27B dengan panggilan alat disenaraikan, melalui format chat-completions standard, jadi gelung di atas berjalan tanpa perubahan dengan [OpenAI Python SDK](https://broadrouter.com/ms/guides/openai-python-sdk/). Harga setiap token ada di [halaman harga](https://broadrouter.com/ms/pricing/). Ia tidak mengehos tool sisi pelayan seperti carian web atau pelaksanaan kod, dan dokumentasinya tidak menyenaraikan panggilan alat untuk DeepSeek V4.1 Flash, model pada pelan tanpa had. Untuk ejen yang banyak menggunakan tools, gunakan GLM 5.3 atau Qwen3.8 27B secara per token. Jika anda tetap mahukan pelan kadar tetap, semak pada satu jam Meteor $1 bahawa DeepSeek V4.1 Flash memanggil tools anda dengan boleh dipercayai sebelum membeli sebulan.

Alat percuma untuk topik ini (Bahasa Inggeris)

-   [OpenAI to BroadNet migration helper](https://broadrouter.com/tools/openai-to-broadnet-migration/) Paste OpenAI SDK code; get base URL, key and model edits, a diff and the checks that remain.
-   [max\_tokens calculator for reasoning models](https://broadrouter.com/tools/reasoning-token-budget/) Answer length + reasoning budget + margin = a max\_tokens that does not cut the answer off.
-   [JSON schema generator for LLM structured output](https://broadrouter.com/tools/json-schema-generator/) Sample JSON to strict schema, Pydantic, Zod and a ready request.
-   [LLM JSON output validator](https://broadrouter.com/tools/llm-json-output-validator/) Parse errors by line and column, safe repairs, cut-off detection and JSON Schema checks for model output.

[Alatan percuma (Bahasa Inggeris)](https://broadrouter.com/tools/)

## Istilah dalam artikel ini

[Tool calling (panggilan alatan)](https://broadrouter.com/ms/glossary/tool-calling/)

Tool calling, juga dipanggil function calling, ialah ciri API LLM di mana model memulangkan permintaan berstruktur untuk menjalankan fungsi yang ditakrifkan oleh pembangun, bersama argumen JSON. Aplikasi menjalankan fungsi itu dan menghantar hasilnya kembali; model sendiri tidak pernah menjalankan kod.

[vLLM](https://broadrouter.com/ms/glossary/vllm/)

vLLM ialah pustaka sumber terbuka untuk inferens dan penyajian LLM, yang mula-mula dibangunkan di Sky Computing Lab, UC Berkeley. Ia mengurus memori KV cache dengan PagedAttention, mengumpulkan permintaan masuk secara berterusan, menyokong banyak format kuantisasi dan menyediakan pelayan HTTP yang serasi OpenAI.

[Model open-weight (model pemberat terbuka)](https://broadrouter.com/ms/glossary/open-weight-model/)

Model open-weight ialah model pembelajaran mesin yang pemberat terlatihnya diterbitkan untuk dimuat turun dan dijalankan oleh sesiapa sahaja, biasanya di bawah lesen bersyarat. Ia berbeza daripada AI sumber terbuka sepenuhnya, yang turut mengeluarkan kod latihan dan maklumat terperinci tentang data latihan supaya orang lain boleh mengkaji dan menghasilkan semula model itu.

[Token](https://broadrouter.com/ms/glossary/token/)

Token ialah unit teks yang dibaca dan ditulis oleh model bahasa: satu perkataan, sebahagian perkataan, tanda baca atau jujukan bait yang dihasilkan oleh tokenizer model itu. API LLM mengira, mengehadkan dan biasanya mengebil penggunaan dalam token.

[JSON Schema (skema JSON)](https://broadrouter.com/ms/glossary/json-schema/)

JSON Schema ialah perbendaharaan kata, ditulis dalam JSON, untuk menerangkan dan mengesahkan struktur data JSON: jenis, medan wajib, nilai yang dibenarkan dan penyarangan. Versi semasa ialah 2020-12. API LLM menggunakannya untuk mentakrifkan parameter alat dan bentuk tepat yang mesti diikuti oleh output berstruktur.

[Output berstruktur (structured output)](https://broadrouter.com/ms/glossary/structured-output/)

Output berstruktur ialah ciri API LLM yang mengehadkan balasan model kepada format yang ditetapkan oleh pembangun, biasanya JSON Schema, supaya kod boleh menghuraikannya dengan boleh dipercayai. Ia lebih ketat daripada JSON mode, yang menjamin JSON yang sah tetapi bukan bentuk tertentu.

[Baris Arab (tashkeel, Arabic diacritics)](https://broadrouter.com/ms/glossary/arabic-diacritics/)

Baris Arab, atau tashkeel, ialah tanda kecil yang ditulis di atas atau di bawah huruf untuk menunjukkan vokal pendek, konsonan berganda dan ketiadaan vokal. Ia pilihan: kebanyakan teks Arab, termasuk berita, meninggalkannya, jadi pembaca dan perisian meneka vokal daripada konteks.

[Pelan LLM harga tetap (flat-rate LLM plan)](https://broadrouter.com/ms/glossary/flat-rate-llm-plan/)

Pelan LLM harga tetap mengenakan harga tetap bagi satu tempoh, seperti sebulan, untuk akses kepada API model bahasa dan bukannya mengebil setiap token. Pelan sebegini biasanya mengehadkan perkara lain, seperti keserentakan, kelajuan, model atau tetingkap penggunaan, jadi hadnya sama penting dengan harganya.

## Soalan lazim

### Adakah model terbuka menyokong function calling?

Banyak yang menyokong, tetapi sokongan bergantung pada model dan cara penyedia menghidangkannya. Di BroadNet Inference, dokumentasi menyenaraikan panggilan alat untuk GLM 5.3 dan Qwen3.8 27B. Ia tidak disenaraikan untuk DeepSeek V4.1 Flash atau Gemma 4 VL 26B.

### Mengapakah argumen panggilan alat saya ialah JSON tidak sah?

Melainkan pelayan mengekang penyahkodan, argumen dijana sebagai teks dan dihurai kemudian. Dokumentasi vLLM menyatakan argumen yang diekstrak daripada teks mentah kadangkala rosak. Tangkap ralat hurai itu dan hantar semula sebagai hasil tool supaya model boleh membetulkan dirinya.

### Bagaimanakah saya mematikan panggilan alat selari?

Dalam format OpenAI, tetapkan parallel\_tool\_calls kepada false. Itu mengehadkan model kepada sifar atau satu panggilan alat setiap giliran. Semak sama ada penyedia anda mematuhi medan itu.

### Mengapakah model menjawab dalam teks dan bukannya memanggil tool?

Dengan tool\_choice auto, model yang membuat keputusan. Tetapkan tool\_choice kepada required, atau kepada fungsi tertentu, apabila panggilan itu wajib. Semak juga sama ada penerangan tool menyatakan bila ia patut digunakan.

### Mengapakah panggilan alat saya terpotong?

Model penaakulan mengira proses berfikir dalam max\_tokens. Had yang kecil boleh menamatkan jawapan di tengah-tengah argumen. Semak finish\_reason dan naikkan max\_tokens.

## Teruskan membaca

-   [OpenClaw dan Hermes Agent pada model murah: persediaan dan kos token](https://broadrouter.com/ms/blog/openclaw-hermes-agent-cheap-model/)
-   [JSON mode vs json\_schema: output berstruktur yang boleh diharap](https://broadrouter.com/ms/blog/structured-output-json-schema/)
-   [Gunakan pelayan MCP dengan model serasi OpenAI (mana-mana penyedia)](https://broadrouter.com/ms/blog/mcp-with-openai-compatible-models/)
-   [Ejen yang berjalan lama: tamat masa, cubaan semula dan checkpoint](https://broadrouter.com/ms/blog/long-running-agents-timeouts-retries/)
-   [Bajet token ejen: ke mana token gelung ejen pergi](https://broadrouter.com/ms/blog/agent-token-budget/)
-   [Perkakasan GPU dan pendekatan penyajian BroadNet, menurut BroadNet](https://broadrouter.com/ms/blog/broadnet-gpu-fleet-and-serving/)
-   [Cache respons API LLM untuk jimat kos: cache padanan tepat Python](https://broadrouter.com/ms/blog/cache-llm-responses-cut-cost/)
-   [Panduan: Cara guna OpenAI Python SDK dengan BroadNet Inference](https://broadrouter.com/ms/guides/openai-python-sdk/)
-   [Panduan: Jalankan OpenAI Agents SDK pada BroadNet Inference](https://broadrouter.com/ms/guides/openai-agents-sdk-custom-provider/)
-   [Panduan: Mengapa model penaakulan memulangkan jawapan kosong](https://broadrouter.com/ms/guides/reasoning-tokens-empty-response/)
-   [Panduan: Kod ralat BroadNet Inference dan bila perlu cuba semula](https://broadrouter.com/ms/guides/errors-and-retries/)

Cuba dengan beban kerja sebenar anda. Akaun baharu bermula dengan kredit US$5 untuk Gemma dan transkripsi. DeepSeek, GLM dan Qwen3.8 memerlukan tambah nilai.

[Mulakan](https://inference.broadnet.ai/account/?utm_source=broadrouter&utm_medium=referral&utm_campaign=ms-blog-tool-calling-open-models&utm_content=page-cta) ·

**Sumber**

-   [OpenAI, panduan function calling (disemak 2026-11-14)](https://developers.openai.com/api/docs/guides/function-calling)
-   [Dokumentasi vLLM, tool calling (disemak 2026-11-14)](https://docs.vllm.ai/en/latest/features/tool_calling/)
-   [Rujukan API BroadNet Inference, model (Bahasa Inggeris)](https://inference.broadnet.ai/docs?utm_source=broadrouter&utm_medium=referral&utm_campaign=ms-blog-tool-calling-open-models&utm_content=sources#models)
