---
title: "Failover API LLM ke penyedia sandaran, dalam Python | BroadRouter"
description: "Cara failover antara penyedia LLM serasi OpenAI: ralat yang patut mencetuskan failover, pemutus litar, pemetaan ID model, penstriman, kos dan privasi."
url: https://broadrouter.com/ms/blog/llm-api-failover-fallback/
lang: ms
updated: 2026-11-15
publisher: BroadRouter (a BroadNet site); API by BroadNet Inference, https://inference.broadnet.ai
---

Diterjemahkan daripada bahasa Inggeris dengan bantuan AI. [Baca versi asal dalam bahasa Inggeris](https://broadrouter.com/blog/llm-api-failover-fallback/) (dikemas kini 2026-11-16).

# Failover API LLM: beralih ke penyedia kedua dalam kod anda sendiri

Oleh pasukan BroadNet Inference · 8 minit bacaan · Diterbitkan 2026-11-15 · Dikemas kini 2026-11-16

Simpan senarai tersusun penyedia serasi OpenAI, masing-masing dengan klien dan ID model sendiri. Lakukan failover pada ralat sambungan, tamat masa, 5xx dan 429 had kadar setelah percubaan semula SDK sendiri habis. Jangan sekali-kali failover pada 400, 401, 402, 403, 413 atau 422. Tambah pemutus litar, dan pastikan penyedia sandaran sepadan dengan penyedia utama dari segi ciri dan terma data.

## Perkara utama

-   Lakukan failover pada ralat sambungan, tamat masa, 5xx dan 429 had kadar, selepas percubaan semula yang terhad. 400, 401, 402, 403, 413 atau 422 akan gagal dengan cara yang sama pada penyedia seterusnya.
-   ID model berbeza bagi setiap penyedia: GLM 5.3 ialah \`broadnet/glm-5.3\` di BroadNet, \`zai-org/GLM-5.3\` di DeepInfra dan \`accounts/fireworks/models/glm-5p3\` di Fireworks.
-   Pemutus litar menghalang anda membayar tamat masa pada setiap permintaan semasa penyedia utama tidak berfungsi.
-   Lakukan failover pada strim hanya sebelum token pertama, dan jangan sekali-kali jalankan semula panggilan alat yang mengubah sesuatu.
-   BroadNet dan BroadRouter tidak menghala atau melakukan failover untuk anda. Layan diri BroadNet tiada komitmen ketersediaan, jadi aplikasi pengeluaran patut menyimpan sandaran.

**Dalam halaman ini**

1.  Mengapa perlu menyimpan penyedia sandaran?
2.  Ralat manakah yang patut mencetuskan failover?
3.  Bagaimanakah rupa failover dalam Python?
4.  Bagaimanakah memetakan ID model merentas penyedia?
5.  Bagaimanakah memastikan jawapan setara selepas pertukaran?
6.  Bagaimana pula dengan penstriman dan panggilan alat?
7.  Berapakah kos failover?
8.  Adakah sandaran memenuhi terma data yang sama?
9.  Patutkah anda menggunakan gateway seperti LiteLLM?
10.  Bagaimanakah menguji failover sebelum anda memerlukannya?
11.  Di manakah BroadNet Inference sesuai

Setiap API LLM ada minit yang buruk: satu 503, satu tamat masa, satu letusan 429. Sandaran (fallback) bermaksud minit-minit itu tidak menjadi gangguan dalam aplikasi anda. Artikel ini menunjukkan cara melakukan failover antara penyedia [serasi OpenAI](https://broadrouter.com/ms/glossary/openai-compatible-api/) dalam kod anda sendiri. Ia merangkumi ralat yang patut mencetuskannya, cara pemutus litar memastikannya pantas, dan apa yang mesti sepadan antara penyedia supaya pengguna tidak perasan pertukaran itu.

Satu perkara dahulu: **BroadNet Inference tidak menghala atau melakukan failover antara penyedia untuk anda**, dan begitu juga BroadRouter. BroadRouter ialah laman web BroadNet sendiri, bukan penghala. Anda membina sandaran sendiri, sama ada dalam klien anda seperti di bawah atau dalam gateway seperti LiteLLM.

## Mengapa perlu menyimpan penyedia sandaran?

Kerana kebanyakan API layan diri tidak menjanjikan apa-apa tentang masa operasi. [Terma](https://www.broadnet.ai/terms) BroadNet menyatakannya dengan jelas dalam seksyen 7.4: “self-serve has no availability commitment” (Terjemahan: layan diri tiada komitmen ketersediaan), dan tahap perkhidmatan hanya wujud dalam perjanjian bertulis yang berasingan (disemak 15 November 2026). [Perbandingan SLA API LLM](https://broadrouter.com/ms/blog/llm-api-sla-uptime-compared/) merangkumi komitmen penyedia lain. Jika ciri anda mesti sentiasa berfungsi, penyedia kedua ialah insurans yang praktikal, tidak kira apa yang dinyatakan oleh SLA.

[Had kadar](https://broadrouter.com/ms/glossary/rate-limit/) ialah sebab kedua. Kunci bayar ikut guna BroadNet membenarkan 30 permintaan seminit dan 4 permintaan serentak. Lonjakan trafik melebihi itu memulangkan 429, dan penyedia kedua boleh menyerap lebihan semasa anda meningkatkan kapasiti.

## Ralat manakah yang patut mencetuskan failover?

Bahagikan ralat kepada dua kumpulan. Sesetengahnya salah penyedia dan mungkin berjaya di tempat lain. Yang lain salah anda dan akan gagal di mana-mana.

| Ralat | Failover? | Mengapa |
| --- | --- | --- |
| Ralat sambungan, tamat masa | Ya, selepas percubaan semula | Penyedia atau rangkaian tidak dapat dicapai |
| 500, 502, 503, 504 | Ya, selepas percubaan semula | Dokumentasi BroadNet menyuruh “retry with bounded exponential backoff” (Terjemahan: cuba semula dengan backoff eksponen yang terhad) dahulu |
| 429, had kadar atau keserentakan | Ya, selepas backoff | Kapasiti di penyedia ini, bukan permintaan yang salah |
| 429, had perbelanjaan | Tidak | Failover memintas bajet yang anda tetapkan dengan sengaja |
| 400, 422 | Tidak | Permintaan tidak sah dan akan gagal pada penyedia seterusnya juga |
| 401, 402 | Tidak | Kunci, peruntukan atau baki. Di BroadNet, 401 juga meliputi peruntukan bayar ikut guna yang telah habis, jadi failover menyembunyikan masalah pengebilan |
| 403, 413 | Tidak | Dasar atau saiz; betulkan permintaan |

[Rujukan API](https://inference.broadnet.ai/docs?utm_source=broadrouter&utm_medium=referral&utm_campaign=ms-blog-llm-api-failover-fallback&utm_content=body) BroadNet menyatakan 429 bermaksud “a rate, concurrency, token-rate or spending limit was reached” (Terjemahan: had kadar, keserentakan, kadar token atau perbelanjaan telah dicapai) dan menyuruh “use response details and bounded backoff” (Terjemahan: gunakan butiran respons dan backoff yang terhad). Baca butiran itu sebelum anda failover, supaya 429 had perbelanjaan menghentikan permintaan dan bukannya memindahkannya. [Panduan kod ralat](https://broadrouter.com/ms/guides/errors-and-retries/) menyenaraikan setiap status.

Cuba semula sebelum failover. SDK Python OpenAI sudah pun mencuba semula ralat sambungan, respons 408, 409, 429 dan 5xx “2 times by default, with a short exponential backoff” (Terjemahan: 2 kali secara lalai, dengan backoff eksponen yang singkat), dan tamat masa lalainya ialah 10 minit ([README](https://github.com/openai/openai-python), disemak 15 November 2026). Sepuluh minit terlalu lama untuk menunggu sebelum failover. Tetapkan `timeout` bagi setiap klien. [Artikel pengendalian 429](https://broadrouter.com/ms/blog/handle-llm-api-429-rate-limits/) merangkumi backoff dengan jitter.

## Bagaimanakah rupa failover dalam Python?

Dua klien, satu senarai tersusun dan satu pemutus litar kecil. Penyedia utama ialah GLM 5.3 di BroadNet. Sandarannya ialah model open-weight yang sama di DeepInfra, yang dokumentasinya memberi base URL `https://api.deepinfra.com/v1/openai` (disemak 15 November 2026).

```python
import os
import time
from openai import (OpenAI, APIConnectionError, APITimeoutError,
                    RateLimitError, InternalServerError)

PROVIDERS = [
    {"name": "broadnet", "model": "broadnet/glm-5.3",
     "client": OpenAI(base_url="https://inference.broadnet.ai/v1",
                      api_key=os.environ["BROADNET_API_KEY"],
                      max_retries=2, timeout=60)},
    {"name": "deepinfra", "model": "zai-org/GLM-5.3",
     "client": OpenAI(base_url="https://api.deepinfra.com/v1/openai",
                      api_key=os.environ["DEEPINFRA_API_KEY"],
                      max_retries=2, timeout=60)},
]

# Provider-side failures only. 400, 401, 402, 403 and 422 raise straight through.
FAILOVER_ON = (APIConnectionError, APITimeoutError, RateLimitError, InternalServerError)
TRIP_AFTER = 3     # consecutive failures before the breaker opens
COOLDOWN = 30      # seconds to skip a provider once its breaker is open
state = {p["name"]: {"fails": 0, "open_until": 0.0} for p in PROVIDERS}

def chat(messages, **kwargs):
    last_error = None
    for p in PROVIDERS:
        s = state[p["name"]]
        if time.monotonic() < s["open_until"]:
            continue  # breaker open: don't wait on a provider that is down
        try:
            reply = p["client"].chat.completions.create(
                model=p["model"], messages=messages, **kwargs)
            s["fails"] = 0
            return p["name"], reply
        except FAILOVER_ON as err:
            last_error = err
            s["fails"] += 1
            if s["fails"] >= TRIP_AFTER:
                s["open_until"] = time.monotonic() + COOLDOWN
    raise RuntimeError("every provider failed") from last_error

served_by, reply = chat([{"role": "user", "content": "Reply with one short sentence."}],
                        max_tokens=1000)
print(served_by, reply.model, reply.choices[0].message.content)
```

Empat butiran penting:

1.  **Kelas pengecualian.** SDK menimbulkan `RateLimitError` untuk 429, `InternalServerError` untuk 500 ke atas, dan `APIConnectionError` (dengan `APITimeoutError` sebagai subkelas) apabila ia tidak dapat bersambung. Semua yang lain sengaja dibiarkan tidak ditangkap. Untuk mengecualikan 429 had perbelanjaan, periksa `err.response` sebelum anda meneruskan.
2.  **Pemutus litar.** Tanpanya, setiap permintaan membayar tamat masa penuh pada penyedia utama yang mati sebelum beralih. Selepas tiga kegagalan berturut-turut, penyedia utama dilangkau selama 30 saat. Selepas itu, permintaan seterusnya mengujinya semula.
3.  **Log siapa yang melayan.** Pulangkan nama penyedia dan simpan `reply.model`. Apabila kualiti berubah, anda perlu tahu penyedia mana yang menjawab.
4.  **Bajet penaakulan.** GLM 5.3 menaakul sebelum menjawab. Dokumentasi BroadNet menyatakan penaakulan dikira dalam `max_tokens`, jadi tinggalkan 1,000 atau lebih pada setiap penyedia.

## Bagaimanakah memetakan ID model merentas penyedia?

Model open-weight yang sama mempunyai ID yang berbeza di setiap hos, dan ciri yang disenaraikan oleh setiap hos boleh berbeza. GLM 5.3 pada 15 November 2026:

|  | BroadNet Inference | DeepInfra | Fireworks AI |
| --- | --- | --- | --- |
| ID model | `broadnet/glm-5.3` | `zai-org/GLM-5.3` | `accounts/fireworks/models/glm-5p3` |
| Konteks | 1,048,576 token | 1,048,576 token | “1040k” token |
| Tools | Didokumenkan | “Function” disenaraikan | Disokong |
| Output berstruktur | Didokumenkan | “JSON” disenaraikan | Tidak disemak |

Dua peraturan menyusul. Pertama, simpan pemetaan dalam konfigurasi, bukan bertaburan dalam kod. Kedua, padankan sandaran anda dengan apa yang digunakan oleh permintaan anda. Di BroadNet, tools dan output berstruktur didokumenkan untuk GLM 5.3 dan Qwen3.8 27B sahaja. Ejen yang menggunakan panggilan alat boleh failover daripada GLM 5.3 ke GLM 5.3 di tempat lain. Ia tidak boleh failover dengan selamat ke model yang tidak mendokumenkan tools. Jika sandaran mempunyai tetingkap konteks yang lebih kecil, pangkas prompt atau langkau sandaran itu untuk permintaan panjang. Base URL untuk 14 penyedia ada dalam [rujukan base URL](https://broadrouter.com/ms/blog/openai-compatible-api-base-urls/).

## Bagaimanakah memastikan jawapan setara selepas pertukaran?

Pemberat yang sama di dua hos masih boleh menjawab secara berbeza, kerana hos boleh menggunakan ketepatan, templat chat atau parameter lalai yang berbeza. Model yang berbeza pasti menjawab secara berbeza.

-   Jalankan [set penilaian](https://broadrouter.com/ms/blog/evaluate-llm-before-switching/) anda terhadap setiap entri dalam senarai, bukan hanya penyedia utama.
-   Tetapkan `temperature`, `max_tokens` dan system prompt bagi setiap permintaan, supaya lalai penyedia tidak dapat mengubah output.
-   Sahkan output berstruktur dengan cara yang sama pada setiap laluan. [Membetulkan JSON yang tidak sah](https://broadrouter.com/ms/blog/fix-invalid-json-from-llm/) merangkumi gelung baiki-dan-cuba-semula.
-   Utamakan model yang sama di tempat lain berbanding model berbeza di hos yang sama. Pengguna lebih perasan perubahan gaya berbanding kependaman beberapa saat.

## Bagaimana pula dengan penstriman dan panggilan alat?

Strim boleh gagal separuh jalan. Dokumentasi BroadNet menyatakan strim yang tamat sebelum `data: [DONE]` patut dianggap tidak lengkap: rekodkan `X-Request-ID` dan tentukan sama ada aplikasi anda boleh menghantar permintaan baharu dengan selamat.

-   **Sebelum token pertama:** failover dengan bebas. Pengguna belum melihat apa-apa.
-   **Selepas token dipaparkan:** mulakan semula pada sandaran dan gantikan jawapan separa, atau paparkan ralat dengan butang cuba semula. Mencantumkan separuh jawapan daripada dua penyedia tidak enak dibaca.
-   **Panggilan alat dengan kesan sampingan:** jangan sekali-kali jalankan semula langkah yang menghantar e-mel, mengecaj kad atau menulis ke pangkalan data hanya kerana panggilan model gagal. Berikan setiap tindakan [kunci idempotensi](https://broadrouter.com/ms/glossary/idempotency-key/). [Ejen yang berjalan lama](https://broadrouter.com/ms/blog/long-running-agents-timeouts-retries/) merangkumi titik semak.

[Penstriman dengan SSE](https://broadrouter.com/ms/blog/llm-streaming-sse-explained/) menerangkan cara mengesan strim yang tamat awal.

## Berapakah kos failover?

-   **Kerja berganda.** Tamat masa di pihak anda tidak membuktikan penyedia telah berhenti. Pada pengebilan setiap token, setiap percubaan semula ialah inferens baharu, jadi jangkakan untuk membayar dua kali bagi sesetengah permintaan.
-   **Harga berbeza.** Sandaran mengebil pada kadarnya sendiri. DeepInfra menyenaraikan harga promosi untuk GLM-5.3 pada 15 November 2026, jadi semak semula sebelum anda membuat bajet. BroadNet mengenakan $0.78 input, $0.173 input cache dan $3.46 output bagi setiap 1M token.
-   **Cache sejuk.** Input cache tidak berpindah antara penyedia. Permintaan pertama pada sandaran membayar harga input penuh pada prefix yang telah di-cache pada penyedia utama. Lihat [token input cache](https://broadrouter.com/ms/blog/cached-input-tokens-explained/).
-   **Hedging.** Menghantar setiap permintaan kepada dua penyedia serentak dan menyimpan jawapan pertama mengurangkan kependaman hujung, tetapi menggandakan bil secara kasar. Gunakannya hanya di mana kependaman berbaloi dengan kos itu.

## Adakah sandaran memenuhi terma data yang sama?

Penyedia sandaran ialah satu lagi pemproses yang menerima prompt yang sama. Jika anda menjanjikan sesuatu kepada pelanggan tentang data mereka, janji itu mesti benar pada setiap entri dalam senarai.

[Kenyataan privasi](https://www.broadnet.ai/inference-privacy) BroadNet menyatakan: “We do not retain prompts, audio, images, answers or transcripts” (Terjemahan: Kami tidak menyimpan prompt, audio, imej, jawapan atau transkrip). Kandungan inferens tidak disimpan; metadata akaun, pengebilan dan keselamatan yang perlu disimpan seperti yang diterangkan dalam kenyataan itu. Ia juga menyatakan data inferens tidak digunakan untuk melatih, menala halus atau menilai model. Kenyataan itu menyatakan model yang dihoskan “run on BroadNet-owned or leased hardware in the United States, with partner capacity as backup” (Terjemahan: berjalan pada perkakasan milik atau sewaan BroadNet di Amerika Syarikat, dengan kapasiti rakan kongsi sebagai sandaran); DeepSeek V4.1 Flash dihoskan oleh rakan kongsi. Untuk data dengan keperluan residensi, terma (seksyen 7.3a) menyuruh anda bersetuju tentang lokasi pemprosesan sebelum menghantarnya. Semak perkara yang sama untuk sandaran: penyimpanan, penggunaan untuk latihan, lokasi dan subpemproses. Jika ia tidak memenuhinya, jangan masukkan permintaan sensitif dalam laluan sandaran dan biarkan ia gagal secara tertutup. [Senarai semak pengekalan data sifar](https://broadrouter.com/ms/blog/zero-data-retention-llm-api-checklist/) menyenaraikan soalannya.

## Patutkah anda menggunakan gateway seperti LiteLLM?

Gunakan gateway jika beberapa perkhidmatan memerlukan peraturan sandaran yang sama. Proksi LiteLLM menerima senarai `fallbacks` yang dicuba mengikut urutan. `num_retries` mencuba semula kumpulan model sebelum beralih ke sandaran. `allowed_fails` dan `cooldown_time` mengeluarkan deployment yang gagal buat seketika, yang berfungsi sebagai pemutus litar. `context_window_fallbacks` dan `content_policy_fallbacks` yang berasingan mengendalikan jenis ralat tersebut ([dokumentasi LiteLLM](https://docs.litellm.ai/docs/proxy/reliability), disemak 15 November 2026):

```yaml
model_list:
  - model_name: glm
    litellm_params:
      model: openai/broadnet/glm-5.3
      api_base: https://inference.broadnet.ai/v1
      api_key: os.environ/BROADNET_API_KEY
  - model_name: glm-backup
    litellm_params:
      model: openai/zai-org/GLM-5.3
      api_base: https://api.deepinfra.com/v1/openai
      api_key: os.environ/DEEPINFRA_API_KEY

router_settings:
  fallbacks: [{"glm": ["glm-backup"]}]
  allowed_fails: 3
  cooldown_time: 30

litellm_settings:
  num_retries: 2
  request_timeout: 60
```

[Panduan proksi LiteLLM](https://broadrouter.com/ms/guides/litellm-proxy-custom-provider/) menunjukkan entri BroadNet secara penuh. Kedua-dua entri menggunakan prefix generik `openai/` LiteLLM dengan `api_base`, corak yang sama yang digunakan oleh panduan itu. Gateway menambah satu lompatan dan satu lagi perkara yang perlu dikekalkan berjalan. Kira-kira 40 baris dalam klien anda, seperti di atas, sudah memadai untuk satu aplikasi.

## Bagaimanakah menguji failover sebelum anda memerlukannya?

1.  Halakan penyedia utama ke hos yang tidak dapat dicapai dalam konfigurasi ujian dan pastikan permintaan sampai ke sandaran.
2.  Hantar permintaan yang sengaja dibuat tidak sah dan pastikan ia **tidak** failover.
3.  Gunakan kunci utama yang tidak sah dan pastikan 401 muncul sebagai ralat, bukan pertukaran senyap.
4.  Perhatikan pemutus litar: selepas tiga kegagalan, penyedia utama patut dilangkau tanpa menunggu tamat masa.
5.  Beri amaran apabila sandaran melayan lebih daripada sebahagian kecil trafik. Failover senyap boleh menyembunyikan penyedia utama yang rosak selama berhari-hari.

`Router` LiteLLM menerima `mock_testing_fallbacks=True` dalam ujian langsung untuk memaksa sandaran.

## Di manakah BroadNet Inference sesuai

BroadRouter ialah laman web BroadNet, dan BroadNet Inference boleh menjadi mana-mana entri dalam senarai anda. Sebagai penyedia utama, ia memberi anda GLM 5.3 dan Qwen3.8 27B dengan tools dan output berstruktur yang didokumenkan, serta Gemma 4 VL 26B dan DeepSeek V4.1 Flash, pada satu [base URL](https://broadrouter.com/ms/glossary/base-url/) tanpa kandungan disimpan. Sebagai sandaran, ia satu lagi endpoint serasi OpenAI untuk ditambah ke senarai. Walau bagaimanapun, logik failover ialah milik anda: BroadNet tidak menghala antara penyedia, dan layan diri tiada SLA. Jika anda memerlukan tahap perkhidmatan berkontrak, ia hanya datang dengan perjanjian bertulis yang berasingan. Bandingkan [model](https://broadrouter.com/ms/models/), atau [cipta akaun](https://inference.broadnet.ai/?utm_source=broadrouter&utm_medium=referral&utm_campaign=ms-blog-llm-api-failover-fallback&utm_content=body) dan uji rantaian anda dengan kredit permulaan $5 pada Gemma 4 VL 26B. GLM 5.3 dan Qwen3.8 27B memerlukan tambah nilai.

Alat percuma untuk topik ini (Bahasa Inggeris)

-   [OpenAI to BroadNet migration helper](https://broadrouter.com/tools/openai-to-broadnet-migration/) Paste OpenAI SDK code; get base URL, key and model edits, a diff and the checks that remain.
-   [max\_tokens calculator for reasoning models](https://broadrouter.com/tools/reasoning-token-budget/) Answer length + reasoning budget + margin = a max\_tokens that does not cut the answer off.
-   [JSON schema generator for LLM structured output](https://broadrouter.com/tools/json-schema-generator/) Sample JSON to strict schema, Pydantic, Zod and a ready request.
-   [LLM JSON output validator](https://broadrouter.com/tools/llm-json-output-validator/) Parse errors by line and column, safe repairs, cut-off detection and JSON Schema checks for model output.

[Alatan percuma (Bahasa Inggeris)](https://broadrouter.com/tools/)

## Istilah dalam artikel ini

[Token](https://broadrouter.com/ms/glossary/token/)

Token ialah unit teks yang dibaca dan ditulis oleh model bahasa: satu perkataan, sebahagian perkataan, tanda baca atau jujukan bait yang dihasilkan oleh tokenizer model itu. API LLM mengira, mengehadkan dan biasanya mengebil penggunaan dalam token.

[Backoff eksponen (exponential backoff)](https://broadrouter.com/ms/glossary/exponential-backoff/)

Backoff eksponen ialah strategi cuba semula di mana klien menunggu lebih lama selepas setiap percubaan yang gagal, biasanya menggandakan kelewatan sehingga had tertentu, sebelum mencuba lagi. Menambah jitter rawak pada setiap penantian menyebarkan cubaan semula daripada banyak klien supaya mereka tidak mengenai pelayan pada saat yang sama.

[Keserentakan (concurrency)](https://broadrouter.com/ms/glossary/concurrency/)

Keserentakan ialah bilangan permintaan yang sedang berjalan serentak daripada satu klien. API LLM sering mengehadkannya bagi setiap kunci atau pelan, berasingan daripada permintaan seminit, kerana setiap permintaan yang terbuka memegang kapasiti GPU sehingga responsnya selesai.

[Tamat masa permintaan (request timeout)](https://broadrouter.com/ms/glossary/request-timeout/)

Tamat masa permintaan (request timeout) ialah tempoh paling lama klien HTTP menunggu pelayan sebelum meninggalkan permintaan. Klien biasanya membahagikannya kepada connect timeout untuk membuka sambungan dan read timeout untuk menunggu data. Panggilan LLM memerlukan read timeout yang longgar kerana jawapan panjang mengambil masa.

[Base URL (URL asas)](https://broadrouter.com/ms/glossary/base-url/)

Base URL ialah alamat akar tetap sesuatu API, seperti https://api.example.com/v1, yang diletakkan oleh klien di hadapan setiap laluan endpoint, seperti /chat/completions. Dalam SDK serasi OpenAI, menukar base URL, bersama kunci API dan ID model, menghalakan kod yang sama kepada penyedia lain.

[Bayar ikut guna (pay-as-you-go)](https://broadrouter.com/ms/glossary/pay-as-you-go/)

Bayar ikut guna ialah model harga di mana anda hanya membayar apa yang anda guna, dimeter mengikut unit seperti token, permintaan atau minit audio, tanpa langganan atau komitmen minimum. Kebanyakan API LLM mengebil dengan cara ini, daripada baki prabayar atau invois berkala.

[Output berstruktur (structured output)](https://broadrouter.com/ms/glossary/structured-output/)

Output berstruktur ialah ciri API LLM yang mengehadkan balasan model kepada format yang ditetapkan oleh pembangun, biasanya JSON Schema, supaya kod boleh menghuraikannya dengan boleh dipercayai. Ia lebih ketat daripada JSON mode, yang menjamin JSON yang sah tetapi bukan bentuk tertentu.

[Tool calling (panggilan alatan)](https://broadrouter.com/ms/glossary/tool-calling/)

Tool calling, juga dipanggil function calling, ialah ciri API LLM di mana model memulangkan permintaan berstruktur untuk menjalankan fungsi yang ditakrifkan oleh pembangun, bersama argumen JSON. Aplikasi menjalankan fungsi itu dan menghantar hasilnya kembali; model sendiri tidak pernah menjalankan kod.

## Soalan lazim

### Ralat manakah yang patut mencetuskan sandaran API LLM?

Ralat sambungan, tamat masa, 5xx dan 429 had kadar, selepas percubaan semula SDK sendiri. Jangan failover pada 400, 401, 402, 403, 413 atau 422: permintaan atau akaun itu salah, dan penyedia seterusnya akan gagal dengan cara yang sama atau menyembunyikan masalah pengebilan.

### Adakah BroadNet melakukan failover ke penyedia lain secara automatik?

Tidak. BroadNet Inference tidak menghala permintaan antara model atau penyedia, dan BroadRouter, laman ini, ialah laman maklumat BroadNet, bukan penghala. Anda membina sandaran dalam klien anda atau dalam gateway seperti LiteLLM.

### Bolehkah saya menggunakan ID model yang sama pada setiap penyedia?

Tidak. Setiap penyedia menamakan model open-weight yang sama secara berbeza. GLM 5.3 ialah \`broadnet/glm-5.3\` di BroadNet, \`zai-org/GLM-5.3\` di DeepInfra dan \`accounts/fireworks/models/glm-5p3\` di Fireworks (disemak 15 November 2026). Simpan pemetaan bagi setiap penyedia.

### Adakah cubaan yang gagal dikenakan bayaran?

Boleh jadi. Tamat masa di pihak anda tidak membuktikan penyedia telah berhenti bekerja, dan pada pengebilan setiap token, setiap percubaan semula ialah inferens baharu. Peruntukkan bajet untuk beberapa permintaan yang dibilkan dua kali dan hadkan cubaan setiap permintaan.

### Patutkah penyedia sandaran mempunyai terma privasi yang sama?

Ya. Sandaran ialah satu lagi pemproses yang melihat prompt yang sama. Semak terma penyimpanan, latihan dan lokasi pemprosesannya sebelum anda menambahnya, jika tidak janji privasi anda hanya benar semasa penyedia utama berfungsi.

### Adakah BroadNet mempunyai SLA?

Tidak untuk layan diri. Terma BroadNet (seksyen 7.4) menyatakan layan diri tiada komitmen ketersediaan; tahap perkhidmatan hanya wujud dalam perjanjian bertulis yang berasingan.

## Teruskan membaca

-   [Cara mengendalikan ralat 429 API LLM: backoff, jitter dan pengehad](https://broadrouter.com/ms/blog/handle-llm-api-429-rate-limits/)
-   [Ejen yang berjalan lama: tamat masa, cubaan semula dan checkpoint](https://broadrouter.com/ms/blog/long-running-agents-timeouts-retries/)
-   [Base URL API serasi OpenAI: 14 penyedia, telah disemak](https://broadrouter.com/ms/blog/openai-compatible-api-base-urls/)
-   [Perbandingan SLA API LLM: janji Azure, Bedrock, Google dan OpenAI](https://broadrouter.com/ms/blog/llm-api-sla-uptime-compared/)
-   [Cara menilai LLM sebelum bertukar penyedia](https://broadrouter.com/ms/blog/evaluate-llm-before-switching/)
-   [Perkakasan GPU dan pendekatan penyajian BroadNet, menurut BroadNet](https://broadrouter.com/ms/blog/broadnet-gpu-fleet-and-serving/)
-   [Cache respons API LLM untuk jimat kos: cache padanan tepat Python](https://broadrouter.com/ms/blog/cache-llm-responses-cut-cost/)
-   [Panduan: Kod ralat BroadNet Inference dan bila perlu cuba semula](https://broadrouter.com/ms/guides/errors-and-retries/)
-   [Panduan: Halakan LiteLLM ke BroadNet Inference (SDK dan proksi)](https://broadrouter.com/ms/guides/litellm-proxy-custom-provider/)
-   [Panduan: Cara guna OpenAI Python SDK dengan BroadNet Inference](https://broadrouter.com/ms/guides/openai-python-sdk/)

Cuba dengan beban kerja sebenar anda. Akaun baharu bermula dengan kredit US$5 untuk Gemma dan transkripsi. DeepSeek, GLM dan Qwen3.8 memerlukan tambah nilai.

[Mulakan](https://inference.broadnet.ai/account/?utm_source=broadrouter&utm_medium=referral&utm_campaign=ms-blog-llm-api-failover-fallback&utm_content=page-cta) ·

**Sumber**

-   [Rujukan API BroadNet Inference: ralat dan percubaan semula, had, penstriman, keupayaan model (disemak 2026-11-15) (Bahasa Inggeris)](https://inference.broadnet.ai/docs?utm_source=broadrouter&utm_medium=referral&utm_campaign=ms-blog-llm-api-failover-fallback&utm_content=sources)
-   [Terma perkhidmatan BroadNet, seksyen 7.3a (lokasi pemprosesan) dan 7.4 (ketersediaan) (disemak 2026-11-15) (Bahasa Inggeris)](https://www.broadnet.ai/terms)
-   [Kenyataan privasi inferens BroadNet: tiada kandungan disimpan, tiada latihan, perkakasan AS dengan sandaran rakan kongsi (disemak 2026-11-15) (Bahasa Inggeris)](https://www.broadnet.ai/inference-privacy)
-   [README SDK Python OpenAI: percubaan semula, tamat masa dan kelas ralat (disemak 2026-11-15)](https://github.com/openai/openai-python)
-   [Dokumentasi LiteLLM, kebolehpercayaan proksi: fallbacks, num\_retries, allowed\_fails, cooldown\_time (disemak 2026-11-15)](https://docs.litellm.ai/docs/proxy/reliability)
-   [Dokumentasi DeepInfra, gambaran keseluruhan chat: base URL serasi OpenAI (disemak 2026-11-15)](https://docs.deepinfra.com/chat/overview)
-   [Halaman model DeepInfra, zai-org/GLM-5.3: konteks, function calling dan sokongan JSON (disemak 2026-11-15)](https://deepinfra.com/zai-org/GLM-5.3)
-   [Halaman model Fireworks AI, GLM 5.3: ID model, konteks dan sokongan tools (disemak 2026-11-15)](https://fireworks.ai/models/fireworks/glm-5p3)
