BroadRouter
Mulakan

Failover API LLM: beralih ke penyedia kedua dalam kod anda sendiri

Oleh pasukan BroadNet Inference · 8 minit bacaan · Diterbitkan · Dikemas kini

Simpan senarai tersusun penyedia serasi OpenAI, masing-masing dengan klien dan ID model sendiri. Lakukan failover pada ralat sambungan, tamat masa, 5xx dan 429 had kadar setelah percubaan semula SDK sendiri habis. Jangan sekali-kali failover pada 400, 401, 402, 403, 413 atau 422. Tambah pemutus litar, dan pastikan penyedia sandaran sepadan dengan penyedia utama dari segi ciri dan terma data.

Setiap API LLM ada minit yang buruk: satu 503, satu tamat masa, satu letusan 429. Sandaran (fallback) bermaksud minit-minit itu tidak menjadi gangguan dalam aplikasi anda. Artikel ini menunjukkan cara melakukan failover antara penyedia serasi OpenAI dalam kod anda sendiri. Ia merangkumi ralat yang patut mencetuskannya, cara pemutus litar memastikannya pantas, dan apa yang mesti sepadan antara penyedia supaya pengguna tidak perasan pertukaran itu.

Satu perkara dahulu: BroadNet Inference tidak menghala atau melakukan failover antara penyedia untuk anda, dan begitu juga BroadRouter. BroadRouter ialah laman web BroadNet sendiri, bukan penghala. Anda membina sandaran sendiri, sama ada dalam klien anda seperti di bawah atau dalam gateway seperti LiteLLM.

Mengapa perlu menyimpan penyedia sandaran?

Kerana kebanyakan API layan diri tidak menjanjikan apa-apa tentang masa operasi. Terma BroadNet menyatakannya dengan jelas dalam seksyen 7.4: “self-serve has no availability commitment” (Terjemahan: layan diri tiada komitmen ketersediaan), dan tahap perkhidmatan hanya wujud dalam perjanjian bertulis yang berasingan (disemak 15 November 2026). Perbandingan SLA API LLM merangkumi komitmen penyedia lain. Jika ciri anda mesti sentiasa berfungsi, penyedia kedua ialah insurans yang praktikal, tidak kira apa yang dinyatakan oleh SLA.

Had kadar ialah sebab kedua. Kunci bayar ikut guna BroadNet membenarkan 30 permintaan seminit dan 4 permintaan serentak. Lonjakan trafik melebihi itu memulangkan 429, dan penyedia kedua boleh menyerap lebihan semasa anda meningkatkan kapasiti.

Ralat manakah yang patut mencetuskan failover?

Bahagikan ralat kepada dua kumpulan. Sesetengahnya salah penyedia dan mungkin berjaya di tempat lain. Yang lain salah anda dan akan gagal di mana-mana.

Ralat Failover? Mengapa
Ralat sambungan, tamat masa Ya, selepas percubaan semula Penyedia atau rangkaian tidak dapat dicapai
500, 502, 503, 504 Ya, selepas percubaan semula Dokumentasi BroadNet menyuruh “retry with bounded exponential backoff” (Terjemahan: cuba semula dengan backoff eksponen yang terhad) dahulu
429, had kadar atau keserentakan Ya, selepas backoff Kapasiti di penyedia ini, bukan permintaan yang salah
429, had perbelanjaan Tidak Failover memintas bajet yang anda tetapkan dengan sengaja
400, 422 Tidak Permintaan tidak sah dan akan gagal pada penyedia seterusnya juga
401, 402 Tidak Kunci, peruntukan atau baki. Di BroadNet, 401 juga meliputi peruntukan bayar ikut guna yang telah habis, jadi failover menyembunyikan masalah pengebilan
403, 413 Tidak Dasar atau saiz; betulkan permintaan

Rujukan API BroadNet menyatakan 429 bermaksud “a rate, concurrency, token-rate or spending limit was reached” (Terjemahan: had kadar, keserentakan, kadar token atau perbelanjaan telah dicapai) dan menyuruh “use response details and bounded backoff” (Terjemahan: gunakan butiran respons dan backoff yang terhad). Baca butiran itu sebelum anda failover, supaya 429 had perbelanjaan menghentikan permintaan dan bukannya memindahkannya. Panduan kod ralat menyenaraikan setiap status.

Cuba semula sebelum failover. SDK Python OpenAI sudah pun mencuba semula ralat sambungan, respons 408, 409, 429 dan 5xx “2 times by default, with a short exponential backoff” (Terjemahan: 2 kali secara lalai, dengan backoff eksponen yang singkat), dan tamat masa lalainya ialah 10 minit (README, disemak 15 November 2026). Sepuluh minit terlalu lama untuk menunggu sebelum failover. Tetapkan timeout bagi setiap klien. Artikel pengendalian 429 merangkumi backoff dengan jitter.

Bagaimanakah rupa failover dalam Python?

Dua klien, satu senarai tersusun dan satu pemutus litar kecil. Penyedia utama ialah GLM 5.3 di BroadNet. Sandarannya ialah model open-weight yang sama di DeepInfra, yang dokumentasinya memberi base URL https://api.deepinfra.com/v1/openai (disemak 15 November 2026).

import os
import time
from openai import (OpenAI, APIConnectionError, APITimeoutError,
                    RateLimitError, InternalServerError)

PROVIDERS = [
    {"name": "broadnet", "model": "broadnet/glm-5.3",
     "client": OpenAI(base_url="https://inference.broadnet.ai/v1",
                      api_key=os.environ["BROADNET_API_KEY"],
                      max_retries=2, timeout=60)},
    {"name": "deepinfra", "model": "zai-org/GLM-5.3",
     "client": OpenAI(base_url="https://api.deepinfra.com/v1/openai",
                      api_key=os.environ["DEEPINFRA_API_KEY"],
                      max_retries=2, timeout=60)},
]

# Provider-side failures only. 400, 401, 402, 403 and 422 raise straight through.
FAILOVER_ON = (APIConnectionError, APITimeoutError, RateLimitError, InternalServerError)
TRIP_AFTER = 3     # consecutive failures before the breaker opens
COOLDOWN = 30      # seconds to skip a provider once its breaker is open
state = {p["name"]: {"fails": 0, "open_until": 0.0} for p in PROVIDERS}


def chat(messages, **kwargs):
    last_error = None
    for p in PROVIDERS:
        s = state[p["name"]]
        if time.monotonic() < s["open_until"]:
            continue  # breaker open: don't wait on a provider that is down
        try:
            reply = p["client"].chat.completions.create(
                model=p["model"], messages=messages, **kwargs)
            s["fails"] = 0
            return p["name"], reply
        except FAILOVER_ON as err:
            last_error = err
            s["fails"] += 1
            if s["fails"] >= TRIP_AFTER:
                s["open_until"] = time.monotonic() + COOLDOWN
    raise RuntimeError("every provider failed") from last_error


served_by, reply = chat([{"role": "user", "content": "Reply with one short sentence."}],
                        max_tokens=1000)
print(served_by, reply.model, reply.choices[0].message.content)

Empat butiran penting:

  1. Kelas pengecualian. SDK menimbulkan RateLimitError untuk 429, InternalServerError untuk 500 ke atas, dan APIConnectionError (dengan APITimeoutError sebagai subkelas) apabila ia tidak dapat bersambung. Semua yang lain sengaja dibiarkan tidak ditangkap. Untuk mengecualikan 429 had perbelanjaan, periksa err.response sebelum anda meneruskan.
  2. Pemutus litar. Tanpanya, setiap permintaan membayar tamat masa penuh pada penyedia utama yang mati sebelum beralih. Selepas tiga kegagalan berturut-turut, penyedia utama dilangkau selama 30 saat. Selepas itu, permintaan seterusnya mengujinya semula.
  3. Log siapa yang melayan. Pulangkan nama penyedia dan simpan reply.model. Apabila kualiti berubah, anda perlu tahu penyedia mana yang menjawab.
  4. Bajet penaakulan. GLM 5.3 menaakul sebelum menjawab. Dokumentasi BroadNet menyatakan penaakulan dikira dalam max_tokens, jadi tinggalkan 1,000 atau lebih pada setiap penyedia.

Bagaimanakah memetakan ID model merentas penyedia?

Model open-weight yang sama mempunyai ID yang berbeza di setiap hos, dan ciri yang disenaraikan oleh setiap hos boleh berbeza. GLM 5.3 pada 15 November 2026:

BroadNet Inference DeepInfra Fireworks AI
ID model broadnet/glm-5.3 zai-org/GLM-5.3 accounts/fireworks/models/glm-5p3
Konteks 1,048,576 token 1,048,576 token “1040k” token
Tools Didokumenkan “Function” disenaraikan Disokong
Output berstruktur Didokumenkan “JSON” disenaraikan Tidak disemak

Dua peraturan menyusul. Pertama, simpan pemetaan dalam konfigurasi, bukan bertaburan dalam kod. Kedua, padankan sandaran anda dengan apa yang digunakan oleh permintaan anda. Di BroadNet, tools dan output berstruktur didokumenkan untuk GLM 5.3 dan Qwen3.8 27B sahaja. Ejen yang menggunakan panggilan alat boleh failover daripada GLM 5.3 ke GLM 5.3 di tempat lain. Ia tidak boleh failover dengan selamat ke model yang tidak mendokumenkan tools. Jika sandaran mempunyai tetingkap konteks yang lebih kecil, pangkas prompt atau langkau sandaran itu untuk permintaan panjang. Base URL untuk 14 penyedia ada dalam rujukan base URL.

Bagaimanakah memastikan jawapan setara selepas pertukaran?

Pemberat yang sama di dua hos masih boleh menjawab secara berbeza, kerana hos boleh menggunakan ketepatan, templat chat atau parameter lalai yang berbeza. Model yang berbeza pasti menjawab secara berbeza.

  • Jalankan set penilaian anda terhadap setiap entri dalam senarai, bukan hanya penyedia utama.
  • Tetapkan temperature, max_tokens dan system prompt bagi setiap permintaan, supaya lalai penyedia tidak dapat mengubah output.
  • Sahkan output berstruktur dengan cara yang sama pada setiap laluan. Membetulkan JSON yang tidak sah merangkumi gelung baiki-dan-cuba-semula.
  • Utamakan model yang sama di tempat lain berbanding model berbeza di hos yang sama. Pengguna lebih perasan perubahan gaya berbanding kependaman beberapa saat.

Bagaimana pula dengan penstriman dan panggilan alat?

Strim boleh gagal separuh jalan. Dokumentasi BroadNet menyatakan strim yang tamat sebelum data: [DONE] patut dianggap tidak lengkap: rekodkan X-Request-ID dan tentukan sama ada aplikasi anda boleh menghantar permintaan baharu dengan selamat.

  • Sebelum token pertama: failover dengan bebas. Pengguna belum melihat apa-apa.
  • Selepas token dipaparkan: mulakan semula pada sandaran dan gantikan jawapan separa, atau paparkan ralat dengan butang cuba semula. Mencantumkan separuh jawapan daripada dua penyedia tidak enak dibaca.
  • Panggilan alat dengan kesan sampingan: jangan sekali-kali jalankan semula langkah yang menghantar e-mel, mengecaj kad atau menulis ke pangkalan data hanya kerana panggilan model gagal. Berikan setiap tindakan kunci idempotensi. Ejen yang berjalan lama merangkumi titik semak.

Penstriman dengan SSE menerangkan cara mengesan strim yang tamat awal.

Berapakah kos failover?

  • Kerja berganda. Tamat masa di pihak anda tidak membuktikan penyedia telah berhenti. Pada pengebilan setiap token, setiap percubaan semula ialah inferens baharu, jadi jangkakan untuk membayar dua kali bagi sesetengah permintaan.
  • Harga berbeza. Sandaran mengebil pada kadarnya sendiri. DeepInfra menyenaraikan harga promosi untuk GLM-5.3 pada 15 November 2026, jadi semak semula sebelum anda membuat bajet. BroadNet mengenakan $0.78 input, $0.173 input cache dan $3.46 output bagi setiap 1M token.
  • Cache sejuk. Input cache tidak berpindah antara penyedia. Permintaan pertama pada sandaran membayar harga input penuh pada prefix yang telah di-cache pada penyedia utama. Lihat token input cache.
  • Hedging. Menghantar setiap permintaan kepada dua penyedia serentak dan menyimpan jawapan pertama mengurangkan kependaman hujung, tetapi menggandakan bil secara kasar. Gunakannya hanya di mana kependaman berbaloi dengan kos itu.

Adakah sandaran memenuhi terma data yang sama?

Penyedia sandaran ialah satu lagi pemproses yang menerima prompt yang sama. Jika anda menjanjikan sesuatu kepada pelanggan tentang data mereka, janji itu mesti benar pada setiap entri dalam senarai.

Kenyataan privasi BroadNet menyatakan: “We do not retain prompts, audio, images, answers or transcripts” (Terjemahan: Kami tidak menyimpan prompt, audio, imej, jawapan atau transkrip). Kandungan inferens tidak disimpan; metadata akaun, pengebilan dan keselamatan yang perlu disimpan seperti yang diterangkan dalam kenyataan itu. Ia juga menyatakan data inferens tidak digunakan untuk melatih, menala halus atau menilai model. Kenyataan itu menyatakan model yang dihoskan “run on BroadNet-owned or leased hardware in the United States, with partner capacity as backup” (Terjemahan: berjalan pada perkakasan milik atau sewaan BroadNet di Amerika Syarikat, dengan kapasiti rakan kongsi sebagai sandaran); DeepSeek V4.1 Flash dihoskan oleh rakan kongsi. Untuk data dengan keperluan residensi, terma (seksyen 7.3a) menyuruh anda bersetuju tentang lokasi pemprosesan sebelum menghantarnya. Semak perkara yang sama untuk sandaran: penyimpanan, penggunaan untuk latihan, lokasi dan subpemproses. Jika ia tidak memenuhinya, jangan masukkan permintaan sensitif dalam laluan sandaran dan biarkan ia gagal secara tertutup. Senarai semak pengekalan data sifar menyenaraikan soalannya.

Patutkah anda menggunakan gateway seperti LiteLLM?

Gunakan gateway jika beberapa perkhidmatan memerlukan peraturan sandaran yang sama. Proksi LiteLLM menerima senarai fallbacks yang dicuba mengikut urutan. num_retries mencuba semula kumpulan model sebelum beralih ke sandaran. allowed_fails dan cooldown_time mengeluarkan deployment yang gagal buat seketika, yang berfungsi sebagai pemutus litar. context_window_fallbacks dan content_policy_fallbacks yang berasingan mengendalikan jenis ralat tersebut (dokumentasi LiteLLM, disemak 15 November 2026):

model_list:
  - model_name: glm
    litellm_params:
      model: openai/broadnet/glm-5.3
      api_base: https://inference.broadnet.ai/v1
      api_key: os.environ/BROADNET_API_KEY
  - model_name: glm-backup
    litellm_params:
      model: openai/zai-org/GLM-5.3
      api_base: https://api.deepinfra.com/v1/openai
      api_key: os.environ/DEEPINFRA_API_KEY

router_settings:
  fallbacks: [{"glm": ["glm-backup"]}]
  allowed_fails: 3
  cooldown_time: 30

litellm_settings:
  num_retries: 2
  request_timeout: 60

Panduan proksi LiteLLM menunjukkan entri BroadNet secara penuh. Kedua-dua entri menggunakan prefix generik openai/ LiteLLM dengan api_base, corak yang sama yang digunakan oleh panduan itu. Gateway menambah satu lompatan dan satu lagi perkara yang perlu dikekalkan berjalan. Kira-kira 40 baris dalam klien anda, seperti di atas, sudah memadai untuk satu aplikasi.

Bagaimanakah menguji failover sebelum anda memerlukannya?

  1. Halakan penyedia utama ke hos yang tidak dapat dicapai dalam konfigurasi ujian dan pastikan permintaan sampai ke sandaran.
  2. Hantar permintaan yang sengaja dibuat tidak sah dan pastikan ia tidak failover.
  3. Gunakan kunci utama yang tidak sah dan pastikan 401 muncul sebagai ralat, bukan pertukaran senyap.
  4. Perhatikan pemutus litar: selepas tiga kegagalan, penyedia utama patut dilangkau tanpa menunggu tamat masa.
  5. Beri amaran apabila sandaran melayan lebih daripada sebahagian kecil trafik. Failover senyap boleh menyembunyikan penyedia utama yang rosak selama berhari-hari.

Router LiteLLM menerima mock_testing_fallbacks=True dalam ujian langsung untuk memaksa sandaran.

Di manakah BroadNet Inference sesuai

BroadRouter ialah laman web BroadNet, dan BroadNet Inference boleh menjadi mana-mana entri dalam senarai anda. Sebagai penyedia utama, ia memberi anda GLM 5.3 dan Qwen3.8 27B dengan tools dan output berstruktur yang didokumenkan, serta Gemma 4 VL 26B dan DeepSeek V4.1 Flash, pada satu base URL tanpa kandungan disimpan. Sebagai sandaran, ia satu lagi endpoint serasi OpenAI untuk ditambah ke senarai. Walau bagaimanapun, logik failover ialah milik anda: BroadNet tidak menghala antara penyedia, dan layan diri tiada SLA. Jika anda memerlukan tahap perkhidmatan berkontrak, ia hanya datang dengan perjanjian bertulis yang berasingan. Bandingkan model, atau cipta akaun dan uji rantaian anda dengan kredit permulaan $5 pada Gemma 4 VL 26B. GLM 5.3 dan Qwen3.8 27B memerlukan tambah nilai.

Soalan lazim

Ralat manakah yang patut mencetuskan sandaran API LLM?

Ralat sambungan, tamat masa, 5xx dan 429 had kadar, selepas percubaan semula SDK sendiri. Jangan failover pada 400, 401, 402, 403, 413 atau 422: permintaan atau akaun itu salah, dan penyedia seterusnya akan gagal dengan cara yang sama atau menyembunyikan masalah pengebilan.

Adakah BroadNet melakukan failover ke penyedia lain secara automatik?

Tidak. BroadNet Inference tidak menghala permintaan antara model atau penyedia, dan BroadRouter, laman ini, ialah laman maklumat BroadNet, bukan penghala. Anda membina sandaran dalam klien anda atau dalam gateway seperti LiteLLM.

Bolehkah saya menggunakan ID model yang sama pada setiap penyedia?

Tidak. Setiap penyedia menamakan model open-weight yang sama secara berbeza. GLM 5.3 ialah `broadnet/glm-5.3` di BroadNet, `zai-org/GLM-5.3` di DeepInfra dan `accounts/fireworks/models/glm-5p3` di Fireworks (disemak 15 November 2026). Simpan pemetaan bagi setiap penyedia.

Adakah cubaan yang gagal dikenakan bayaran?

Boleh jadi. Tamat masa di pihak anda tidak membuktikan penyedia telah berhenti bekerja, dan pada pengebilan setiap token, setiap percubaan semula ialah inferens baharu. Peruntukkan bajet untuk beberapa permintaan yang dibilkan dua kali dan hadkan cubaan setiap permintaan.

Patutkah penyedia sandaran mempunyai terma privasi yang sama?

Ya. Sandaran ialah satu lagi pemproses yang melihat prompt yang sama. Semak terma penyimpanan, latihan dan lokasi pemprosesannya sebelum anda menambahnya, jika tidak janji privasi anda hanya benar semasa penyedia utama berfungsi.

Adakah BroadNet mempunyai SLA?

Tidak untuk layan diri. Terma BroadNet (seksyen 7.4) menyatakan layan diri tiada komitmen ketersediaan; tahap perkhidmatan hanya wujud dalam perjanjian bertulis yang berasingan.

Baca sebagai MarkdownTanya ChatGPTTanya ClaudeTanya Perplexity