May masasamang minuto ang bawat LLM API: isang 503, isang timeout, sunud-sunod na 429. Ang fallback ang pumipigil na maging outage ng app mo ang mga minutong iyon. Ipinapakita ng post na ito kung paano mag-failover sa pagitan ng mga OpenAI-compatible na provider sa sarili mong code. Sinasaklaw nito kung aling mga error ang dapat mag-trigger nito, paano ito pinapabilis ng circuit breaker, at ano ang dapat magtugma sa pagitan ng mga provider para hindi mapansin ng mga user ang paglipat.
Isang bagay muna: hindi nagro-route o nagfa-failover sa pagitan ng mga provider ang BroadNet Inference para sa iyo, at ganoon din ang BroadRouter. Ang BroadRouter ay sariling website ng BroadNet, hindi router. Ikaw mismo ang gagawa ng fallback, sa client mo gaya ng nasa ibaba o sa isang gateway gaya ng LiteLLM.
Bakit pa kailangan ng fallback provider?
Dahil walang ipinapangako tungkol sa uptime ang karamihan ng self-serve na API. Diretsahan itong sinasabi ng terms ng BroadNet sa section 7.4: “self-serve has no availability commitment” (salin: walang availability commitment ang self-serve), at may service level lang sa isang hiwalay na nakasulat na kasunduan (sinuri noong Nobyembre 15, 2026). Sinasaklaw ng paghahambing ng LLM API SLA kung ano ang ipinapangako ng ibang provider. Kung kailangang laging bukas ang feature mo, ang pangalawang provider ang praktikal na insurance, anuman ang sabihin ng SLA.
Ang rate limit ang pangalawang dahilan. Pinapayagan ng isang pay-as-you-go na key ng BroadNet ang 30 request kada minuto at 4 na sabay-sabay na tumatakbo. Kapag lumampas doon ang biglang dami ng traffic, 429 ang babalik, at kayang saluhin ng pangalawang provider ang sobra habang itinataas mo ang capacity.
Aling mga error ang dapat mag-trigger ng failover?
Hatiin ang mga error sa dalawang grupo. Ang ilan ay kasalanan ng provider at puwedeng magtagumpay sa iba. Ang iba ay kasalanan mo at babagsak saan man.
| Error | Mag-failover? | Bakit |
|---|---|---|
| Connection error, timeout | Oo, pagkatapos ng retry | Hindi maabot ang provider o ang network |
| 500, 502, 503, 504 | Oo, pagkatapos ng retry | Sinasabi ng docs ng BroadNet na “retry with bounded exponential backoff” (salin: mag-retry nang may limitadong exponential backoff) muna |
| 429, rate o concurrency limit | Oo, pagkatapos ng backoff | Capacity ng provider na ito, hindi maling request |
| 429, spending limit | Hindi | Nilalampasan ng failover ang budget na sinadya mong itakda |
| 400, 422 | Hindi | Invalid ang request at babagsak din sa susunod na provider |
| 401, 402 | Hindi | Key, allowance o balance. Sa BroadNet, sakop din ng 401 ang naubos na pay-as-you-go allowance, kaya matatabunan ng failover ang problema sa billing |
| 403, 413 | Hindi | Policy o laki; ayusin ang request |
Sinasabi ng API reference ng BroadNet na ang 429 ay nangangahulugang “a rate, concurrency, token-rate or spending limit was reached” (salin: naabot ang rate, concurrency, token-rate o spending limit) at na “use response details and bounded backoff” (salin: gamitin ang mga detalye ng response at limitadong backoff). Basahin ang mga detalyeng iyon bago ka mag-failover, para mapahinto ng spending-limit na 429 ang request imbes na ilipat ito. Nakalista sa gabay sa error codes ang bawat status.
Mag-retry bago mag-failover. Nagre-retry na ang OpenAI Python SDK sa connection error, 408, 409, 429 at 5xx na response nang “2 times by default, with a short exponential backoff” (salin: 2 beses by default, may maikling exponential backoff), at 10 minuto ang default timeout nito (README, sinuri noong Nobyembre 15, 2026). Masyadong matagal ang sampung minuto para maghintay bago mag-failover. Itakda ang timeout kada client. Sinasaklaw ng post tungkol sa paghawak ng 429 ang backoff na may jitter.
Ano ang itsura ng failover sa Python?
Dalawang client, isang nakaayos na listahan at isang maliit na circuit breaker. Ang primary ay GLM 5.3 sa BroadNet. Ang backup ay ang parehong open-weight na model sa DeepInfra, na ang docs ay nagbibigay ng base URL na https://api.deepinfra.com/v1/openai (sinuri noong Nobyembre 15, 2026).
import os
import time
from openai import (OpenAI, APIConnectionError, APITimeoutError,
RateLimitError, InternalServerError)
PROVIDERS = [
{"name": "broadnet", "model": "broadnet/glm-5.3",
"client": OpenAI(base_url="https://inference.broadnet.ai/v1",
api_key=os.environ["BROADNET_API_KEY"],
max_retries=2, timeout=60)},
{"name": "deepinfra", "model": "zai-org/GLM-5.3",
"client": OpenAI(base_url="https://api.deepinfra.com/v1/openai",
api_key=os.environ["DEEPINFRA_API_KEY"],
max_retries=2, timeout=60)},
]
# Provider-side failures only. 400, 401, 402, 403 and 422 raise straight through.
FAILOVER_ON = (APIConnectionError, APITimeoutError, RateLimitError, InternalServerError)
TRIP_AFTER = 3 # consecutive failures before the breaker opens
COOLDOWN = 30 # seconds to skip a provider once its breaker is open
state = {p["name"]: {"fails": 0, "open_until": 0.0} for p in PROVIDERS}
def chat(messages, **kwargs):
last_error = None
for p in PROVIDERS:
s = state[p["name"]]
if time.monotonic() < s["open_until"]:
continue # breaker open: don't wait on a provider that is down
try:
reply = p["client"].chat.completions.create(
model=p["model"], messages=messages, **kwargs)
s["fails"] = 0
return p["name"], reply
except FAILOVER_ON as err:
last_error = err
s["fails"] += 1
if s["fails"] >= TRIP_AFTER:
s["open_until"] = time.monotonic() + COOLDOWN
raise RuntimeError("every provider failed") from last_error
served_by, reply = chat([{"role": "user", "content": "Reply with one short sentence."}],
max_tokens=1000)
print(served_by, reply.model, reply.choices[0].message.content)
Apat na detalye ang mahalaga:
- Mga exception class. Nagre-raise ang SDK ng
RateLimitErrorpara sa 429,InternalServerErrorpara sa 500 pataas, atAPIConnectionError(na mayAPITimeoutErrorbilang subclass) kapag hindi ito makakonekta. Sinadyang hindi hulihin ang lahat ng iba pa. Para hindi isama ang mga spending-limit na 429, suriin angerr.responsebago ka magpatuloy. - Ang circuit breaker. Kung wala ito, binabayaran ng bawat request ang buong timeout sa patay na primary bago lumipat. Pagkatapos ng tatlong sunud-sunod na pagbagsak, nilalaktawan ang primary nang 30 segundo. Pagkatapos noon, sinusubukan ulit ito ng susunod na request.
- I-log kung sino ang sumagot. Ibalik ang pangalan ng provider at itabi ang
reply.model. Kapag nagbago ang kalidad, kailangan mong malaman kung aling provider ang sumagot. - Budget sa reasoning. Nagre-reason ang GLM 5.3 bago sumagot. Sinasabi ng docs ng BroadNet na kasama sa
max_tokensang reasoning, kaya mag-iwan ng 1,000 o higit pa sa bawat provider.
Paano i-map ang mga model ID sa iba’t ibang provider?
Iba ang ID ng parehong open-weight na model sa bawat host, at puwedeng magkaiba ang features na nakalista ng bawat host. GLM 5.3 noong Nobyembre 15, 2026:
| BroadNet Inference | DeepInfra | Fireworks AI | |
|---|---|---|---|
| Model ID | broadnet/glm-5.3 |
zai-org/GLM-5.3 |
accounts/fireworks/models/glm-5p3 |
| Context | 1,048,576 token | 1,048,576 token | “1040k” na token |
| Tools | Dokumentado | Nakalista ang “Function” | Supported |
| Structured output | Dokumentado | Nakalista ang “JSON” | Hindi sinuri |
Dalawang patakaran ang sumusunod. Una, ilagay ang mapping sa config, hindi kalat sa code. Pangalawa, itugma ang fallback mo sa ginagamit ng mga request mo. Sa BroadNet, dokumentado ang tools at structured output para sa GLM 5.3 at Qwen3.8 27B lang. Puwedeng mag-failover ang isang tool-calling na agent mula sa GLM 5.3 papunta sa GLM 5.3 sa ibang lugar. Hindi ito ligtas na makakapag-failover sa model na walang dokumentadong tools. Kung mas maliit ang context window ng backup, paikliin ang prompt o laktawan ang backup na iyon para sa mahahabang request. Nasa reference ng mga base URL ang base URL ng 14 na provider.
Paano mapapanatiling magkatulad ang mga sagot pagkatapos lumipat?
Puwedeng magkaiba pa rin ang sagot ng parehong weights sa dalawang host, dahil puwedeng magkaiba ang precision, chat template o default na parameter na sine-serve ng mga host. Tiyak na iba ang sagot ng ibang model.
- Patakbuhin ang eval set mo sa bawat entry sa listahan, hindi lang sa primary.
- I-pin ang
temperature,max_tokensat ang system prompt kada request, para hindi mabago ng mga default ng provider ang output. - I-validate ang structured output sa parehong paraan sa bawat path. Sinasaklaw ng pag-aayos ng invalid na JSON ang repair-and-retry loop.
- Mas piliin ang parehong model sa ibang lugar kaysa ibang model sa parehong host. Mas napapansin ng mga user ang pagbabago ng estilo kaysa ilang segundong latency.
Paano naman ang streaming at mga tool call?
Puwedeng pumalya ang stream sa kalagitnaan. Sinasabi ng docs ng BroadNet na ituring na hindi kumpleto ang stream na natapos bago ang data: [DONE]: itala ang X-Request-ID at pagpasyahan kung ligtas para sa application mo na magpadala ng bagong request.
- Bago ang unang token: malayang mag-failover. Wala pang nakikita ang user.
- Pagkatapos maipakita ang mga token: magsimula ulit sa backup at palitan ang bahagyang sagot, o magpakita ng error na may retry button. Pangit basahin ang pinagdugtong na kalahating sagot ng dalawang provider.
- Mga tool call na may side effect: huwag kailanman ulitin ang hakbang na nagpapadala ng email, naniningil sa card o nagsusulat sa database dahil lang pumalya ang model call. Bigyan ang bawat aksyon ng idempotency key. Sinasaklaw ng mga long-running agent ang mga checkpoint.
Ipinapaliwanag ng streaming gamit ang SSE kung paano matutukoy ang stream na maagang natapos.
Magkano ang gastos ng failover?
- Dobleng trabaho. Hindi patunay ang timeout sa panig mo na tumigil na ang provider. Sa per-token na billing, bagong inference ang bawat retry, kaya asahan na dalawang beses kang magbabayad para sa ilang request.
- Ibang presyo. Sinisingil ka ng backup sa sarili nitong rate. May promotional na presyo ang DeepInfra para sa GLM-5.3 noong Nobyembre 15, 2026, kaya suriin ulit bago ka mag-budget. Naniningil ang BroadNet ng $0.78 input, $0.173 cached input at $3.46 output kada 1M token.
- Malamig na cache. Hindi lumilipat ang cached input sa pagitan ng mga provider. Buong presyo ng input ang binabayaran ng mga unang request sa backup para sa prefix na naka-cache sa primary. Tingnan ang cached input token.
- Hedging. Kapag ipinapadala mo ang bawat request sa dalawang provider nang sabay at kinukuha ang unang sagot, bumababa ang tail latency, pero halos dumodoble ang bill. Gamitin lang ito kung saan sulit ang latency sa ganoong gastos.
Pasok ba ang fallback sa parehong data terms?
Ang fallback provider ay isa pang processor na tumatanggap ng parehong mga prompt. Kung may ipinangako ka sa mga customer tungkol sa data nila, kailangang totoo ang pangakong iyon sa bawat entry sa listahan.
Sinasabi ng privacy statement ng BroadNet: “We do not retain prompts, audio, images, answers or transcripts” (salin: Hindi namin itinatago ang mga prompt, audio, larawan, sagot o transcript). Hindi itinatago ang inference content; itinatago ang kinakailangang metadata ng account, billing at security ayon sa inilalarawan ng statement na iyon. Sinasabi rin nito na hindi ginagamit ang inference data para mag-train, mag-fine-tune o mag-evaluate ng mga model. Sinasabi ng statement na ang mga hosted na model ay “run on BroadNet-owned or leased hardware in the United States, with partner capacity as backup” (salin: tumatakbo sa hardware na pag-aari o inuupahan ng BroadNet sa United States, na may partner capacity bilang backup); partner-hosted ang DeepSeek V4.1 Flash. Para sa data na may residency requirement, sinasabi ng terms (section 7.3a) na pagkasunduan muna ang lokasyon ng pagproseso bago ito ipadala. Suriin ang parehong mga punto para sa backup: retention, paggamit sa training, lokasyon at mga subprocessor. Kung kulang ito, huwag isama ang mga sensitibong request sa fallback path at hayaan silang bumagsak nang sarado (fail closed). Nakalista sa zero data retention checklist ang mga tanong.
Dapat ka bang gumamit na lang ng gateway gaya ng LiteLLM?
Gumamit ng gateway kung maraming service ang nangangailangan ng parehong fallback rules. Tumatanggap ang proxy ng LiteLLM ng fallbacks na listahan na sinusubukan nang sunud-sunod. Nire-retry ng num_retries ang isang model group bago ito mag-fallback. Inaalis muna nang ilang sandali ng allowed_fails at cooldown_time ang pumapalyang deployment, na gumagana bilang circuit breaker. Hiwalay na hinahawakan ng context_window_fallbacks at content_policy_fallbacks ang mga uri ng error na iyon (docs ng LiteLLM, sinuri noong Nobyembre 15, 2026):
model_list:
- model_name: glm
litellm_params:
model: openai/broadnet/glm-5.3
api_base: https://inference.broadnet.ai/v1
api_key: os.environ/BROADNET_API_KEY
- model_name: glm-backup
litellm_params:
model: openai/zai-org/GLM-5.3
api_base: https://api.deepinfra.com/v1/openai
api_key: os.environ/DEEPINFRA_API_KEY
router_settings:
fallbacks: [{"glm": ["glm-backup"]}]
allowed_fails: 3
cooldown_time: 30
litellm_settings:
num_retries: 2
request_timeout: 60
Ipinapakita nang buo ng gabay sa LiteLLM proxy ang BroadNet entry. Ginagamit ng dalawang entry ang generic na openai/ prefix ng LiteLLM na may api_base, ang parehong pattern na ginagamit ng gabay. Nagdadagdag ang gateway ng isang hop at isa pang bagay na kailangang panatilihing tumatakbo. Sapat na ang mga 40 linya sa client mo, gaya ng nasa itaas, para sa iisang app.
Paano subukan ang failover bago mo ito kailanganin?
- Ituro ang primary sa isang hindi maabot na host sa test config at tiyaking napupunta sa backup ang mga request.
- Magpadala ng sadyang invalid na request at tiyaking hindi ito nagfa-failover.
- Gumamit ng invalid na primary key at tiyaking lumalabas ang 401 bilang error, hindi tahimik na paglipat.
- Bantayan ang breaker: pagkatapos ng tatlong pagbagsak, dapat nang laktawan ang primary nang hindi hinihintay ang timeout.
- Mag-alert kapag ang backup ang sumasagot sa higit sa maliit na bahagi ng traffic. Puwedeng matabunan ng tahimik na failover ang sirang primary nang ilang araw.
Tumatanggap ang Router ng LiteLLM ng mock_testing_fallbacks=True sa mga direktang test para pilitin ang fallback.
Saan pumapasok ang BroadNet Inference
Ang BroadRouter ay website ng BroadNet, at puwedeng maging alinmang entry sa listahan mo ang BroadNet Inference. Bilang primary, binibigyan ka nito ng GLM 5.3 at Qwen3.8 27B na may dokumentadong tools at structured output, dagdag ang Gemma 4 VL 26B at DeepSeek V4.1 Flash, sa iisang base URL na walang itinatagong content. Bilang backup, isa pa itong OpenAI-compatible na endpoint na maidadagdag sa listahan. Alinman doon, iyo ang failover logic: hindi nagro-route ang BroadNet sa pagitan ng mga provider, at walang SLA ang self-serve. Kung kailangan mo ng service level na nakakontrata, makukuha lang iyon sa hiwalay na nakasulat na kasunduan. Ikumpara ang mga model, o gumawa ng account at subukan ang chain mo gamit ang $5 na panimulang credit sa Gemma 4 VL 26B. Kailangan ng top-up para sa GLM 5.3 at Qwen3.8 27B.
