BroadRouter
Magsimula

Model fallback

Na-update

Ang model fallback ay reliability pattern kung saan nire-retry ang pumalyang LLM request sa ibang model o provider mula sa isang nakaayos na listahan. Puwedeng i-trigger ito ng error, rate limit, context-length error o pagtanggi dahil sa content policy. Tumatakbo ito sa client mo o sa isang gateway sa harap ng mga API.

Tinatawag ding: fallback model, model failover, provider fallback, LLM fallback

May masasamang minuto ang bawat API. Ang ibig sabihin ng fallback, hindi nagiging outage sa app mo ang masamang minuto sa isang provider.

Paano ito gumagana

May hawak kang nakaayos na listahan ng mga model. Kapag pumalya ang isang call, pagkatapos ng sarili nitong mga retry, ang susunod sa listahan ang tatanggap ng parehong request.

Dalawang gateway mula sa mga source:

Gateway Paano gumagana ang fallback
LiteLLM proxy Inililista ng fallbacks ang mga model group, na sinusubukan “in-order” (Salin ng BroadRouter: “nang sunod-sunod”). Hiwalay na hinahawakan ng context_window_fallbacks at content_policy_fallbacks ang mga uri ng error na iyon. Nire-retry ng num_retries ang isang group bago mag-fallback; inaalis muna nang ilang sandali ng allowed_fails at cooldown_time ang pumapalyang deployment.
OpenRouter Isang models array. “If the first model returns an error, OpenRouter will automatically try the next model in the list.” (Salin ng BroadRouter: “Kapag nagbalik ng error ang unang model, awtomatikong susubukan ng OpenRouter ang susunod na model sa listahan.”) Anumang error ay puwedeng mag-trigger nito, kasama ang context length, moderation, rate limit at downtime. Kapag pumalya ang huling model, ang error na iyon ang ibinabalik.

Isang minimal na bersyon sa panig ng client:

from openai import APITimeoutError, InternalServerError, RateLimitError

CHAIN = [("broadnet", "broadnet/glm-5.3"), ("other", "backup-model")]

def chat_with_fallback(clients, msgs):
    for client_name, model in CHAIN:
        try:
            return clients[client_name].chat.completions.create(model=model, messages=msgs)
        except (RateLimitError, APITimeoutError, InternalServerError):
            continue
    raise RuntimeError("all models failed")

Bakit ito mahalaga

  • Uptime. Sinasalo ng pangalawang provider ang mga insidente at rate limit sa una.
  • Ibang output. Iba ang pagsulat ng backup na model, iba ang pagsunod nito sa mga tool at puwedeng mas mahal ito. Patakbuhin ang eval mo sa bawat model sa chain, hindi lang sa una.
  • Huwag mag-fallback dahil sa sarili mong bug. Ang 400 o 422 ay nangangahulugang mali ang request; papalya rin ito sa susunod na model. Mag-fallback sa 429, timeout at 5xx pagkatapos ng limitadong exponential backoff.

Sa BroadNet Inference

Hindi awtomatikong nagra-route ng request ang BroadNet at walang fallback sa pagitan ng mga model. Ang BroadRouter, ang site na ito, ay information site ng BroadNet at hindi rin nagra-route ng request. Ikaw mismo ang magpapatupad ng fallback: sa client mo gaya ng nasa itaas (nagdadagdag ng circuit breaker at model ID mapping ang how-to sa LLM API failover), o sa isang gateway; tingnan ang LLM router at ang gabay sa LiteLLM proxy para sa pagdaragdag ng BroadNet bilang provider. Sinasabi ng API reference ng BroadNet na i-retry ang 5xx gamit ang limitadong exponential backoff at gamitin ang mga detalye ng response at limitadong backoff sa 429. Nakalista sa gabay sa errors at retries ang bawat status.

Mga karaniwang pagkakamali

  • Pag-fallback sa 401 o 402 na error, na nagtatago ng problema sa billing o sa key.
  • Hindi pag-log kung aling model ang sumagot sa bawat reply, kaya mahirap matunton ang mga pagbabago sa kalidad.

Mga tanong

Retry muna ba o fallback muna?

Retry muna para sa maiikling aberya gaya ng 503. Ganito gumagana ang LiteLLM: lumilipat lang ito sa ibang model group pagkatapos pumalya ang isang call nang num_retries na beses.

Aling model ang sinisingil sa akin pagkatapos ng fallback?

Sa OpenRouter, ang model na talagang sumagot sa request: sinasabi nitong ang mga request ay "are priced using the model that was ultimately used" (Salin ng BroadRouter: "pinepresyuhan batay sa model na sa huli ay ginamit"), na makikita sa model field ng response.

Awtomatiko bang nagra-route o nagfa-fallback ang BroadNet?

Hindi. Walang awtomatikong routing ang BroadNet, at ang BroadRouter ay information site ng BroadNet, hindi isang router. Buuin ang fallback sa client mo o maglagay ng gateway gaya ng LiteLLM sa harap.

Basahin bilang MarkdownTanungin ang ChatGPTTanungin ang ClaudeTanungin ang Perplexity