Hindi kailangan ng router ang application na iisang model lang ang kausap. Lumilitaw ang mga router kapag gumagamit ang isang team ng ilang model o provider at gusto ng iisang lugar para pumili sa pagitan ng mga ito.
Paano ito gumagana
Nagpapadala ang application ng OpenAI-style na request sa router. Ina-apply ng router ang mga rule nito, ipinapasa ang request sa isang backend, at ibinabalik ang sagot sa parehong format. Tatlong karaniwang uri:
- Hosted aggregator. Halimbawa, nag-aalok ang OpenRouter ng “hundreds of AI models through a single API endpoint” (Salin ng BroadRouter: “daan-daang AI model sa iisang API endpoint”) sa
https://openrouter.ai/api/v1, na may awtomatikong fallback. Iisang key at iisang bill ang hawak mo; ang aggregator ang may account sa mga provider. - Self-hosted gateway. Tumatakbo ang LiteLLM Router sa sarili mong infrastructure. Ikinakalat nito ang traffic sa mga deployment (simple shuffle bilang default, o batay sa latency, usage o gastos), nire-retry ang mga rate-limit error gamit ang exponential backoff, at inilalagay sa cooldown ang isang deployment pagkatapos ng 429 o mataas na failure rate.
- Router na pumipili ng model. Ang mga pananaliksik gaya ng RouteLLM ay nagte-train ng classifier na nagpapadala ng madadaling prompt sa mas murang model at ng mahihirap sa mas malakas na model, para bumaba ang gastos nang hindi nawawala ang kalidad.
Kino-configure ang self-hosted gateway bilang listahan ng mga backend. Nagdadagdag ang LiteLLM entry na ito ng isang OpenAI-compatible na provider:
model_list:
- model_name: flash
litellm_params:
model: openai/broadnet/deepseek-v4.1-flash
api_base: https://inference.broadnet.ai/v1
api_key: os.environ/BROADNET_API_KEY
Bakit ito mahalaga
- Reliability. Kayang lumipat ng router kapag nagbalik ng 429 o 5xx error ang isang provider. Tingnan ang rate limits.
- Gastos. Puwedeng bumaba ang bill kapag ipinadala ang simpleng prompt sa mas murang model.
- Iisang integration. Iisang base URL at iisang key format ang kausap ng code.
Totoo ang mga trade-off. Nagdadagdag ng network hop ang router. Ang hosted router ay isa pang partido na nakakakita ng mga prompt mo, kaya nakadepende ang retention sa router at sa provider na pinipili nito. Nagkakaiba rin ang mga model sa tokenizer, kilos sa reasoning at suportadong parameter, kaya puwedeng magbago ang mga sagot dahil sa tahimik na fallback.
Sa BroadNet Inference
Hindi router ang BroadNet Inference. Iisang provider ito na may isang maikling listahan ng model sa https://inference.broadnet.ai/v1; ayon sa Terms ng BroadNet, tumatakbo ang mga model nito sa hardware sa US na pag-aari o inuupahan ng BroadNet o kasama ang mga inference partner sa US. Walang awtomatikong routing o fallback sa iba’t ibang provider. Ikaw ang pumipili ng model sa bawat request, halimbawa broadnet/deepseek-v4.1-flash o broadnet/glm-5.3.
Dahil OpenAI-compatible ang API, puwede itong ilagay sa likod ng router bilang isang backend. Ipinapakita ng gabay sa LiteLLM proxy ang setup. Para sa paghahambing ng router at flat-rate na provider, basahin ang OpenRouter alternative para sa mga agent. Hindi itinatago ng BroadNet ang mga prompt o output; kung magdadagdag ka ng hosted router sa harap, i-check din ang data retention nito.
Mga karaniwang pagkakamali
- Pag-retry ng 401 o 403 sa ibang provider. Mga error iyon sa key o policy; ayusin muna ang mga iyon. Tingnan ang errors at retries.
- Pagturing na mapagpapalit ang mga pangalan ng model. I-test ang bawat fallback model sa sarili mong mga prompt.