BroadRouter

Paano i-route ang LiteLLM sa BroadNet Inference (SDK at proxy)

Na-update

Sa LiteLLM, lagyan ng openai/ sa unahan ang BroadNet model ID, gaya ng openai/broadnet/glm-5.3, at i-set ang api_base sa https://inference.broadnet.ai/v1 at ang BroadNet key mo bilang api_key. Sa proxy, ilagay ang parehong mga value sa ilalim ng litellm_params sa config.yaml at bigyan ang model ng maikling model_name.

Nagbibigay ang LiteLLM ng iisang interface sa maraming LLM provider, bilang Python SDK at bilang proxy server. Para maabot ang isang OpenAI-compatible na API, dalawang bagay ang sinasabi ng docs nito: lagyan ng openai/ sa unahan ang pangalan ng model, at i-set ang api_base. Ganitong route ang ginagamit ng BroadNet Inference.

1. Python SDK

pip install litellm
export BROADNET_API_KEY='your-broadnet-key'

Sa example sa ibaba, 4000 ang max_tokens; ipinapaalala ng comment sa code na kasama ang reasoning sa limit na ito.

import os
import litellm

response = litellm.completion(
    model="openai/broadnet/glm-5.3",
    api_base="https://inference.broadnet.ai/v1",
    api_key=os.environ["BROADNET_API_KEY"],
    max_tokens=4000,  # reasoning counts toward this
    messages=[{"role": "user", "content": "Name three uses of a bloom filter."}],
)
print(response.choices[0].message.content)

Ang openai/ ang pumipili ng route; broadnet/glm-5.3 ang ipinapadala ng LiteLLM sa BroadNet. Huwag nang dagdagan ang base URL; ang OpenAI client ng LiteLLM na ang nagdadagdag ng endpoint path.

Ayon sa docs ng LiteLLM, ginagamit ng openai route ang opisyal na OpenAI Python library, na nangangailangan ng API key sa bawat request. Tahasang ipasa ang api_key, gaya ng nasa itaas, para hindi kailanman bumalik ang LiteLLM sa isang OPENAI_API_KEY na para sa mismong OpenAI. Sa format ng OpenAI bumabalik ang response, kaya hindi na kailangang baguhin ang natitirang code mo.

Kailan gagamitin ang proxy

Sapat na ang SDK sa loob ng iisang Python app. Nakakatulong ang proxy kapag kailangan ng ilang app o wika ang parehong mga model: lahat sila ay tumatawag sa iisang OpenAI-style na endpoint gamit ang maiikling pangalan ng model, at ang proxy ang may hawak ng BroadNet key, nagpapatupad ng rate limit at nagla-log ng usage. Wala nang kailangang setting na para lang sa BroadNet ang mga app mo.

2. Proxy server

I-install ang mga proxy extra at isulat ang config.yaml:

pip install 'litellm[proxy]'
model_list:
  - model_name: glm
    litellm_params:
      model: openai/broadnet/glm-5.3
      api_base: https://inference.broadnet.ai/v1
      api_key: os.environ/BROADNET_API_KEY_GLM
      rpm: 30
  - model_name: deepseek-flash
    litellm_params:
      model: openai/broadnet/deepseek-v4.1-flash
      api_base: https://inference.broadnet.ai/v1
      api_key: os.environ/BROADNET_API_KEY_DEEPSEEK
      rpm: 30
  - model_name: qwen
    litellm_params:
      model: openai/broadnet/qwen3.8-27b
      api_base: https://inference.broadnet.ai/v1
      api_key: os.environ/BROADNET_API_KEY_QWEN
      rpm: 30

general_settings:
  master_key: os.environ/LITELLM_MASTER_KEY

Patakbuhin ito at tawagin gaya ng kahit anong OpenAI endpoint. Sa example, ang curl ay pinapatakbo sa pangalawang terminal:

litellm --config config.yaml

# in a second terminal
curl http://localhost:4000/chat/completions \
  -H "Authorization: Bearer $LITELLM_MASTER_KEY" \
  -H "Content-Type: application/json" \
  -d '{"model": "glm", "messages": [{"role": "user", "content": "Hello"}]}'

Sinasabi ng os.environ/BROADNET_API_KEY_GLM sa LiteLLM na basahin ang key na iyon mula sa environment. May sariling BroadNet pay-as-you-go key ang bawat entry, kaya tugma sa limit ng bawat key ang rpm: 30, ang optional na rate limit ng LiteLLM kada deployment. Kung iisang key ang gamit ng ilang entry, iisang limit din ang pinaghahatian nila, kaya hatiin ang numero sa kanila. Dahil sa master_key, hihingi ang proxy ng key sa bawat call; ayon sa docs ng LiteLLM, kailangang nagsisimula ito sa sk-. I-export ang LITELLM_MASTER_KEY bago mo simulan ang proxy.

Aling model ang pipiliin

model_name Model ng BroadNet Gamit
glm GLM 5.3 Tools, structured output, 1M na context
deepseek-flash DeepSeek V4.1 Flash Mahabang context; ang model ng unlimited na plan
qwen Qwen3.8 27B Mga larawan, tools, Arabic
(idagdag kung kailangan) Gemma 4 VL 26B Mababang presyo kada token; gumagana sa $5 na credit

Nasa pricing page ang mga presyo. Kung lilipat ka mula sa ibang gateway, nasa migration checklist kung ano ang dapat i-test.

Troubleshooting

  • 401. Mali, expired, o ubos na ang pay-as-you-go allowance ng BroadNet key. Kung mismong proxy ang nagbalik ng 401, ang LiteLLM key na ipinadala mo ang suriin.
  • Not Found. Tiyaking https://inference.broadnet.ai/v1 na may /v1 ang api_base. Kung tama ang base URL, tiyaking eksaktong tugma sa BroadNet ang model ID pagkatapos ng openai/.
  • Tinatanggihan ang model sa bagong account. Kailangan munang mag-top up para sa GLM 5.3, Qwen3.8 27B at DeepSeek V4.1 Flash; ang broadnet/gemma-4-26b-a4b at ang dalawang Transcribe model lang ang sakop ng $5 na credit.
  • Walang lamang content. Kasama ang reasoning sa max_tokens. Taasan ito o ipadala ang reasoning_effort="low". Bakit walang laman ang mga sagot.
  • 429. Ang isang pay-as-you-go key ay may 30 request kada minuto at 4 nang sabay-sabay. Nakakatulong ang rpm ng LiteLLM sa una; panatilihin sa 4 o mas kaunti ang sabay-sabay na caller kada key. Tingnan ang errors and retries.
  • Parallel na agent sa isang plan key. Isang request lang sa isang pagkakataon ang pinapatakbo ng isang plan session. Kapag pinatakbo mo ang ilang agent sa proxy gamit ang iisang session, pipila sila; bumili ng isang session kada parallel na agent.

Mga tanong

Bakit Not Found error ang ibinabalik ng LiteLLM?

Ayon sa docs ng LiteLLM, tiyaking nagtatapos sa /v1 ang api_base. Gamitin ang https://inference.broadnet.ai/v1 at huwag nang idagdag ang /chat/completions.

Bakit openai/broadnet/glm-5.3 ang pangalan ng model?

Sinasabi ng openai/ prefix sa LiteLLM na tumawag sa isang OpenAI-style na /chat/completions endpoint. Ginagamit ng LiteLLM ang prefix para piliin ang route at ipinapadala ang natitira, ang broadnet/glm-5.3, na siyang model ID ng BroadNet.

Puwede ko bang ilagay ang unlimited plan key ng BroadNet sa likod ng shared na LiteLLM proxy?

Hindi puwedeng i-share o ibenta ulit ang mga plan key, at isang request lang sa isang pagkakataon ang pinapatakbo ng isang session. Gamitin ang mga ito para sa sarili mong mga agent. Para sa proxy ng team, gumamit ng mga pay-as-you-go key.

Kailangan ba ng LiteLLM ang OPENAI_API_KEY para tawagin ang BroadNet?

Kailangan ng openai route ng key sa bawat request, mula sa api_key o OPENAI_API_KEY. Ipasa ang BroadNet key mo bilang api_key, o os.environ/BROADNET_API_KEY sa proxy, para hindi magpadala ang LiteLLM ng totoong OpenAI key sa BroadNet.

Basahin bilang MarkdownTanungin ang ChatGPTTanungin ang ClaudeTanungin ang Perplexity