Nagbibigay ang LiteLLM ng iisang interface sa maraming LLM provider, bilang Python SDK at bilang proxy server. Para maabot ang isang OpenAI-compatible na API, dalawang bagay ang sinasabi ng docs nito: lagyan ng openai/ sa unahan ang pangalan ng model, at i-set ang api_base. Ganitong route ang ginagamit ng BroadNet Inference.
1. Python SDK
pip install litellm
export BROADNET_API_KEY='your-broadnet-key'
Sa example sa ibaba, 4000 ang max_tokens; ipinapaalala ng comment sa code na kasama ang reasoning sa limit na ito.
import os
import litellm
response = litellm.completion(
model="openai/broadnet/glm-5.3",
api_base="https://inference.broadnet.ai/v1",
api_key=os.environ["BROADNET_API_KEY"],
max_tokens=4000, # reasoning counts toward this
messages=[{"role": "user", "content": "Name three uses of a bloom filter."}],
)
print(response.choices[0].message.content)
Ang openai/ ang pumipili ng route; broadnet/glm-5.3 ang ipinapadala ng LiteLLM sa BroadNet. Huwag nang dagdagan ang base URL; ang OpenAI client ng LiteLLM na ang nagdadagdag ng endpoint path.
Ayon sa docs ng LiteLLM, ginagamit ng openai route ang opisyal na OpenAI Python library, na nangangailangan ng API key sa bawat request. Tahasang ipasa ang api_key, gaya ng nasa itaas, para hindi kailanman bumalik ang LiteLLM sa isang OPENAI_API_KEY na para sa mismong OpenAI. Sa format ng OpenAI bumabalik ang response, kaya hindi na kailangang baguhin ang natitirang code mo.
Kailan gagamitin ang proxy
Sapat na ang SDK sa loob ng iisang Python app. Nakakatulong ang proxy kapag kailangan ng ilang app o wika ang parehong mga model: lahat sila ay tumatawag sa iisang OpenAI-style na endpoint gamit ang maiikling pangalan ng model, at ang proxy ang may hawak ng BroadNet key, nagpapatupad ng rate limit at nagla-log ng usage. Wala nang kailangang setting na para lang sa BroadNet ang mga app mo.
2. Proxy server
I-install ang mga proxy extra at isulat ang config.yaml:
pip install 'litellm[proxy]'
model_list:
- model_name: glm
litellm_params:
model: openai/broadnet/glm-5.3
api_base: https://inference.broadnet.ai/v1
api_key: os.environ/BROADNET_API_KEY_GLM
rpm: 30
- model_name: deepseek-flash
litellm_params:
model: openai/broadnet/deepseek-v4.1-flash
api_base: https://inference.broadnet.ai/v1
api_key: os.environ/BROADNET_API_KEY_DEEPSEEK
rpm: 30
- model_name: qwen
litellm_params:
model: openai/broadnet/qwen3.8-27b
api_base: https://inference.broadnet.ai/v1
api_key: os.environ/BROADNET_API_KEY_QWEN
rpm: 30
general_settings:
master_key: os.environ/LITELLM_MASTER_KEY
Patakbuhin ito at tawagin gaya ng kahit anong OpenAI endpoint. Sa example, ang curl ay pinapatakbo sa pangalawang terminal:
litellm --config config.yaml
# in a second terminal
curl http://localhost:4000/chat/completions \
-H "Authorization: Bearer $LITELLM_MASTER_KEY" \
-H "Content-Type: application/json" \
-d '{"model": "glm", "messages": [{"role": "user", "content": "Hello"}]}'
Sinasabi ng os.environ/BROADNET_API_KEY_GLM sa LiteLLM na basahin ang key na iyon mula sa environment. May sariling BroadNet pay-as-you-go key ang bawat entry, kaya tugma sa limit ng bawat key ang rpm: 30, ang optional na rate limit ng LiteLLM kada deployment. Kung iisang key ang gamit ng ilang entry, iisang limit din ang pinaghahatian nila, kaya hatiin ang numero sa kanila. Dahil sa master_key, hihingi ang proxy ng key sa bawat call; ayon sa docs ng LiteLLM, kailangang nagsisimula ito sa sk-. I-export ang LITELLM_MASTER_KEY bago mo simulan ang proxy.
Aling model ang pipiliin
| model_name | Model ng BroadNet | Gamit |
|---|---|---|
glm |
GLM 5.3 | Tools, structured output, 1M na context |
deepseek-flash |
DeepSeek V4.1 Flash | Mahabang context; ang model ng unlimited na plan |
qwen |
Qwen3.8 27B | Mga larawan, tools, Arabic |
| (idagdag kung kailangan) | Gemma 4 VL 26B | Mababang presyo kada token; gumagana sa $5 na credit |
Nasa pricing page ang mga presyo. Kung lilipat ka mula sa ibang gateway, nasa migration checklist kung ano ang dapat i-test.
Troubleshooting
- 401. Mali, expired, o ubos na ang pay-as-you-go allowance ng BroadNet key. Kung mismong proxy ang nagbalik ng 401, ang LiteLLM key na ipinadala mo ang suriin.
- Not Found. Tiyaking
https://inference.broadnet.ai/v1na may/v1angapi_base. Kung tama ang base URL, tiyaking eksaktong tugma sa BroadNet ang model ID pagkatapos ngopenai/. - Tinatanggihan ang model sa bagong account. Kailangan munang mag-top up para sa GLM 5.3, Qwen3.8 27B at DeepSeek V4.1 Flash; ang
broadnet/gemma-4-26b-a4bat ang dalawang Transcribe model lang ang sakop ng $5 na credit. - Walang lamang content. Kasama ang reasoning sa
max_tokens. Taasan ito o ipadala angreasoning_effort="low". Bakit walang laman ang mga sagot. - 429. Ang isang pay-as-you-go key ay may 30 request kada minuto at 4 nang sabay-sabay. Nakakatulong ang
rpmng LiteLLM sa una; panatilihin sa 4 o mas kaunti ang sabay-sabay na caller kada key. Tingnan ang errors and retries. - Parallel na agent sa isang plan key. Isang request lang sa isang pagkakataon ang pinapatakbo ng isang plan session. Kapag pinatakbo mo ang ilang agent sa proxy gamit ang iisang session, pipila sila; bumili ng isang session kada parallel na agent.
