LiteLLM offre une interface unique vers de nombreux fournisseurs de LLM, sous forme de SDK Python et de serveur proxy. Pour joindre une API compatible OpenAI, sa documentation demande deux choses : placer openai/ devant le nom du modèle et définir api_base. BroadNet Inference utilise cette route.
1. SDK Python
pip install litellm
export BROADNET_API_KEY='your-broadnet-key'
import os
import litellm
response = litellm.completion(
model="openai/broadnet/glm-5.3",
api_base="https://inference.broadnet.ai/v1",
api_key=os.environ["BROADNET_API_KEY"],
max_tokens=4000, # reasoning counts toward this
messages=[{"role": "user", "content": "Name three uses of a bloom filter."}],
)
print(response.choices[0].message.content)
openai/ sélectionne la route ; LiteLLM envoie broadnet/glm-5.3 à BroadNet. N’ajoutez rien à l’URL de base : le client OpenAI de LiteLLM ajoute lui-même le chemin de l’endpoint.
La documentation de LiteLLM précise que la route openai utilise la bibliothèque Python officielle d’OpenAI, qui exige une clé d’API à chaque requête. Passez api_key explicitement, comme ci-dessus, pour que LiteLLM ne se rabatte jamais sur une OPENAI_API_KEY destinée à OpenAI. La réponse revient au format OpenAI : le reste de votre code ne change pas.
Quand utiliser le proxy ?
Dans une seule application Python, le SDK suffit. Le proxy est utile quand plusieurs applications ou langages ont besoin des mêmes modèles : ils appellent tous un même endpoint de style OpenAI avec des noms de modèles courts, et le proxy détient la clé BroadNet, applique les limites de débit et journalise l’usage. Vos applications n’ont alors besoin d’aucun réglage propre à BroadNet.
2. Serveur proxy
Installez les extras du proxy et écrivez config.yaml :
pip install 'litellm[proxy]'
model_list:
- model_name: glm
litellm_params:
model: openai/broadnet/glm-5.3
api_base: https://inference.broadnet.ai/v1
api_key: os.environ/BROADNET_API_KEY_GLM
rpm: 30
- model_name: deepseek-flash
litellm_params:
model: openai/broadnet/deepseek-v4.1-flash
api_base: https://inference.broadnet.ai/v1
api_key: os.environ/BROADNET_API_KEY_DEEPSEEK
rpm: 30
- model_name: qwen
litellm_params:
model: openai/broadnet/qwen3.8-27b
api_base: https://inference.broadnet.ai/v1
api_key: os.environ/BROADNET_API_KEY_QWEN
rpm: 30
general_settings:
master_key: os.environ/LITELLM_MASTER_KEY
Démarrez-le et appelez-le comme n’importe quel endpoint OpenAI :
litellm --config config.yaml
# in a second terminal
curl http://localhost:4000/chat/completions \
-H "Authorization: Bearer $LITELLM_MASTER_KEY" \
-H "Content-Type: application/json" \
-d '{"model": "glm", "messages": [{"role": "user", "content": "Hello"}]}'
os.environ/BROADNET_API_KEY_GLM indique à LiteLLM de lire cette clé dans l’environnement. Chaque entrée utilise sa propre clé BroadNet à l’usage : rpm: 30, la limite de débit facultative de LiteLLM par déploiement, correspond donc à la limite de chaque clé. Si plusieurs entrées partagent une même clé, elles partagent aussi cette limite : répartissez le nombre entre elles. master_key oblige le proxy à exiger une clé à chaque appel ; selon la documentation de LiteLLM, elle doit commencer par sk-. Exportez LITELLM_MASTER_KEY avant de démarrer le proxy.
Quel modèle choisir ?
| model_name | Modèle BroadNet | Usage |
|---|---|---|
glm |
GLM 5.3 | Outils, sortie structurée, contexte de 1M |
deepseek-flash |
DeepSeek V4.1 Flash | Long contexte ; le modèle des forfaits illimités |
qwen |
Qwen3.8 27B | Images, outils, arabe |
| (à ajouter si besoin) | Gemma 4 VL 26B | Prix par token bas ; fonctionne avec le crédit de $5 |
Les prix figurent sur la page des tarifs. Si vous venez d’une autre passerelle, la checklist de migration indique quoi tester.
Dépannage
- 401. La clé BroadNet est erronée, expirée ou son quota de paiement à l’usage est épuisé. Si le 401 vient du proxy lui-même, vérifiez plutôt la clé LiteLLM que vous avez envoyée.
- Not Found. Vérifiez que
api_basevauthttps://inference.broadnet.ai/v1, avec/v1. Si l’URL de base est correcte, vérifiez que l’ID de modèle aprèsopenai/correspond exactement à celui de BroadNet. - Modèle refusé sur un nouveau compte. GLM 5.3, Qwen3.8 27B et DeepSeek V4.1 Flash nécessitent d’abord une recharge ; le crédit de $5 ne couvre que
broadnet/gemma-4-26b-a4bet les deux modèles Transcribe. - Contenu vide. Le raisonnement compte dans
max_tokens. Augmentez-le ou envoyezreasoning_effort="low". Pourquoi les réponses reviennent vides. - 429. Une clé à l’usage autorise 30 requêtes par minute et 4 simultanées. Le
rpmde LiteLLM aide pour la première limite ; gardez au plus 4 appelants simultanés par clé. Voir codes d’erreur et nouvelles tentatives. - Agents en parallèle avec une clé de forfait. Une session de forfait traite une seule requête à la fois. Plusieurs agents passant par le proxy sur une même session font la queue ; achetez une session par agent parallèle.
