BroadRouter

Router LiteLLM vers BroadNet Inference (SDK et proxy)

Mis à jour

Dans LiteLLM, préfixez l’ID de modèle BroadNet par openai/, par exemple openai/broadnet/glm-5.3, et définissez api_base sur https://inference.broadnet.ai/v1 avec votre clé BroadNet comme api_key. Dans le proxy, placez les mêmes valeurs sous litellm_params dans config.yaml et donnez au modèle un model_name court.

LiteLLM offre une interface unique vers de nombreux fournisseurs de LLM, sous forme de SDK Python et de serveur proxy. Pour joindre une API compatible OpenAI, sa documentation demande deux choses : placer openai/ devant le nom du modèle et définir api_base. BroadNet Inference utilise cette route.

1. SDK Python

pip install litellm
export BROADNET_API_KEY='your-broadnet-key'
import os
import litellm

response = litellm.completion(
    model="openai/broadnet/glm-5.3",
    api_base="https://inference.broadnet.ai/v1",
    api_key=os.environ["BROADNET_API_KEY"],
    max_tokens=4000,  # reasoning counts toward this
    messages=[{"role": "user", "content": "Name three uses of a bloom filter."}],
)
print(response.choices[0].message.content)

openai/ sélectionne la route ; LiteLLM envoie broadnet/glm-5.3 à BroadNet. N’ajoutez rien à l’URL de base : le client OpenAI de LiteLLM ajoute lui-même le chemin de l’endpoint.

La documentation de LiteLLM précise que la route openai utilise la bibliothèque Python officielle d’OpenAI, qui exige une clé d’API à chaque requête. Passez api_key explicitement, comme ci-dessus, pour que LiteLLM ne se rabatte jamais sur une OPENAI_API_KEY destinée à OpenAI. La réponse revient au format OpenAI : le reste de votre code ne change pas.

Quand utiliser le proxy ?

Dans une seule application Python, le SDK suffit. Le proxy est utile quand plusieurs applications ou langages ont besoin des mêmes modèles : ils appellent tous un même endpoint de style OpenAI avec des noms de modèles courts, et le proxy détient la clé BroadNet, applique les limites de débit et journalise l’usage. Vos applications n’ont alors besoin d’aucun réglage propre à BroadNet.

2. Serveur proxy

Installez les extras du proxy et écrivez config.yaml :

pip install 'litellm[proxy]'
model_list:
  - model_name: glm
    litellm_params:
      model: openai/broadnet/glm-5.3
      api_base: https://inference.broadnet.ai/v1
      api_key: os.environ/BROADNET_API_KEY_GLM
      rpm: 30
  - model_name: deepseek-flash
    litellm_params:
      model: openai/broadnet/deepseek-v4.1-flash
      api_base: https://inference.broadnet.ai/v1
      api_key: os.environ/BROADNET_API_KEY_DEEPSEEK
      rpm: 30
  - model_name: qwen
    litellm_params:
      model: openai/broadnet/qwen3.8-27b
      api_base: https://inference.broadnet.ai/v1
      api_key: os.environ/BROADNET_API_KEY_QWEN
      rpm: 30

general_settings:
  master_key: os.environ/LITELLM_MASTER_KEY

Démarrez-le et appelez-le comme n’importe quel endpoint OpenAI :

litellm --config config.yaml

# in a second terminal
curl http://localhost:4000/chat/completions \
  -H "Authorization: Bearer $LITELLM_MASTER_KEY" \
  -H "Content-Type: application/json" \
  -d '{"model": "glm", "messages": [{"role": "user", "content": "Hello"}]}'

os.environ/BROADNET_API_KEY_GLM indique à LiteLLM de lire cette clé dans l’environnement. Chaque entrée utilise sa propre clé BroadNet à l’usage : rpm: 30, la limite de débit facultative de LiteLLM par déploiement, correspond donc à la limite de chaque clé. Si plusieurs entrées partagent une même clé, elles partagent aussi cette limite : répartissez le nombre entre elles. master_key oblige le proxy à exiger une clé à chaque appel ; selon la documentation de LiteLLM, elle doit commencer par sk-. Exportez LITELLM_MASTER_KEY avant de démarrer le proxy.

Quel modèle choisir ?

model_name Modèle BroadNet Usage
glm GLM 5.3 Outils, sortie structurée, contexte de 1M
deepseek-flash DeepSeek V4.1 Flash Long contexte ; le modèle des forfaits illimités
qwen Qwen3.8 27B Images, outils, arabe
(à ajouter si besoin) Gemma 4 VL 26B Prix par token bas ; fonctionne avec le crédit de $5

Les prix figurent sur la page des tarifs. Si vous venez d’une autre passerelle, la checklist de migration indique quoi tester.

Dépannage

  • 401. La clé BroadNet est erronée, expirée ou son quota de paiement à l’usage est épuisé. Si le 401 vient du proxy lui-même, vérifiez plutôt la clé LiteLLM que vous avez envoyée.
  • Not Found. Vérifiez que api_base vaut https://inference.broadnet.ai/v1, avec /v1. Si l’URL de base est correcte, vérifiez que l’ID de modèle après openai/ correspond exactement à celui de BroadNet.
  • Modèle refusé sur un nouveau compte. GLM 5.3, Qwen3.8 27B et DeepSeek V4.1 Flash nécessitent d’abord une recharge ; le crédit de $5 ne couvre que broadnet/gemma-4-26b-a4b et les deux modèles Transcribe.
  • Contenu vide. Le raisonnement compte dans max_tokens. Augmentez-le ou envoyez reasoning_effort="low". Pourquoi les réponses reviennent vides.
  • 429. Une clé à l’usage autorise 30 requêtes par minute et 4 simultanées. Le rpm de LiteLLM aide pour la première limite ; gardez au plus 4 appelants simultanés par clé. Voir codes d’erreur et nouvelles tentatives.
  • Agents en parallèle avec une clé de forfait. Une session de forfait traite une seule requête à la fois. Plusieurs agents passant par le proxy sur une même session font la queue ; achetez une session par agent parallèle.

Questions fréquentes

Pourquoi LiteLLM renvoie-t-il une erreur Not Found ?

La documentation de LiteLLM demande de vérifier que api_base se termine par /v1. Utilisez https://inference.broadnet.ai/v1 et n’ajoutez pas /chat/completions.

Pourquoi le nom du modèle est-il openai/broadnet/glm-5.3 ?

Le préfixe openai/ indique à LiteLLM d’appeler un endpoint /chat/completions de style OpenAI. LiteLLM s’en sert pour choisir la route et envoie le reste, broadnet/glm-5.3, qui est l’ID de modèle BroadNet.

Puis-je placer une clé de forfait illimité BroadNet derrière un proxy LiteLLM partagé ?

Les clés de forfait ne peuvent être ni partagées ni revendues, et une session traite une seule requête à la fois. Utilisez-les pour vos propres agents. Pour un proxy d’équipe, utilisez des clés à l’usage.

LiteLLM a-t-il besoin de OPENAI_API_KEY pour appeler BroadNet ?

La route openai exige une clé à chaque requête, via api_key ou OPENAI_API_KEY. Passez votre clé BroadNet comme api_key, ou os.environ/BROADNET_API_KEY dans le proxy, pour que LiteLLM n’envoie pas une vraie clé OpenAI à BroadNet.

Lire en MarkdownDemander à ChatGPTDemander à ClaudeDemander à Perplexity