DSPy est un framework Python pour programmer des modèles de langage avec des signatures et des modules, et pour optimiser les prompts qui les sous-tendent. On le connecte à un modèle avec dspy.LM. La documentation de DSPy présente les serveurs compatibles OpenAI comme un modèle openai/ avec api_base. Pour BroadNet Inference, qui sert les chat completions à l’adresse https://inference.broadnet.ai/v1, il faut aussi model_type="chat". BroadRouter est le site de BroadNet ; ce guide suit la documentation de DSPy 3.5.
Installation
pip install dspy
export BROADNET_API_KEY='your-broadnet-key'
Connexion
import os
import dspy
lm = dspy.LM(
"openai/broadnet/glm-5.3",
model_type="chat",
api_base="https://inference.broadnet.ai/v1",
api_key=os.environ["BROADNET_API_KEY"],
max_tokens=4000,
)
dspy.configure(lm=lm)
qa = dspy.Predict("question -> answer")
print(qa(question="What is the capital of Saudi Arabia?").answer)
openai/indique à DSPy d’utiliser son client OpenAI. Le reste de la chaîne,broadnet/glm-5.3, est l’ID de modèle envoyé à BroadNet.model_type="chat"maintient DSPy sur/v1/chat/completions. La référence LM de DSPy indique que la valeur par défaut,'auto', fait que les modèles OpenAI « use Responses » (traduction : « utilisent Responses »).max_tokenslaisse de la place au raisonnement. DeepSeek V4.1 Flash, GLM 5.3 et Qwen3.8 27B réfléchissent avant de répondre, et cette réflexion compte dans la limite.
Ce qui se passe sans model_type
L’exemple de la page d’installation de DSPy pour un serveur compatible OpenAI omet model_type. Dans notre test avec DSPy 3.5.0, la requête est alors partie vers /v1/responses avec max_output_tokens, et l’appel a échoué :
dspy.utils.exceptions.LMInvalidRequestError: [openai/broadnet/glm-5.3] /v1/responses not served
Cette erreur venait de notre serveur fictif. L’endpoint réel de BroadNet a lui aussi répondu à /v1/responses par un 404 lors de notre vérification du 16 novembre 2026. Ajouter model_type="chat" a réglé le problème.
Modules et modèles
cot = dspy.ChainOfThought("question -> answer")
print(cot(question="A train leaves at 9:40 and arrives at 13:05. How long is the trip?").answer)
| Usage dans DSPy | Modèle |
|---|---|
Predict, ChainOfThought, exécutions d’optimiseur |
broadnet/deepseek-v4.1-flash (prix par token bas ; forfaits à prix fixe) |
ReAct et autres modules qui appellent des outils |
broadnet/glm-5.3 ou broadnet/qwen3.8-27b |
| Essayer DSPy avec le crédit de départ | broadnet/gemma-4-26b-a4b (contexte de 32 768 tokens) |
La documentation de BroadNet n’indique les outils et la sortie structurée que pour GLM 5.3 et Qwen3.8 27B. Vous pouvez utiliser un modèle pour le programme et un autre pour un optimiseur, chacun avec son propre dspy.LM. Prix de tous les modèles.
Comment nous l’avons testé
Le 15 novembre 2026, nous avons installé dspy 3.5.0 dans un environnement virtuel vierge et exécuté dspy.Predict contre un serveur fictif local qui parle le format chat completions de BroadNet et répond à /v1/responses par un 404. Sans model_type, DSPy a appelé /v1/responses et a échoué. Avec model_type="chat", il a appelé /v1/chat/completions avec l’ID de modèle broadnet/glm-5.3 et une clé Bearer, puis a lu le champ de réponse. Nous avons constaté que DSPy envoyait la limite de sortie sous la forme max_completion_tokens. La référence de l’API de BroadNet décrit max_tokens et ne mentionne pas max_completion_tokens : nous ne pouvons donc pas confirmer que BroadNet applique une limite envoyée ainsi. Nous avons testé contre un serveur fictif, pas avec une clé BroadNet : nous n’avons donc pas vérifié de vraie sortie de modèle.
Dépannage
- 404 sur /v1/responses. Ajoutez
model_type="chat". - 404 sur /v1/chat/completions.
api_basedoit se terminer par/v1, et la chaîne du modèle doit êtreopenai/suivi de l’ID BroadNet complet. Les modèles payants nécessitent une recharge ; le crédit de $5 ne couvre quebroadnet/gemma-4-26b-a4bet les deux modèles Transcribe. - « Expected to find output fields ». La réponse était vide ou tronquée, souvent parce que le raisonnement a épuisé le budget de sortie. Augmentez
max_tokens. Pourquoi les réponses reviennent vides. - 429 pendant l’optimisation. Une clé à l’usage autorise 30 requêtes par minute et 4 requêtes en cours. Réduisez le nombre de threads de l’optimiseur et consultez codes d’erreur et nouvelles tentatives.
