ChatOpenAI de LangChain accepte n’importe quel endpoint via base_url. Cela fonctionne avec BroadNet Inference, qui utilise le format standard des chat completions. Si vous appelez plutôt l’API directement, consultez le guide du SDK Python.
Installer
Les versions actuelles de langchain-openai (1.x) nécessitent Python 3.11 ou plus récent.
pip install -U langchain-openai
export BROADNET_API_KEY='paste-the-key-once'
Se connecter
import os
from langchain_openai import ChatOpenAI
llm = ChatOpenAI(
model="broadnet/glm-5.3",
base_url="https://inference.broadnet.ai/v1",
api_key=os.environ["BROADNET_API_KEY"],
max_tokens=2000, # reasoning counts toward this limit
)
print(llm.invoke("Summarise the CAP theorem in two sentences.").content)
openai_api_base est un alias de base_url. Sans l’un ni l’autre, LangChain lit OPENAI_API_BASE, puis le client openai sous-jacent lit OPENAI_BASE_URL.
À savoir
- Le texte de raisonnement n’est pas conservé. D’après la documentation de LangChain,
ChatOpenAIsuit la spécification officielle d’OpenAI et ne conserve pas les champs non standard commereasoning_content. Vous obtenez la réponse finale, ce dont une chaîne a généralement besoin. - Laissez de la place au raisonnement. GLM 5.3, DeepSeek V4.1 Flash et Qwen3.8 27B raisonnent d’abord. Un
max_tokenstrop petit peut renvoyer une réponse vide. Pourquoi les réponses reviennent vides. - Usage en streaming. Quand vous configurez l’endpoint avec
OPENAI_BASE_URL, LangChain désactivestream_usagepar défaut. Passezstream_usage=Truesi vous voulez le nombre de tokens pendant le streaming. D’après la documentation de BroadNet, l’usage arrive dans le dernier chunk quand il est demandé. - Restez sur les chat completions. BroadNet sert
/v1/chat/completions, pas la Responses API. D’après la documentation de LangChain,ChatOpenAIbascule vers la Responses API dès que vous utilisez les outils intégrés d’OpenAI (recherche web, recherche de fichiers, code interpreter, etc.), l’état de conversation ou le paramètrereasoning. Laissez-les de côté et ne définissez pasuse_responses_api=True. - Nom de la limite de tokens. D’après la documentation de LangChain,
max_tokensest converti en interne enmax_completion_tokens. La documentation de BroadNet décritmax_tokens. Si une limite semble ignorée, vérifiez la requête que votre application envoie réellement.
Quel modèle pour quelle chaîne ?
| Chaîne | Modèle |
|---|---|
| Appel d’outils et sortie structurée | broadnet/glm-5.3 |
| Longs documents et agents, forfait illimité | broadnet/deepseek-v4.1-flash |
| Texte arabe ou images | broadnet/qwen3.8-27b |
Voir les prix de tous les modèles.
Dépannage
- 401. La clé est erronée, expirée ou son quota de paiement à l’usage est épuisé. Si vous n’avez passé aucun
api_key, LangChain a utiliséOPENAI_API_KEY, qui contient peut-être une clé OpenAI. - 404 ou « not found ». Vérifiez que
base_urlse termine par/v1et que rien n’envoie l’appel vers la Responses API (voir plus haut). Vérifiez ensuite que l’ID du modèle correspond exactement à celui de BroadNet, avec le préfixebroadnet/. Les modèles payants nécessitent une recharge ; le crédit de $5 ne couvre quebroadnet/gemma-4-26b-a4bet les deux modèles Transcribe. contentvide. Le raisonnement a épuisé le budget. Augmentezmax_tokens. Pourquoi les réponses reviennent vides.- Les appels d’outils n’ont jamais lieu. Utilisez
broadnet/glm-5.3oubroadnet/qwen3.8-27b. La documentation de BroadNet n’indique les outils que pour ces deux modèles. - 429 dans des chaînes en batch ou en parallèle. Une clé à l’usage autorise 30 requêtes par minute et 4 simultanées. Définissez
max_concurrencydans la configuration du runnable pourbatch(). Voir codes d’erreur et nouvelles tentatives.
