ChatOpenAI aus LangChain akzeptiert über base_url jeden beliebigen Endpoint. Das funktioniert mit BroadNet Inference, weil es das Standardformat für Chat Completions verwendet. Wenn Sie die API stattdessen direkt aufrufen, lesen Sie die Anleitung zum Python SDK.
Installieren
Aktuelle Versionen von langchain-openai (1.x) benötigen Python 3.11 oder neuer.
pip install -U langchain-openai
export BROADNET_API_KEY='paste-the-key-once'
Verbinden
import os
from langchain_openai import ChatOpenAI
llm = ChatOpenAI(
model="broadnet/glm-5.3",
base_url="https://inference.broadnet.ai/v1",
api_key=os.environ["BROADNET_API_KEY"],
max_tokens=2000, # reasoning counts toward this limit
)
print(llm.invoke("Summarise the CAP theorem in two sentences.").content)
openai_api_base ist ein Alias für base_url. Ist keiner von beiden gesetzt, liest LangChain OPENAI_API_BASE, und danach liest der zugrunde liegende openai-Client OPENAI_BASE_URL.
Gut zu wissen
- Reasoning-Text wird nicht übernommen. Laut LangChain-Dokumentation folgt
ChatOpenAIder offiziellen OpenAI-Spezifikation und behält keine Felder außerhalb des Standards wiereasoning_content. Sie erhalten die endgültige Antwort, und die braucht eine Chain meist auch. - Lassen Sie Platz für Reasoning. GLM 5.3, DeepSeek V4.1 Flash und Qwen3.8 27B denken zuerst nach. Ein kleines
max_tokenskann zu einer leeren Antwort führen. Warum Antworten leer zurückkommen. - Usage beim Streaming. Wenn Sie den Endpoint über
OPENAI_BASE_URLkonfigurieren, schaltet LangChainstream_usagestandardmäßig ab. Übergeben Siestream_usage=True, wenn Sie beim Streaming Token-Zahlen erhalten möchten. Laut BroadNet-Dokumentation kommt die Usage im letzten Chunk, wenn sie angefordert wurde. - Bleiben Sie bei Chat Completions. BroadNet stellt
/v1/chat/completionsbereit, nicht die Responses API. Laut LangChain-Dokumentation wechseltChatOpenAIzur Responses API, sobald Sie integrierte OpenAI-Tools (Websuche, Dateisuche, Code Interpreter und Ähnliches), Gesprächszustand oder den Parameterreasoningverwenden. Lassen Sie diese weg und setzen Sie nichtuse_responses_api=True. - Name des Token-Limits. Laut LangChain-Dokumentation wird
max_tokensintern inmax_completion_tokensumgewandelt. Die BroadNet-Dokumentation beschreibtmax_tokens. Wenn ein Limit ignoriert zu werden scheint, prüfen Sie die Anfrage, die Ihre App tatsächlich sendet.
Welches Modell für welche Chain
| Chain | Modell |
|---|---|
| Tool Calling und strukturierte Ausgabe | broadnet/glm-5.3 |
| Lange Dokumente und Agenten, unbegrenzter Plan | broadnet/deepseek-v4.1-flash |
| Arabischer Text oder Bilder | broadnet/qwen3.8-27b |
Fehlerbehebung
- 401. Der Schlüssel ist falsch, abgelaufen oder das Pay-as-you-go-Kontingent ist aufgebraucht. Wenn Sie keinen
api_keyübergeben haben, hat LangChainOPENAI_API_KEYverwendet, und darin steht womöglich ein OpenAI-Schlüssel. - 404 oder „not found“. Prüfen Sie, ob
base_urlauf/v1endet und ob nichts den Aufruf an die Responses API umleitet (siehe oben). Prüfen Sie dann, ob die Modell-ID exakt der von BroadNet entspricht, mit dem Präfixbroadnet/. Kostenpflichtige Modelle brauchen eine Aufladung; das Guthaben von $5 decktbroadnet/gemma-4-26b-a4bund die beiden Transcribe-Modelle ab. - Leeres
content. Das Reasoning hat das Budget aufgebraucht. Erhöhen Siemax_tokens. Warum Antworten leer zurückkommen. - Es kommt nie zu Tool Calls. Nutzen Sie
broadnet/glm-5.3oderbroadnet/qwen3.8-27b. Die BroadNet-Dokumentation nennt Tools nur für diese beiden. - 429 in Batch- oder parallelen Chains. Ein Pay-as-you-go-Schlüssel erlaubt 30 Anfragen pro Minute und 4 gleichzeitig. Setzen Sie für
batch()den Wertmax_concurrencyin der Runnable-Konfiguration. Siehe Fehlercodes und Retries.
