LangGraph ist LangChains Bibliothek für zustandsbehaftete, mehrstufige Agenten, die als Graphen aufgebaut sind. Einen eigenen Modell-Client hat es nicht: Ihre Nodes rufen ein Chat-Modell von LangChain auf. Um einen Graphen auf BroadNet Inference laufen zu lassen, geben Sie ihm ChatOpenAI aus langchain-openai mit der Basis-URL von BroadNet. BroadRouter ist die Website von BroadNet selbst; die Anleitung folgt der Dokumentation von LangGraph und LangChain zum Stand von LangGraph 1.2.22 und langchain-openai 1.8.
Installation
pip install langgraph langchain-openai
export BROADNET_API_KEY='your-broadnet-key'
Ein Graph mit Tool-Calls
import os
from langchain_openai import ChatOpenAI
from langchain_core.tools import tool
from langgraph.graph import StateGraph, MessagesState, START
from langgraph.prebuilt import ToolNode, tools_condition
from langgraph.checkpoint.memory import InMemorySaver
@tool
def get_weather(city: str) -> str:
"""Get the weather for a city."""
return f"21C and sunny in {city}"
tools = [get_weather]
model = ChatOpenAI(
model="broadnet/glm-5.3",
base_url="https://inference.broadnet.ai/v1",
api_key=os.environ["BROADNET_API_KEY"],
).bind_tools(tools)
def call_model(state: MessagesState):
return {"messages": [model.invoke(state["messages"])]}
builder = StateGraph(MessagesState)
builder.add_node("model", call_model)
builder.add_node("tools", ToolNode(tools))
builder.add_edge(START, "model")
builder.add_conditional_edges("model", tools_condition)
builder.add_edge("tools", "model")
graph = builder.compile(checkpointer=InMemorySaver())
config = {"configurable": {"thread_id": "demo-1"}}
result = graph.invoke({"messages": [{"role": "user", "content": "What's the weather in Riyadh?"}]}, config)
print(result["messages"][-1].content)
Der Model-Node ruft BroadNet auf. tools_condition leitet den Graphen zum Tool-Node, wenn die Antwort Tool-Calls enthält, und das Tool-Ergebnis geht zurück ans Modell. Der Checkpointer speichert die Unterhaltung pro thread_id; ein zweites invoke mit derselben Config setzt sie also fort.
Tokens aus dem Graphen streamen
for chunk, meta in graph.stream(
{"messages": [{"role": "user", "content": "And in Dubai?"}]},
config,
stream_mode="messages",
):
if chunk.content and meta["langgraph_node"] == "model":
print(chunk.content, end="", flush=True)
Mit stream_mode="messages" sendet ChatOpenAI stream: true an BroadNet, und LangGraph reicht die Tokens durch.
Der vorgefertigte Agent
Brauchen Sie keinen eigenen Graphen, nimmt die vorgefertigte Agent-Schleife dasselbe Modell:
from langchain.agents import create_agent # pip install langchain
agent = create_agent(
ChatOpenAI(model="broadnet/glm-5.3", base_url="https://inference.broadnet.ai/v1", api_key=os.environ["BROADNET_API_KEY"]),
tools=tools,
)
agent.invoke({"messages": [{"role": "user", "content": "Weather in Riyadh?"}]})
create_react_agent aus langgraph.prebuilt läuft in LangGraph 1.2.22 noch, gibt aber eine Warnung aus, dass es nach langchain.agents.create_agent umgezogen ist.
Welches Modell passt?
| Graph | Modell |
|---|---|
| Agenten mit Tools, strukturierte Ausgabe | broadnet/glm-5.3 (Kontext von 1.048.576 Token) |
| Tools plus Bildeingabe oder arabischer Text | broadnet/qwen3.8-27b (Kontext von 262.144 Token) |
| Graphen ohne Tool-Calls, lange Dokumente | broadnet/deepseek-v4.1-flash |
Die BroadNet-Dokumentation nennt Tools und strukturierte Ausgabe nur für GLM 5.3 und Qwen3.8 27B. DeepSeek V4.1 Flash ist das Modell der unbegrenzten Pläne und eignet sich daher für Graphen, die zusammenfassen und weiterleiten, ohne Tools aufzurufen. Testen Sie eine Tool-Schleife darauf, bevor Sie sich darauf verlassen. Preise aller Modelle.
Wichtige Einstellungen
- Bei Chat Completions bleiben. BroadNet stellt
/v1/chat/completionsbereit. Laut LangChain-Dokumentation wechseltChatOpenAIzur Responses API, wenn Sie die eingebauten Tools von OpenAI, Conversation State oder den Parameterreasoningnutzen. Lassen Sie diese weg und setzen Sie nichtuse_responses_api=True. - Ausgabelimit. Bei DeepSeek V4.1 Flash, GLM 5.3 und Qwen3.8 27B zählt das Reasoning zum Ausgabebudget. Setzen Sie
max_tokensam Modell auf 2.000 oder mehr. In unserem Test hat langchain-openai 1.8 den Wert alsmax_completion_tokensgesendet. - Parallele Zweige. Jeder Zweig, der das Modell aufruft, ist eine eigene Anfrage. Ein Pay-as-you-go-Schlüssel erlaubt 4 gleichzeitig laufende Anfragen, und eine Plan-Session verarbeitet eine nach der anderen.
So haben wir das getestet
Am 15. November 2026 haben wir langgraph 1.2.22, langchain-openai 1.8.0 und langchain 1.5.0 in einer frischen virtuellen Umgebung installiert. Den Graphen oben, die Streaming-Schleife und create_agent haben wir gegen einen lokalen Mock-Server laufen lassen, der das Chat-Completions-Format von BroadNet spricht und Tool-Calls zurückgibt. Die protokollierten Anfragen haben wir geprüft: Jeder Aufruf ging an /v1/chat/completions, mit unveränderter Modell-ID broadnet/glm-5.3, einem Bearer-Schlüssel und dem Tool-Schema, und das Tool-Ergebnis kam als tool-Nachricht zurück. Wir hatten keinen BroadNet-Schlüssel und haben daher keine echte Modellausgabe getestet.
Fehlerbehebung
- 401. Der Schlüssel ist falsch, abgelaufen oder sein Kontingent aufgebraucht.
- 404.
base_urlmuss auf/v1enden. Prüfen Sie die Modell-ID mit dem Präfixbroadnet/. Kostenpflichtige Modelle brauchen eine Aufladung; das Guthaben von $5 deckt nurbroadnet/gemma-4-26b-a4bund die beiden Transcribe-Modelle ab. - Der Agent ruft nie ein Tool auf. Wechseln Sie zu
broadnet/glm-5.3oderbroadnet/qwen3.8-27b. - Leere Antworten. Das Ausgabebudget ging fürs Reasoning drauf. Erhöhen Sie
max_tokens. Warum Antworten leer zurückkommen. - 429. Ein Pay-as-you-go-Schlüssel erlaubt 30 Anfragen pro Minute. Ergänzen Sie
max_retriesanChatOpenAIund lesen Sie Fehlercodes und Retries.
