LangGraph, LangChain की लाइब्रेरी है, जिससे स्टेटफ़ुल और कई स्टेप वाले एजेंट ग्राफ़ के रूप में बनते हैं। इसका अपना कोई मॉडल क्लाइंट नहीं है: आपके नोड LangChain का कोई चैट मॉडल कॉल करते हैं। ग्राफ़ को BroadNet Inference पर चलाने के लिए उसे langchain-openai का ChatOpenAI BroadNet के base URL के साथ दें। BroadRouter, BroadNet की अपनी साइट है; यह गाइड LangGraph 1.2.22 और langchain-openai 1.8 के समय के LangGraph और LangChain डॉक्स के अनुसार है।
इंस्टॉल करें
pip install langgraph langchain-openai
export BROADNET_API_KEY='your-broadnet-key'
टूल कॉल करने वाला ग्राफ़
import os
from langchain_openai import ChatOpenAI
from langchain_core.tools import tool
from langgraph.graph import StateGraph, MessagesState, START
from langgraph.prebuilt import ToolNode, tools_condition
from langgraph.checkpoint.memory import InMemorySaver
@tool
def get_weather(city: str) -> str:
"""Get the weather for a city."""
return f"21C and sunny in {city}"
tools = [get_weather]
model = ChatOpenAI(
model="broadnet/glm-5.3",
base_url="https://inference.broadnet.ai/v1",
api_key=os.environ["BROADNET_API_KEY"],
).bind_tools(tools)
def call_model(state: MessagesState):
return {"messages": [model.invoke(state["messages"])]}
builder = StateGraph(MessagesState)
builder.add_node("model", call_model)
builder.add_node("tools", ToolNode(tools))
builder.add_edge(START, "model")
builder.add_conditional_edges("model", tools_condition)
builder.add_edge("tools", "model")
graph = builder.compile(checkpointer=InMemorySaver())
config = {"configurable": {"thread_id": "demo-1"}}
result = graph.invoke({"messages": [{"role": "user", "content": "What's the weather in Riyadh?"}]}, config)
print(result["messages"][-1].content)
मॉडल नोड BroadNet को कॉल करता है। जब जवाब में टूल कॉल हों, तो tools_condition ग्राफ़ को टूल नोड पर भेजता है, और टूल का नतीजा वापस मॉडल के पास जाता है। checkpointer हर thread_id की बातचीत सँभालकर रखता है, इसलिए उसी config के साथ दूसरा invoke बातचीत को आगे बढ़ाता है।
ग्राफ़ से टोकन स्ट्रीम करें
for chunk, meta in graph.stream(
{"messages": [{"role": "user", "content": "And in Dubai?"}]},
config,
stream_mode="messages",
):
if chunk.content and meta["langgraph_node"] == "model":
print(chunk.content, end="", flush=True)
stream_mode="messages" के साथ ChatOpenAI, BroadNet को stream: true भेजता है और LangGraph टोकन सीधे आगे बढ़ा देता है।
पहले से बना (prebuilt) एजेंट
अगर आपको कस्टम ग्राफ़ नहीं चाहिए, तो prebuilt एजेंट लूप भी यही मॉडल लेता है:
from langchain.agents import create_agent # pip install langchain
agent = create_agent(
ChatOpenAI(model="broadnet/glm-5.3", base_url="https://inference.broadnet.ai/v1", api_key=os.environ["BROADNET_API_KEY"]),
tools=tools,
)
agent.invoke({"messages": [{"role": "user", "content": "Weather in Riyadh?"}]})
langgraph.prebuilt का create_react_agent LangGraph 1.2.22 में अब भी चलता है, लेकिन चेतावनी दिखाता है कि वह langchain.agents.create_agent में चला गया है।
कौन-सा मॉडल चुनें
| ग्राफ़ | मॉडल |
|---|---|
| टूल वाले एजेंट, स्ट्रक्चर्ड आउटपुट | broadnet/glm-5.3 (1,048,576 टोकन का कॉन्टेक्स्ट) |
| टूल के साथ इमेज इनपुट या अरबी टेक्स्ट | broadnet/qwen3.8-27b (262,144 टोकन का कॉन्टेक्स्ट) |
| बिना टूल कॉल वाले ग्राफ़, लंबे दस्तावेज़ | broadnet/deepseek-v4.1-flash |
BroadNet के डॉक्स टूल और स्ट्रक्चर्ड आउटपुट सिर्फ़ GLM 5.3 और Qwen3.8 27B के लिए सूचीबद्ध करते हैं। DeepSeek V4.1 Flash अनलिमिटेड प्लान वाला मॉडल है, इसलिए यह उन summarise-and-route ग्राफ़ के लिए ठीक है जो टूल कॉल नहीं करते। इस पर भरोसा करने से पहले इस पर टूल लूप टेस्ट कर लें। हर मॉडल की कीमतें।
ज़रूरी सेटिंग
- chat completions पर ही रहें। BroadNet
/v1/chat/completionsदेता है। LangChain के डॉक्स कहते हैं कि जब आप OpenAI के बिल्ट-इन टूल, conversation state याreasoningपैरामीटर इस्तेमाल करते हैं, तोChatOpenAIResponses API पर चला जाता है। इन्हें छोड़ दें औरuse_responses_api=Trueसेट न करें। - आउटपुट सीमा. DeepSeek V4.1 Flash, GLM 5.3 और Qwen3.8 27B पर रीज़निंग आउटपुट बजट में गिनी जाती है। मॉडल पर
max_tokensको 2,000 या उससे ज़्यादा रखें। हमारे टेस्ट में langchain-openai 1.8 ने इसेmax_completion_tokensके रूप में भेजा। - पैरलल ब्रांच. मॉडल को कॉल करने वाली हर ब्रांच एक अलग अनुरोध है। उपयोग के अनुसार भुगतान वाली key एक साथ 4 चालू अनुरोध की अनुमति देती है, और प्लान सेशन एक बार में एक अनुरोध चलाता है।
हमने इसे कैसे टेस्ट किया
2026-11-15 को हमने एक साफ़ वर्चुअल एनवायरनमेंट में langgraph 1.2.22, langchain-openai 1.8.0 और langchain 1.5.0 इंस्टॉल किए। हमने ऊपर का ग्राफ़, स्ट्रीमिंग लूप और create_agent एक लोकल मॉक सर्वर के सामने चलाए, जो BroadNet के chat-completions ढाँचे में जवाब देता है और टूल कॉल लौटाता है। हमने लॉग हुए अनुरोध जाँचे। हर कॉल /v1/chat/completions पर गई, मॉडल ID broadnet/glm-5.3 बिना बदलाव के, Bearer key और टूल स्कीमा के साथ, और टूल का नतीजा tool मैसेज के रूप में वापस आया। हमारे पास BroadNet key नहीं थी, इसलिए हमने असली मॉडल आउटपुट टेस्ट नहीं किया।
समस्या का समाधान
- 401. key ग़लत है, एक्सपायर हो गई है, या उसका अलाउंस ख़त्म हो गया है।
- 404.
base_urlके अंत में/v1होना चाहिए। मॉडल IDbroadnet/प्रीफ़िक्स के साथ जाँचें। पेड मॉडल के लिए टॉप-अप चाहिए; $5 क्रेडिट पर सिर्फ़broadnet/gemma-4-26b-a4bऔर दो Transcribe मॉडल चलते हैं। - एजेंट कभी टूल कॉल नहीं करता.
broadnet/glm-5.3याbroadnet/qwen3.8-27bपर स्विच करें। - ख़ाली जवाब. आउटपुट बजट रीज़निंग में ख़र्च हो गया।
max_tokensबढ़ाएँ। जवाब ख़ाली क्यों आते हैं। - 429. उपयोग के अनुसार भुगतान वाली key प्रति मिनट 30 अनुरोध की अनुमति देती है।
ChatOpenAIमेंmax_retriesजोड़ें और एरर और रीट्राई देखें।
