LangGraph، LangChain کی لائبریری ہے جس سے اسٹیٹ رکھنے والے، کئی مرحلوں کے ایجنٹس گراف کی شکل میں بنتے ہیں۔ اس کا اپنا کوئی ماڈل کلائنٹ نہیں: آپ کے نوڈز LangChain کا کوئی چیٹ ماڈل کال کرتے ہیں۔ گراف کو BroadNet Inference پر چلانے کے لیے اسے langchain-openai کا ChatOpenAI، BroadNet کے base URL کے ساتھ دیں۔ BroadRouter، BroadNet کی اپنی سائٹ ہے؛ یہ گائیڈ LangGraph 1.2.22 اور langchain-openai 1.8 کے وقت کی LangGraph اور LangChain دستاویزات کے مطابق ہے۔
انسٹال کریں
pip install langgraph langchain-openai
export BROADNET_API_KEY='your-broadnet-key'
ٹول کال کرنے والا گراف
import os
from langchain_openai import ChatOpenAI
from langchain_core.tools import tool
from langgraph.graph import StateGraph, MessagesState, START
from langgraph.prebuilt import ToolNode, tools_condition
from langgraph.checkpoint.memory import InMemorySaver
@tool
def get_weather(city: str) -> str:
"""Get the weather for a city."""
return f"21C and sunny in {city}"
tools = [get_weather]
model = ChatOpenAI(
model="broadnet/glm-5.3",
base_url="https://inference.broadnet.ai/v1",
api_key=os.environ["BROADNET_API_KEY"],
).bind_tools(tools)
def call_model(state: MessagesState):
return {"messages": [model.invoke(state["messages"])]}
builder = StateGraph(MessagesState)
builder.add_node("model", call_model)
builder.add_node("tools", ToolNode(tools))
builder.add_edge(START, "model")
builder.add_conditional_edges("model", tools_condition)
builder.add_edge("tools", "model")
graph = builder.compile(checkpointer=InMemorySaver())
config = {"configurable": {"thread_id": "demo-1"}}
result = graph.invoke({"messages": [{"role": "user", "content": "What's the weather in Riyadh?"}]}, config)
print(result["messages"][-1].content)
ماڈل نوڈ BroadNet کو کال کرتا ہے۔ جب جواب میں ٹول کالز ہوں تو tools_condition گراف کو ٹول نوڈ پر بھیجتا ہے، اور ٹول کا نتیجہ واپس ماڈل کے پاس جاتا ہے۔ checkpointer ہر thread_id کی گفتگو محفوظ رکھتا ہے، اس لیے اسی config کے ساتھ دوسرا invoke گفتگو کو آگے بڑھاتا ہے۔
گراف سے ٹوکنز اسٹریم کریں
for chunk, meta in graph.stream(
{"messages": [{"role": "user", "content": "And in Dubai?"}]},
config,
stream_mode="messages",
):
if chunk.content and meta["langgraph_node"] == "model":
print(chunk.content, end="", flush=True)
stream_mode="messages" کے ساتھ ChatOpenAI، BroadNet کو stream: true بھیجتا ہے اور LangGraph ٹوکنز سیدھے آگے بڑھا دیتا ہے۔
پہلے سے بنا (prebuilt) ایجنٹ
اگر آپ کو کسٹم گراف نہیں چاہیے تو prebuilt ایجنٹ لوپ بھی یہی ماڈل لیتا ہے:
from langchain.agents import create_agent # pip install langchain
agent = create_agent(
ChatOpenAI(model="broadnet/glm-5.3", base_url="https://inference.broadnet.ai/v1", api_key=os.environ["BROADNET_API_KEY"]),
tools=tools,
)
agent.invoke({"messages": [{"role": "user", "content": "Weather in Riyadh?"}]})
langgraph.prebuilt کا create_react_agent LangGraph 1.2.22 میں اب بھی چلتا ہے، لیکن وارننگ دکھاتا ہے کہ وہ langchain.agents.create_agent میں منتقل ہو گیا ہے۔
کون سا ماڈل چنیں
| گراف | ماڈل |
|---|---|
| ٹولز والے ایجنٹس، اسٹرکچرڈ آؤٹ پٹ | broadnet/glm-5.3 (1,048,576 ٹوکن کا کانٹیکسٹ) |
| ٹولز کے ساتھ تصویری ان پٹ یا عربی متن | broadnet/qwen3.8-27b (262,144 ٹوکن کا کانٹیکسٹ) |
| ٹول کالز کے بغیر گراف، لمبی دستاویزات | broadnet/deepseek-v4.1-flash |
BroadNet کی دستاویزات ٹولز اور اسٹرکچرڈ آؤٹ پٹ صرف GLM 5.3 اور Qwen3.8 27B کے لیے درج کرتی ہیں۔ DeepSeek V4.1 Flash لامحدود پلانز والا ماڈل ہے، اس لیے یہ ان summarise-and-route گرافس کے لیے موزوں ہے جو ٹولز کال نہیں کرتے۔ اس پر بھروسہ کرنے سے پہلے اس پر ٹول لوپ ٹیسٹ کر لیں۔ ہر ماڈل کی قیمتیں۔
اہم سیٹنگز
- chat completions پر ہی رہیں۔ BroadNet
/v1/chat/completionsفراہم کرتا ہے۔ LangChain کی دستاویزات کہتی ہیں کہ جب آپ OpenAI کے بلٹ اِن ٹولز، conversation state یاreasoningپیرامیٹر استعمال کرتے ہیں توChatOpenAI، Responses API پر چلا جاتا ہے۔ انہیں چھوڑ دیں اورuse_responses_api=Trueسیٹ نہ کریں۔ - آؤٹ پٹ کی حد۔ DeepSeek V4.1 Flash، GLM 5.3 اور Qwen3.8 27B پر ریزننگ آؤٹ پٹ بجٹ میں گنی جاتی ہے۔ ماڈل پر
max_tokensکو 2,000 یا اس سے زیادہ رکھیں۔ ہمارے ٹیسٹ میں langchain-openai 1.8 نے اسےmax_completion_tokensکے طور پر بھیجا۔ - متوازی شاخیں۔ ماڈل کو کال کرنے والی ہر شاخ ایک الگ درخواست ہے۔ استعمال کے مطابق ادائیگی والی کلید بیک وقت 4 جاری درخواستوں کی اجازت دیتی ہے، اور پلان سیشن ایک وقت میں ایک درخواست چلاتا ہے۔
ہم نے اسے کیسے ٹیسٹ کیا
2026-11-15 کو ہم نے ایک صاف ورچوئل انوائرنمنٹ میں langgraph 1.2.22، langchain-openai 1.8.0 اور langchain 1.5.0 انسٹال کیے۔ ہم نے اوپر والا گراف، اسٹریمنگ لوپ اور create_agent ایک لوکل موک سرور کے سامنے چلائے جو BroadNet کی chat-completions ساخت میں جواب دیتا ہے اور ٹول کالز لوٹاتا ہے۔ ہم نے لاگ ہونے والی درخواستیں جانچیں۔ ہر کال /v1/chat/completions پر گئی، ماڈل ID broadnet/glm-5.3 بغیر تبدیلی کے، Bearer کلید اور ٹول اسکیما کے ساتھ، اور ٹول کا نتیجہ tool پیغام کے طور پر واپس آیا۔ ہمارے پاس BroadNet کلید نہیں تھی، اس لیے ہم نے حقیقی ماڈل آؤٹ پٹ ٹیسٹ نہیں کیا۔
مسائل کا حل
- 401۔ کلید غلط ہے، اس کی میعاد ختم ہو گئی ہے یا الاؤنس ختم ہو گیا ہے۔
- 404۔
base_urlکے آخر میں/v1ہونا چاہیے۔ ماڈل ID کوbroadnet/پری فکس کے ساتھ جانچیں۔ پیڈ ماڈلز کے لیے ٹاپ اپ چاہیے؛ $5 کریڈٹ پر صرفbroadnet/gemma-4-26b-a4bاور دو Transcribe ماڈلز چلتے ہیں۔ - ایجنٹ کبھی ٹول کال نہیں کرتا۔
broadnet/glm-5.3یاbroadnet/qwen3.8-27bپر جائیں۔ - خالی جوابات۔ آؤٹ پٹ بجٹ ریزننگ میں خرچ ہو گیا۔
max_tokensبڑھائیں۔ جوابات خالی کیوں آتے ہیں۔ - 429۔ استعمال کے مطابق ادائیگی والی کلید فی منٹ 30 درخواستوں کی اجازت دیتی ہے۔
ChatOpenAIمیںmax_retriesشامل کریں اور ایررز اور دوبارہ کوشش دیکھیں۔
