BroadRouter

BroadNet Inference پر LangGraph ایجنٹس بنائیں

اپ ڈیٹ

langgraph اور langchain-openai انسٹال کریں، پھر ChatOpenAI بنائیں: model میں broadnet/glm-5.3 جیسا BroadNet ID، base_url میں https://inference.broadnet.ai/v1 اور api_key میں اپنی BroadNet کلید۔ اس کے ساتھ اپنے ٹولز bind کریں اور اسے کسی StateGraph نوڈ میں استعمال کریں، یا langchain کے create_agent کو دیں۔ GLM 5.3 یا Qwen3.8 27B چنیں، جن کے لیے BroadNet ٹولز درج کرتا ہے۔

LangGraph، LangChain کی لائبریری ہے جس سے اسٹیٹ رکھنے والے، کئی مرحلوں کے ایجنٹس گراف کی شکل میں بنتے ہیں۔ اس کا اپنا کوئی ماڈل کلائنٹ نہیں: آپ کے نوڈز LangChain کا کوئی چیٹ ماڈل کال کرتے ہیں۔ گراف کو BroadNet Inference پر چلانے کے لیے اسے langchain-openai کا ChatOpenAI، BroadNet کے base URL کے ساتھ دیں۔ BroadRouter، BroadNet کی اپنی سائٹ ہے؛ یہ گائیڈ LangGraph 1.2.22 اور langchain-openai 1.8 کے وقت کی LangGraph اور LangChain دستاویزات کے مطابق ہے۔

انسٹال کریں

pip install langgraph langchain-openai
export BROADNET_API_KEY='your-broadnet-key'

ٹول کال کرنے والا گراف

import os
from langchain_openai import ChatOpenAI
from langchain_core.tools import tool
from langgraph.graph import StateGraph, MessagesState, START
from langgraph.prebuilt import ToolNode, tools_condition
from langgraph.checkpoint.memory import InMemorySaver

@tool
def get_weather(city: str) -> str:
    """Get the weather for a city."""
    return f"21C and sunny in {city}"

tools = [get_weather]
model = ChatOpenAI(
    model="broadnet/glm-5.3",
    base_url="https://inference.broadnet.ai/v1",
    api_key=os.environ["BROADNET_API_KEY"],
).bind_tools(tools)

def call_model(state: MessagesState):
    return {"messages": [model.invoke(state["messages"])]}

builder = StateGraph(MessagesState)
builder.add_node("model", call_model)
builder.add_node("tools", ToolNode(tools))
builder.add_edge(START, "model")
builder.add_conditional_edges("model", tools_condition)
builder.add_edge("tools", "model")
graph = builder.compile(checkpointer=InMemorySaver())

config = {"configurable": {"thread_id": "demo-1"}}
result = graph.invoke({"messages": [{"role": "user", "content": "What's the weather in Riyadh?"}]}, config)
print(result["messages"][-1].content)

ماڈل نوڈ BroadNet کو کال کرتا ہے۔ جب جواب میں ٹول کالز ہوں تو tools_condition گراف کو ٹول نوڈ پر بھیجتا ہے، اور ٹول کا نتیجہ واپس ماڈل کے پاس جاتا ہے۔ checkpointer ہر thread_id کی گفتگو محفوظ رکھتا ہے، اس لیے اسی config کے ساتھ دوسرا invoke گفتگو کو آگے بڑھاتا ہے۔

گراف سے ٹوکنز اسٹریم کریں

for chunk, meta in graph.stream(
    {"messages": [{"role": "user", "content": "And in Dubai?"}]},
    config,
    stream_mode="messages",
):
    if chunk.content and meta["langgraph_node"] == "model":
        print(chunk.content, end="", flush=True)

stream_mode="messages" کے ساتھ ChatOpenAI، BroadNet کو stream: true بھیجتا ہے اور LangGraph ٹوکنز سیدھے آگے بڑھا دیتا ہے۔

پہلے سے بنا (prebuilt) ایجنٹ

اگر آپ کو کسٹم گراف نہیں چاہیے تو prebuilt ایجنٹ لوپ بھی یہی ماڈل لیتا ہے:

from langchain.agents import create_agent  # pip install langchain

agent = create_agent(
    ChatOpenAI(model="broadnet/glm-5.3", base_url="https://inference.broadnet.ai/v1", api_key=os.environ["BROADNET_API_KEY"]),
    tools=tools,
)
agent.invoke({"messages": [{"role": "user", "content": "Weather in Riyadh?"}]})

langgraph.prebuilt کا create_react_agent LangGraph 1.2.22 میں اب بھی چلتا ہے، لیکن وارننگ دکھاتا ہے کہ وہ langchain.agents.create_agent میں منتقل ہو گیا ہے۔

کون سا ماڈل چنیں

گراف ماڈل
ٹولز والے ایجنٹس، اسٹرکچرڈ آؤٹ پٹ broadnet/glm-5.3 (1,048,576 ٹوکن کا کانٹیکسٹ)
ٹولز کے ساتھ تصویری ان پٹ یا عربی متن broadnet/qwen3.8-27b (262,144 ٹوکن کا کانٹیکسٹ)
ٹول کالز کے بغیر گراف، لمبی دستاویزات broadnet/deepseek-v4.1-flash

BroadNet کی دستاویزات ٹولز اور اسٹرکچرڈ آؤٹ پٹ صرف GLM 5.3 اور Qwen3.8 27B کے لیے درج کرتی ہیں۔ DeepSeek V4.1 Flash لامحدود پلانز والا ماڈل ہے، اس لیے یہ ان summarise-and-route گرافس کے لیے موزوں ہے جو ٹولز کال نہیں کرتے۔ اس پر بھروسہ کرنے سے پہلے اس پر ٹول لوپ ٹیسٹ کر لیں۔ ہر ماڈل کی قیمتیں۔

اہم سیٹنگز

  • chat completions پر ہی رہیں۔ BroadNet /v1/chat/completions فراہم کرتا ہے۔ LangChain کی دستاویزات کہتی ہیں کہ جب آپ OpenAI کے بلٹ اِن ٹولز، conversation state یا reasoning پیرامیٹر استعمال کرتے ہیں تو ChatOpenAI، Responses API پر چلا جاتا ہے۔ انہیں چھوڑ دیں اور use_responses_api=True سیٹ نہ کریں۔
  • آؤٹ پٹ کی حد۔ DeepSeek V4.1 Flash، GLM 5.3 اور Qwen3.8 27B پر ریزننگ آؤٹ پٹ بجٹ میں گنی جاتی ہے۔ ماڈل پر max_tokens کو 2,000 یا اس سے زیادہ رکھیں۔ ہمارے ٹیسٹ میں langchain-openai 1.8 نے اسے max_completion_tokens کے طور پر بھیجا۔
  • متوازی شاخیں۔ ماڈل کو کال کرنے والی ہر شاخ ایک الگ درخواست ہے۔ استعمال کے مطابق ادائیگی والی کلید بیک وقت 4 جاری درخواستوں کی اجازت دیتی ہے، اور پلان سیشن ایک وقت میں ایک درخواست چلاتا ہے۔

ہم نے اسے کیسے ٹیسٹ کیا

2026-11-15 کو ہم نے ایک صاف ورچوئل انوائرنمنٹ میں langgraph 1.2.22، langchain-openai 1.8.0 اور langchain 1.5.0 انسٹال کیے۔ ہم نے اوپر والا گراف، اسٹریمنگ لوپ اور create_agent ایک لوکل موک سرور کے سامنے چلائے جو BroadNet کی chat-completions ساخت میں جواب دیتا ہے اور ٹول کالز لوٹاتا ہے۔ ہم نے لاگ ہونے والی درخواستیں جانچیں۔ ہر کال /v1/chat/completions پر گئی، ماڈل ID broadnet/glm-5.3 بغیر تبدیلی کے، Bearer کلید اور ٹول اسکیما کے ساتھ، اور ٹول کا نتیجہ tool پیغام کے طور پر واپس آیا۔ ہمارے پاس BroadNet کلید نہیں تھی، اس لیے ہم نے حقیقی ماڈل آؤٹ پٹ ٹیسٹ نہیں کیا۔

مسائل کا حل

  • 401۔ کلید غلط ہے، اس کی میعاد ختم ہو گئی ہے یا الاؤنس ختم ہو گیا ہے۔
  • 404۔ base_url کے آخر میں /v1 ہونا چاہیے۔ ماڈل ID کو broadnet/ پری فکس کے ساتھ جانچیں۔ پیڈ ماڈلز کے لیے ٹاپ اپ چاہیے؛ $5 کریڈٹ پر صرف broadnet/gemma-4-26b-a4b اور دو Transcribe ماڈلز چلتے ہیں۔
  • ایجنٹ کبھی ٹول کال نہیں کرتا۔ broadnet/glm-5.3 یا broadnet/qwen3.8-27b پر جائیں۔
  • خالی جوابات۔ آؤٹ پٹ بجٹ ریزننگ میں خرچ ہو گیا۔ max_tokens بڑھائیں۔ جوابات خالی کیوں آتے ہیں۔
  • 429۔ استعمال کے مطابق ادائیگی والی کلید فی منٹ 30 درخواستوں کی اجازت دیتی ہے۔ ChatOpenAI میں max_retries شامل کریں اور ایررز اور دوبارہ کوشش دیکھیں۔

عام سوالات

کیا LangGraph کو BroadNet کے لیے الگ انٹیگریشن چاہیے؟

نہیں۔ LangGraph وہی چیٹ ماڈل چلاتا ہے جسے آپ کے نوڈز کال کرتے ہیں۔ LangChain کا ChatOpenAI استعمال کریں اور base_url کو https://inference.broadnet.ai/v1 پر سیٹ کریں؛ پھر ماڈل کو کال کرنے والا ہر نوڈ chat completions کے ذریعے BroadNet پر جاتا ہے۔

create_react_agent استعمال کروں یا create_agent؟

LangGraph 1.2 میں langgraph.prebuilt کا create_react_agent اب بھی چلتا ہے، لیکن ایک deprecation وارننگ دکھاتا ہے جو langchain پیکیج کے create_agent کی طرف اشارہ کرتی ہے۔ ہمارے موک سرور پر BroadNet جیسے ماڈل ID کے ساتھ دونوں چلے۔

LangGraph ایجنٹ کے لیے BroadNet کا کون سا ماڈل درست ہے؟

GLM 5.3 (broadnet/glm-5.3) یا Qwen3.8 27B (broadnet/qwen3.8-27b)۔ ایجنٹ لوپ ٹول کالز پر منحصر ہے، اور BroadNet صرف انہی دو ماڈلز کے لیے ٹولز درج کرتا ہے۔

میرا سیٹ کیا گیا max_tokens، max_completion_tokens کے طور پر کیوں جاتا ہے؟

langchain-openai 1.8 درخواست میں max_tokens کا نام بدل کر max_completion_tokens کر دیتا ہے۔ BroadNet کا API ریفرنس max_tokens بیان کرتا ہے۔ اگر آؤٹ پٹ کی حد کا اثر نظر نہ آئے تو دیکھیں کہ آپ کی ایپ اصل میں کون سی درخواست بھیجتی ہے۔

Markdown میں پڑھیںChatGPT سے پوچھیںClaude سے پوچھیںPerplexity سے پوچھیں