BroadRouter

BroadNet Inference کے ساتھ LangChain استعمال کریں

اپ ڈیٹ

langchain-openai انسٹال کریں اور ChatOpenAI بناتے وقت base_url کو https://inference.broadnet.ai/v1، api_key کو اپنی BroadNet کلید اور ماڈل کو broadnet/glm-5.3 جیسے BroadNet ماڈل ID پر سیٹ کریں۔ پھر invoke، stream اور ٹول کالنگ والی chains، chat completions پر چلتی ہیں۔ صرف Responses API والے فیچرز سے بچیں، اور max_tokens میں ریزننگ کے لیے جگہ چھوڑیں۔

LangChain کا ChatOpenAI، base_url کے ذریعے کوئی بھی اینڈپوائنٹ قبول کرتا ہے۔ یہ BroadNet Inference کے ساتھ اس لیے چلتا ہے کہ وہ معیاری chat-completions ساخت استعمال کرتا ہے۔ اگر آپ API کو براہِ راست کال کرتے ہیں تو Python SDK گائیڈ دیکھیں۔

انسٹال کریں

langchain-openai کے موجودہ ورژنز (1.x) کو Python 3.11 یا اس سے نیا ورژن چاہیے۔

pip install -U langchain-openai
export BROADNET_API_KEY='paste-the-key-once'

کنیکٹ کریں

نیچے کے کوڈ میں max_tokens والا تبصرہ یاد دلاتا ہے کہ ریزننگ بھی اسی حد میں گنی جاتی ہے۔

import os
from langchain_openai import ChatOpenAI

llm = ChatOpenAI(
    model="broadnet/glm-5.3",
    base_url="https://inference.broadnet.ai/v1",
    api_key=os.environ["BROADNET_API_KEY"],
    max_tokens=2000,  # reasoning counts toward this limit
)

print(llm.invoke("Summarise the CAP theorem in two sentences.").content)

openai_api_base، base_url ہی کا دوسرا نام ہے۔ دونوں نہ ہوں تو LangChain OPENAI_API_BASE پڑھتا ہے، اور پھر اندر کا openai کلائنٹ OPENAI_BASE_URL پڑھتا ہے۔

جاننے کی باتیں

  • ریزننگ کا متن نہیں رکھا جاتا۔ LangChain کی دستاویزات کہتی ہیں کہ ChatOpenAI سرکاری OpenAI اسپیسفکیشن پر چلتا ہے اور reasoning_content جیسے غیر معیاری فیلڈز نہیں رکھتا۔ آپ کو حتمی جواب ملتا ہے، اور کسی chain کو عموماً یہی چاہیے۔
  • ریزننگ کے لیے جگہ چھوڑیں۔ GLM 5.3، DeepSeek V4.1 Flash اور Qwen3.8 27B پہلے ریزننگ کرتے ہیں۔ چھوٹا max_tokens خالی جواب لوٹا سکتا ہے۔ جوابات خالی کیوں آتے ہیں۔
  • اسٹریمنگ میں usage۔ جب آپ اینڈپوائنٹ OPENAI_BASE_URL سے سیٹ کرتے ہیں تو LangChain بطورِ ڈیفالٹ stream_usage بند کر دیتا ہے۔ اسٹریمنگ کے دوران ٹوکن کی گنتی چاہیے تو stream_usage=True پاس کریں۔ BroadNet کی دستاویزات کہتی ہیں کہ مانگنے پر usage آخری چنک میں آتا ہے۔
  • chat completions پر ہی رہیں۔ BroadNet، /v1/chat/completions فراہم کرتا ہے، Responses API نہیں۔ LangChain کی دستاویزات کہتی ہیں کہ جب آپ OpenAI کے بلٹ اِن ٹولز (web search، file search، code interpreter اور اسی طرح کے دوسرے)، گفتگو کی اسٹیٹ یا reasoning پیرامیٹر استعمال کرتے ہیں تو ChatOpenAI خود Responses API پر چلا جاتا ہے۔ انہیں چھوڑ دیں، اور use_responses_api=True سیٹ نہ کریں۔
  • ٹوکن کی حد کا نام۔ LangChain کی دستاویزات کہتی ہیں کہ max_tokens اندرونی طور پر max_completion_tokens میں بدل دیا جاتا ہے۔ BroadNet کی دستاویزات max_tokens بیان کرتی ہیں۔ اگر کوئی حد نظر انداز ہوتی لگے تو دیکھیں کہ آپ کی ایپ اصل میں کون سی درخواست بھیجتی ہے۔

کس chain کے لیے کون سا ماڈل

Chain ماڈل
ٹول کالنگ اور اسٹرکچرڈ آؤٹ پٹ broadnet/glm-5.3
لمبی دستاویزات اور ایجنٹس، لامحدود پلان broadnet/deepseek-v4.1-flash
عربی متن یا تصاویر broadnet/qwen3.8-27b

ہر ماڈل کی قیمتیں دیکھیں۔

مسائل کا حل

  • 401۔ کلید غلط ہے، اس کی میعاد ختم ہو گئی ہے، یا استعمال کے مطابق ادائیگی والا الاؤنس ختم ہو گیا ہے۔ اگر آپ نے api_key پاس نہیں کی تو LangChain نے OPENAI_API_KEY استعمال کی، جس میں شاید کوئی OpenAI کلید ہو۔
  • 404 یا “not found”۔ دیکھیں کہ base_url کے آخر میں /v1 ہے اور کوئی چیز کال کو Responses API کی طرف نہیں بھیج رہی (اوپر دیکھیں)۔ پھر دیکھیں کہ ماڈل ID، broadnet/ پری فکس سمیت، BroadNet کے ID سے بالکل ملتا ہے۔ پیڈ ماڈلز کے لیے ٹاپ اپ چاہیے؛ $5 کریڈٹ صرف broadnet/gemma-4-26b-a4b اور دو Transcribe ماڈلز کا احاطہ کرتا ہے۔
  • خالی content۔ ریزننگ نے پورا بجٹ لے لیا۔ max_tokens بڑھائیں۔ جوابات خالی کیوں آتے ہیں۔
  • ٹول کالز کبھی نہیں ہوتیں۔ broadnet/glm-5.3 یا broadnet/qwen3.8-27b استعمال کریں۔ BroadNet کی دستاویزات صرف انہی دو کے لیے ٹولز درج کرتی ہیں۔
  • batch یا متوازی chains میں 429۔ استعمال کے مطابق ادائیگی والی کلید فی منٹ 30 درخواستوں اور بیک وقت 4 درخواستوں کی اجازت دیتی ہے۔ batch() کے لیے runnable config میں max_concurrency سیٹ کریں۔ ایرر کوڈز اور دوبارہ کوشش دیکھیں۔

عام سوالات

ChatOpenAI میں base_url استعمال کروں یا openai_api_base؟

کوئی بھی۔ openai_api_base، base_url ہی کا دوسرا نام (alias) ہے۔ اگر دونوں میں سے کوئی پاس نہ ہو تو LangChain پہلے OPENAI_API_BASE دیکھتا ہے، اور پھر openai کلائنٹ OPENAI_BASE_URL پڑھتا ہے۔

کیا میں صرف انوائرنمنٹ ویری ایبلز سے BroadNet اینڈپوائنٹ سیٹ کر سکتا ہوں؟

ہاں۔ OPENAI_BASE_URL کو https://inference.broadnet.ai/v1 اور OPENAI_API_KEY کو اپنی BroadNet کلید پر سیٹ کریں، پھر ChatOpenAI کو صرف ماڈل ID کے ساتھ بنائیں۔ اسٹریمنگ کے دوران ٹوکن کی گنتی چاہیے تو stream_usage=True پاس کریں۔

LangChain، BroadNet کے جوابات سے reasoning_content کیوں ہٹا دیتا ہے؟

LangChain کی دستاویزات کہتی ہیں کہ ChatOpenAI سرکاری OpenAI اسپیسفکیشن پر چلتا ہے اور reasoning_content جیسے غیر معیاری فیلڈز نہیں نکالتا۔ حتمی جواب آپ کو content میں پھر بھی ملتا ہے۔

کیا BroadNet کے ساتھ ChatOpenAI ٹول کالنگ سپورٹ کرتا ہے؟

ہاں، bind_tools کے ذریعے، ان ماڈلز پر جن کے لیے BroadNet ٹولز درج کرتا ہے۔ ٹول کالنگ اور with_structured_output کے لیے broadnet/glm-5.3 یا broadnet/qwen3.8-27b استعمال کریں۔

Markdown میں پڑھیںChatGPT سے پوچھیںClaude سے پوچھیںPerplexity سے پوچھیں