BroadRouter

BroadNet Inference के साथ LangChain इस्तेमाल करें

अपडेट किया गया

langchain-openai इंस्टॉल करें और ChatOpenAI बनाते समय base_url को https://inference.broadnet.ai/v1, api_key को अपनी BroadNet key और मॉडल को broadnet/glm-5.3 जैसे BroadNet मॉडल ID पर सेट करें। फिर invoke, stream और टूल कॉलिंग वाली chain, chat completions पर चलती हैं। सिर्फ़ Responses API वाले फ़ीचर से बचें, और max_tokens में रीज़निंग के लिए जगह छोड़ें।

LangChain का ChatOpenAI, base_url के ज़रिए कोई भी एंडपॉइंट स्वीकार करता है। BroadNet Inference के साथ यह इसलिए चलता है क्योंकि वह स्टैंडर्ड chat-completions ढाँचा इस्तेमाल करता है। अगर आप API को सीधे कॉल करते हैं, तो Python SDK गाइड देखें।

इंस्टॉल करें

langchain-openai के मौजूदा रिलीज़ (1.x) को Python 3.11 या नया वर्शन चाहिए।

pip install -U langchain-openai
export BROADNET_API_KEY='paste-the-key-once'

कनेक्ट करें

नीचे के कोड में max_tokens वाली टिप्पणी याद दिलाती है कि रीज़निंग भी इसी सीमा में गिनी जाती है।

import os
from langchain_openai import ChatOpenAI

llm = ChatOpenAI(
    model="broadnet/glm-5.3",
    base_url="https://inference.broadnet.ai/v1",
    api_key=os.environ["BROADNET_API_KEY"],
    max_tokens=2000,  # reasoning counts toward this limit
)

print(llm.invoke("Summarise the CAP theorem in two sentences.").content)

openai_api_base, base_url का ही दूसरा नाम है। दोनों न हों, तो LangChain OPENAI_API_BASE पढ़ता है, और फिर अंदर का openai क्लाइंट OPENAI_BASE_URL पढ़ता है।

जानने लायक बातें

  • रीज़निंग टेक्स्ट नहीं रखा जाता। LangChain के डॉक्स कहते हैं कि ChatOpenAI आधिकारिक OpenAI स्पेसिफ़िकेशन का पालन करता है और reasoning_content जैसे नॉन-स्टैंडर्ड फ़ील्ड नहीं रखता। आपको अंतिम जवाब मिलता है, और किसी chain को आम तौर पर यही चाहिए।
  • रीज़निंग के लिए जगह छोड़ें। GLM 5.3, DeepSeek V4.1 Flash और Qwen3.8 27B पहले रीज़निंग करते हैं। छोटा max_tokens ख़ाली जवाब लौटा सकता है। जवाब ख़ाली क्यों आते हैं।
  • स्ट्रीमिंग में usage. जब आप एंडपॉइंट OPENAI_BASE_URL से सेट करते हैं, तो LangChain डिफ़ॉल्ट रूप से stream_usage बंद कर देता है। स्ट्रीमिंग के दौरान टोकन की गिनती चाहिए तो stream_usage=True पास करें। BroadNet के डॉक्स कहते हैं कि माँगने पर usage आख़िरी चंक में आता है।
  • chat completions पर ही रहें। BroadNet, /v1/chat/completions देता है, Responses API नहीं। LangChain के डॉक्स कहते हैं कि जब आप OpenAI के बिल्ट-इन टूल (web search, file search, code interpreter और ऐसे ही दूसरे), बातचीत की स्टेट या reasoning पैरामीटर इस्तेमाल करते हैं, तो ChatOpenAI Responses API पर चला जाता है। इन्हें छोड़ दें, और use_responses_api=True सेट न करें।
  • टोकन सीमा का नाम. LangChain के डॉक्स कहते हैं कि max_tokens अंदर ही अंदर max_completion_tokens में बदल दिया जाता है। BroadNet के डॉक्स max_tokens बताते हैं। अगर कोई सीमा अनदेखी होती लगे, तो देखें कि आपका ऐप असल में कौन-सा अनुरोध भेजता है।

किस chain के लिए कौन-सा मॉडल

Chain मॉडल
टूल कॉलिंग और स्ट्रक्चर्ड आउटपुट broadnet/glm-5.3
लंबे दस्तावेज़ और एजेंट, अनलिमिटेड प्लान broadnet/deepseek-v4.1-flash
अरबी टेक्स्ट या इमेज broadnet/qwen3.8-27b

हर मॉडल की कीमतें देखें।

समस्या का समाधान

  • 401. key ग़लत है, एक्सपायर हो गई है, या उसका उपयोग के अनुसार भुगतान वाला अलाउंस ख़त्म हो गया है। अगर आपने api_key पास नहीं की, तो LangChain ने OPENAI_API_KEY इस्तेमाल की, जिसमें शायद कोई OpenAI key हो।
  • 404 या “not found”. जाँचें कि base_url के अंत में /v1 है और कोई चीज़ कॉल को Responses API पर नहीं भेज रही (ऊपर देखें)। फिर जाँचें कि मॉडल ID, broadnet/ प्रीफ़िक्स समेत, BroadNet के ID से हूबहू मिलता है। पेड मॉडल के लिए टॉप-अप चाहिए; $5 क्रेडिट सिर्फ़ broadnet/gemma-4-26b-a4b और दो Transcribe मॉडल को कवर करता है।
  • ख़ाली content. रीज़निंग ने पूरा बजट ले लिया। max_tokens बढ़ाएँ। जवाब ख़ाली क्यों आते हैं।
  • टूल कॉल कभी नहीं होते। broadnet/glm-5.3 या broadnet/qwen3.8-27b इस्तेमाल करें। BroadNet के डॉक्स सिर्फ़ इन्हीं दो के लिए टूल सूचीबद्ध करते हैं।
  • batch या पैरेलल chain में 429. उपयोग के अनुसार भुगतान वाली key प्रति मिनट 30 अनुरोध और एक साथ 4 अनुरोध की अनुमति देती है। batch() के लिए runnable config में max_concurrency सेट करें। एरर कोड और रीट्राई देखें।

अक्सर पूछे जाने वाले सवाल

ChatOpenAI में base_url इस्तेमाल करूँ या openai_api_base?

कोई भी। openai_api_base, base_url का ही दूसरा नाम (alias) है। अगर दोनों में से कोई पास न हो, तो LangChain पहले OPENAI_API_BASE देखता है, और फिर openai क्लाइंट OPENAI_BASE_URL पढ़ता है।

क्या मैं सिर्फ़ एनवायरनमेंट वेरिएबल से BroadNet एंडपॉइंट सेट कर सकता हूँ?

हाँ। OPENAI_BASE_URL को https://inference.broadnet.ai/v1 और OPENAI_API_KEY को अपनी BroadNet key पर सेट करें, फिर ChatOpenAI को सिर्फ़ मॉडल ID के साथ बनाएँ। स्ट्रीमिंग के दौरान टोकन की गिनती चाहिए तो stream_usage=True पास करें।

LangChain, BroadNet के जवाबों से reasoning_content क्यों हटा देता है?

LangChain के डॉक्स कहते हैं कि ChatOpenAI आधिकारिक OpenAI स्पेसिफ़िकेशन का पालन करता है और reasoning_content जैसे नॉन-स्टैंडर्ड फ़ील्ड नहीं निकालता। अंतिम जवाब आपको content में फिर भी मिलता है।

क्या BroadNet के साथ ChatOpenAI टूल कॉलिंग सपोर्ट करता है?

हाँ, bind_tools के ज़रिए, उन मॉडल पर जिनके लिए BroadNet टूल सूचीबद्ध करता है। टूल कॉलिंग और with_structured_output के लिए broadnet/glm-5.3 या broadnet/qwen3.8-27b इस्तेमाल करें।

Markdown में पढ़ेंChatGPT से पूछेंClaude से पूछेंPerplexity से पूछें