BroadRouter
शुरू करें

BroadNet Inference के साथ OpenAI Python SDK इस्तेमाल करें

अपडेट किया गया

openai पैकेज इंस्टॉल करें, फिर क्लाइंट बनाते समय base_url को https://inference.broadnet.ai/v1 और api_key को अपनी BroadNet key पर सेट करें। हर chat.completions कॉल बिना बदलाव के चलती है; सिर्फ़ मॉडल ID बदलता है, जैसे broadnet/deepseek-v4.1-flash। BroadNet, chat completions और ट्रांसक्रिप्शन देता है, Responses API नहीं।

आपको एक BroadNet Inference अकाउंट और एक इन्फ़रेंस key चाहिए। नए अकाउंट $5 क्रेडिट के साथ शुरू होते हैं, कार्ड की ज़रूरत नहीं; inference.broadnet.ai पर अकाउंट बनाएँ। कंसोल key सिर्फ़ एक बार दिखाता है और सिर्फ़ उसका हैश सेव करता है, इसलिए उसे सीधे अपने एनवायरनमेंट में कॉपी करें।

1. इंस्टॉल करें और key सेट करें

मौजूदा openai पैकेज (3.x) को Python 3.10 या नया वर्शन चाहिए।

python -m pip install openai
export BROADNET_API_KEY='paste-the-key-once'

2. पहला अनुरोध भेजें

इसे first_request.py नाम से सेव करें:

from openai import OpenAI
import os

client = OpenAI(
    base_url="https://inference.broadnet.ai/v1",
    api_key=os.environ["BROADNET_API_KEY"],
)

response = client.chat.completions.create(
    model="broadnet/gemma-4-26b-a4b",
    messages=[{"role": "user", "content": "Reply with one short sentence."}],
)
print(response.choices[0].message.content)

इसे python first_request.py से चलाएँ। इस उदाहरण में broadnet/gemma-4-26b-a4b है, क्योंकि यह मुफ़्त क्रेडिट पर चलता है। बाक़ी चैट मॉडल टॉप-अप के बाद मिलते हैं।

3. अपनी पसंद का मॉडल चुनें

सिर्फ़ model बदलें:

आपको चाहिए मॉडल ID
फ़्लैट प्लान पर अनलिमिटेड, 1M कॉन्टेक्स्ट broadnet/deepseek-v4.1-flash
टूल और स्ट्रक्चर्ड आउटपुट, 1M कॉन्टेक्स्ट broadnet/glm-5.3
अरबी टेक्स्ट और इमेज broadnet/qwen3.8-27b
कम कीमत, मुफ़्त क्रेडिट पर चलता है broadnet/gemma-4-26b-a4b

DeepSeek V4.1 Flash, GLM 5.3 और Qwen3.8 27B जवाब देने से पहले रीज़निंग करते हैं, और यह रीज़निंग max_tokens में गिनी जाती है। इन्हें 1,000 या ज़्यादा टोकन दें। कम लिमिट पर ख़ाली जवाब क्यों आता है, यहाँ पढ़ें।

4. जवाब स्ट्रीम करें

stream = client.chat.completions.create(
    model="broadnet/deepseek-v4.1-flash",
    stream=True,
    stream_options={"include_usage": True},
    messages=[{"role": "user", "content": "Count from one to three."}],
)
for chunk in stream:
    if chunk.choices and chunk.choices[0].delta.content:
        print(chunk.choices[0].delta.content, end="", flush=True)
    if chunk.usage:
        print("\n", chunk.usage)

include_usage के साथ टोकन गिनतियाँ आख़िरी चंक में आती हैं, जिसमें choices नहीं होता। टूटे हुए कनेक्शन स्ट्रीमिंग गाइड में कवर किए गए हैं।

5. रिक्वेस्ट ID सँभालकर रखें

हर रिस्पॉन्स में X-Request-ID हेडर होता है। इसे लॉग करें, क्योंकि BroadNet सपोर्ट इसे माँगता है। पार्स किए गए रिस्पॉन्स में यह response._request_id के रूप में मिलता है। दूसरे हेडर के साथ पढ़ने के लिए:

raw = client.chat.completions.with_raw_response.create(
    model="broadnet/gemma-4-26b-a4b",
    messages=[{"role": "user", "content": "Hi"}],
)
print(raw.headers.get("x-request-id"))
response = raw.parse()

उपयोग के अनुसार भुगतान वाली key प्रति मिनट 30 अनुरोध और एक साथ 4 चालू अनुरोधों की अनुमति देती है। हर एरर कोड का मतलब और कब रीट्राई करें।

समस्या निवारण

  • AuthenticationError (401). key ग़लत है, एक्सपायर हो चुकी है, या उपयोग के अनुसार भुगतान वाली सीमा ख़त्म हो गई है। जाँचें कि आपका कोड चलाने वाले प्रोसेस में BROADNET_API_KEY सेट है।
  • NotFoundError (404). जाँचें कि base_url का अंत /v1 पर है और आप chat.completions कॉल कर रहे हैं, responses नहीं। फिर broadnet/ प्रीफ़िक्स समेत मॉडल ID जाँचें।
  • नए अकाउंट पर पेड मॉडल फ़ेल होता है। $5 का शुरुआती क्रेडिट BroadNet Gemma 4 VL 26B (broadnet/gemma-4-26b-a4b) और दोनों BroadNet Transcribe मॉडल को कवर करता है। बाक़ी चैट मॉडल, यानी DeepSeek V4.1 Flash, GLM 5.3 और Qwen3.8 27B, इस्तेमाल करने के लिए टॉप-अप करें।
  • ख़ाली content. रीज़निंग max_tokens में गिनी जाती है। इसे 1,000 या ज़्यादा करें। जवाब ख़ाली क्यों आते हैं।
  • RateLimitError (429). आपने प्रति मिनट या एक साथ चलने वाले अनुरोधों की लिमिट पार कर दी। SDK डिफ़ॉल्ट रूप से दो बार रीट्राई करता है; इसे बदलने के लिए क्लाइंट पर max_retries सेट करें।
  • अपग्रेड के बाद कस्टम HTTP क्लाइंट में एरर। 3.x SDK, HTTPX2 इस्तेमाल करता है। अगर आप अपना http_client पास करते हैं, तो SDK की HTTPX2 माइग्रेशन गाइड देखें।

अक्सर पूछे जाने वाले सवाल

क्या मुझे कोई अलग SDK चाहिए?

नहीं। BroadNet Inference, OpenAI के chat-completions और audio-transcriptions वाले फ़ॉर्मैट समझता है, इसलिए आधिकारिक openai पैकेज सिर्फ़ अलग base_url के साथ चल जाता है।

क्या मैं OPENAI_API_KEY ही इस्तेमाल करता रह सकता हूँ?

कर सकते हैं, लेकिन अलग BROADNET_API_KEY वेरिएबल रखने से एक प्रोवाइडर की key ग़लती से दूसरे को भेजने का ख़तरा नहीं रहता।

क्या SDK, OPENAI_BASE_URL पढ़ता है?

हाँ। अगर आप base_url पास नहीं करते, तो क्लाइंट OPENAI_BASE_URL इस्तेमाल करता है। इसे https://inference.broadnet.ai/v1 पर और OPENAI_API_KEY को अपनी BroadNet key पर सेट करें, फिर OpenAI() को किसी आर्ग्युमेंट की ज़रूरत नहीं रहती।

क्या मैं BroadNet के साथ client.responses.create इस्तेमाल कर सकता हूँ?

नहीं। SDK का README सबसे पहले Responses API दिखाता है, लेकिन BroadNet के डॉक्स में सिर्फ़ chat completions और audio transcriptions हैं। client.chat.completions.create इस्तेमाल करें।

Markdown में पढ़ेंChatGPT से पूछेंClaude से पूछेंPerplexity से पूछें