आपको एक BroadNet Inference अकाउंट और एक इन्फ़रेंस key चाहिए। नए अकाउंट $5 क्रेडिट के साथ शुरू होते हैं, कार्ड की ज़रूरत नहीं; inference.broadnet.ai पर अकाउंट बनाएँ। कंसोल key सिर्फ़ एक बार दिखाता है और सिर्फ़ उसका हैश सेव करता है, इसलिए उसे सीधे अपने एनवायरनमेंट में कॉपी करें।
1. इंस्टॉल करें और key सेट करें
मौजूदा openai पैकेज (3.x) को Python 3.10 या नया वर्शन चाहिए।
python -m pip install openai
export BROADNET_API_KEY='paste-the-key-once'
2. पहला अनुरोध भेजें
इसे first_request.py नाम से सेव करें:
from openai import OpenAI
import os
client = OpenAI(
base_url="https://inference.broadnet.ai/v1",
api_key=os.environ["BROADNET_API_KEY"],
)
response = client.chat.completions.create(
model="broadnet/gemma-4-26b-a4b",
messages=[{"role": "user", "content": "Reply with one short sentence."}],
)
print(response.choices[0].message.content)
इसे python first_request.py से चलाएँ। इस उदाहरण में broadnet/gemma-4-26b-a4b है, क्योंकि यह मुफ़्त क्रेडिट पर चलता है। बाक़ी चैट मॉडल टॉप-अप के बाद मिलते हैं।
3. अपनी पसंद का मॉडल चुनें
सिर्फ़ model बदलें:
| आपको चाहिए | मॉडल ID |
|---|---|
| फ़्लैट प्लान पर अनलिमिटेड, 1M कॉन्टेक्स्ट | broadnet/deepseek-v4.1-flash |
| टूल और स्ट्रक्चर्ड आउटपुट, 1M कॉन्टेक्स्ट | broadnet/glm-5.3 |
| अरबी टेक्स्ट और इमेज | broadnet/qwen3.8-27b |
| कम कीमत, मुफ़्त क्रेडिट पर चलता है | broadnet/gemma-4-26b-a4b |
DeepSeek V4.1 Flash, GLM 5.3 और Qwen3.8 27B जवाब देने से पहले रीज़निंग करते हैं, और यह रीज़निंग max_tokens में गिनी जाती है। इन्हें 1,000 या ज़्यादा टोकन दें। कम लिमिट पर ख़ाली जवाब क्यों आता है, यहाँ पढ़ें।
4. जवाब स्ट्रीम करें
stream = client.chat.completions.create(
model="broadnet/deepseek-v4.1-flash",
stream=True,
stream_options={"include_usage": True},
messages=[{"role": "user", "content": "Count from one to three."}],
)
for chunk in stream:
if chunk.choices and chunk.choices[0].delta.content:
print(chunk.choices[0].delta.content, end="", flush=True)
if chunk.usage:
print("\n", chunk.usage)
include_usage के साथ टोकन गिनतियाँ आख़िरी चंक में आती हैं, जिसमें choices नहीं होता। टूटे हुए कनेक्शन स्ट्रीमिंग गाइड में कवर किए गए हैं।
5. रिक्वेस्ट ID सँभालकर रखें
हर रिस्पॉन्स में X-Request-ID हेडर होता है। इसे लॉग करें, क्योंकि BroadNet सपोर्ट इसे माँगता है। पार्स किए गए रिस्पॉन्स में यह response._request_id के रूप में मिलता है। दूसरे हेडर के साथ पढ़ने के लिए:
raw = client.chat.completions.with_raw_response.create(
model="broadnet/gemma-4-26b-a4b",
messages=[{"role": "user", "content": "Hi"}],
)
print(raw.headers.get("x-request-id"))
response = raw.parse()
उपयोग के अनुसार भुगतान वाली key प्रति मिनट 30 अनुरोध और एक साथ 4 चालू अनुरोधों की अनुमति देती है। हर एरर कोड का मतलब और कब रीट्राई करें।
समस्या निवारण
AuthenticationError(401). key ग़लत है, एक्सपायर हो चुकी है, या उपयोग के अनुसार भुगतान वाली सीमा ख़त्म हो गई है। जाँचें कि आपका कोड चलाने वाले प्रोसेस मेंBROADNET_API_KEYसेट है।NotFoundError(404). जाँचें किbase_urlका अंत/v1पर है और आपchat.completionsकॉल कर रहे हैं,responsesनहीं। फिरbroadnet/प्रीफ़िक्स समेत मॉडल ID जाँचें।- नए अकाउंट पर पेड मॉडल फ़ेल होता है। $5 का शुरुआती क्रेडिट BroadNet Gemma 4 VL 26B (
broadnet/gemma-4-26b-a4b) और दोनों BroadNet Transcribe मॉडल को कवर करता है। बाक़ी चैट मॉडल, यानी DeepSeek V4.1 Flash, GLM 5.3 और Qwen3.8 27B, इस्तेमाल करने के लिए टॉप-अप करें। - ख़ाली
content. रीज़निंगmax_tokensमें गिनी जाती है। इसे 1,000 या ज़्यादा करें। जवाब ख़ाली क्यों आते हैं। RateLimitError(429). आपने प्रति मिनट या एक साथ चलने वाले अनुरोधों की लिमिट पार कर दी। SDK डिफ़ॉल्ट रूप से दो बार रीट्राई करता है; इसे बदलने के लिए क्लाइंट परmax_retriesसेट करें।- अपग्रेड के बाद कस्टम HTTP क्लाइंट में एरर। 3.x SDK, HTTPX2 इस्तेमाल करता है। अगर आप अपना
http_clientपास करते हैं, तो SDK की HTTPX2 माइग्रेशन गाइड देखें।
