ज़्यादातर LLM प्रोवाइडर अब OpenAI API फ़ॉर्मैट बोलते हैं। इससे स्विच करना एक लाइन का बदलाव लगता है, और पहला जवाब पाने के लिए है भी। प्रोडक्शन ट्रैफ़िक चलाने के लिए यह सूची पूरी करें। हर बिंदु किसी ऐसे असली तरीक़े से आया है जिससे माइग्रेशन टूटते हैं।
0. आपका ऐप आज क्या-क्या इस्तेमाल करता है?
कुछ भी बदलने से पहले लिख लें कि आपका ऐप किन चीज़ों पर निर्भर है। कोड में SDK की हर कॉल खोजें और उसकी सूची बनाएँ। अगर आप OpenAI का Whisper API कॉल करते हैं, तो ध्यान दें कि OpenAI whisper-1 को 26 फ़रवरी 2027 को बंद होने वाला बताता है; ऑडियो वाला हिस्सा Whisper API के विकल्प में है।
| फ़ीचर | कहाँ देखें | स्विच के बाद टेस्ट |
|---|---|---|
| चैट कम्प्लीशन | हर chat.completions.create |
वही प्रॉम्प्ट, जवाबों की तुलना |
| स्ट्रीमिंग | stream=True |
चंक आते हैं, [DONE] पर ख़त्म, usage मौजूद |
| टूल कॉलिंग | tools= |
टूल कॉल पार्स होकर चलते हैं |
| स्ट्रक्चर्ड आउटपुट | response_format= |
JSON आपके स्कीमा पर वैलिडेट होता है |
| इमेज | मैसेज में इमेज वाले हिस्से | मॉडल उन्हें स्वीकार करता है |
| ऑडियो ट्रांसक्रिप्शन | audio.transcriptions |
टेक्स्ट और भाषा सही |
| Embeddings, फ़ाइलें, बैच | दूसरे एंडपॉइंट | जाँचें कि प्रोवाइडर उन्हें देता भी है या नहीं |
आख़िरी पंक्ति अहम है। “OpenAI-कम्पैटिबल” आम तौर पर सबसे पहले चैट कम्प्लीशन को कवर करता है। BroadNet Inference का कैटलॉग चैट मॉडल को /v1/chat/completions पर और स्पीच-टू-टेक्स्ट मॉडल को /v1/audio/transcriptions पर दिखाता है; अगर आप दूसरे एंडपॉइंट इस्तेमाल करते हैं, तो उन्हें अपने मौजूदा प्रोवाइडर पर रखें या कोई विकल्प ढूँढें।
1. कौन-सी तीन सेटिंग बदलती हैं?
from openai import OpenAI
import os
client = OpenAI(
base_url="https://inference.broadnet.ai/v1",
api_key=os.environ["BROADNET_API_KEY"],
)
base URL सेटिंग का नाम लाइब्रेरी के हिसाब से अलग है: Python SDK और LangChain के ChatOpenAI में base_url, Node.js SDK में baseURL। उसके README के अनुसार Python SDK OPENAI_BASE_URL एनवायरनमेंट वेरिएबल भी पढ़ता है। अपने एनवायरनमेंट में कोई पुरानी वैल्यू तो नहीं बची, यह जाँचें, वरना अनुरोध बिना किसी एरर के पुराने प्रोवाइडर पर जा सकते हैं।
API key एनवायरनमेंट वेरिएबल या सीक्रेट मैनेजर में रखें, कोड में कभी नहीं। हर SDK का सेटअप: Python, Node.js, LangChain। पहला अनुरोध हाथ से बनाकर टेस्ट करने के लिए API रिक्वेस्ट बिल्डर इस्तेमाल करें। मौजूदा कोड में base URL, key और मॉडल के बदलाव लगाने के लिए उसे OpenAI से BroadNet माइग्रेशन हेल्पर में पेस्ट करें, जो यह भी बताता है कि क्या-क्या जाँचना है।
2. नए मॉडल ID क्या हैं?
हर प्रोवाइडर मॉडल को अपने तरीक़े से नाम देता है। BroadNet Inference पर:
| मॉडल | ID |
|---|---|
| DeepSeek V4.1 Flash | broadnet/deepseek-v4.1-flash |
| GLM 5.3 | broadnet/glm-5.3 |
| Qwen3.8 27B | broadnet/qwen3.8-27b |
| Gemma 4 VL 26B | broadnet/gemma-4-26b-a4b |
मॉडल ID को कोड में नहीं, कॉन्फ़िगरेशन में रखें, ताकि बाद में बदलना एक डिप्लॉय हो, दोबारा लिखना नहीं। हर मॉडल की सीमाएँ और कीमतें उसके पेज पर हैं: DeepSeek V4.1 Flash, GLM 5.3, Qwen3.8 27B और Gemma 4 VL 26B।
3. स्विच करने के बाद जवाब ख़ाली क्यों आते हैं?
यह सबसे आम हैरानी है। DeepSeek V4.1 Flash, GLM 5.3 और Qwen3.8 27B जवाब देने से पहले रीज़निंग करते हैं, और रीज़निंग टोकन max_tokens में गिने जाते हैं। 256 की सीमा, जो किसी नॉन-रीज़निंग मॉडल पर ठीक चलती थी, पूरी की पूरी सोचने में ख़र्च हो सकती है, और जवाब ख़ाली आता है। 1,000 या ज़्यादा टोकन छोड़ें, या आसान कामों के लिए reasoning_effort को low पर सेट करें। पूरी व्याख्या।
4. क्या स्ट्रीमिंग अब भी usage बताती है?
स्ट्रीम Server-Sent Events इस्तेमाल करती हैं और data: [DONE] पर ख़त्म होती हैं। टोकन usage आख़िरी चंक में तभी आता है जब आप माँगें:
stream = client.chat.completions.create(
model="broadnet/deepseek-v4.1-flash", messages=messages,
stream=True, stream_options={"include_usage": True},
)
इसके बिना आपका लागत डैशबोर्ड शून्य दिखाता है। अगर कोई स्ट्रीम [DONE] से पहले ख़त्म हो जाए, तो उसे अधूरा मानें। स्ट्रीमिंग गाइड।
5. किन एरर पर रीट्राई करना चाहिए?
| स्टेटस | मतलब | क्या करें |
|---|---|---|
| 401 | ग़लत या रद्द की गई key, या उपयोग के अनुसार भुगतान की सीमा ख़त्म | ठीक करें, रीट्राई नहीं |
| 402 | बैलेंस या बजट | टॉप-अप करें, रीट्राई नहीं |
| 403 | मॉडल, रूट या IP पॉलिसी ने मना किया | बेमेल चीज़ ठीक करें |
| 413 | अनुरोध बहुत बड़ा | छोटा करें, रीट्राई नहीं |
| 429 | रेट, कॉन्करेंसी या ख़र्च की सीमा | रुककर रीट्राई करें |
| 5xx | सर्वर की तरफ़ | सीमित backoff के साथ रीट्राई |
आधिकारिक Python SDK कुछ एरर पर पहले से रीट्राई करता है: उसका README कहता है कि कनेक्शन एरर, 408, 409, 429 और 5xx रिस्पॉन्स डिफ़ॉल्ट रूप से दो बार छोटे exponential backoff के साथ रीट्राई होते हैं। max_retries साफ़-साफ़ सेट करें, ताकि यह व्यवहार आपका फ़ैसला हो, डिफ़ॉल्ट नहीं। हर रिस्पॉन्स का रिक्वेस्ट ID लॉग करें ताकि सपोर्ट किसी समस्या को ट्रेस कर सके। सारे कोड।
6. नई रेट लिमिट क्या हैं?
ट्रैफ़िक आने से पहले नई सीमाएँ जान लें। BroadNet की उपयोग के अनुसार भुगतान वाली key प्रति मिनट 30 अनुरोध और 4 चालू अनुरोध की अनुमति देती है। अनलिमिटेड प्लान हर सेशन में एक समय में एक अनुरोध चलाते हैं। अपने वर्कर पूल का आकार उसी हिसाब से रखें, वरना पहले ही दिन 429 दिखेंगे; रेट लिमिट कैलकुलेटर आकार तय करने में मदद करता है। समानांतर एजेंट के लिए आकार तय करना।
7. क्या आपके प्रॉम्प्ट अब भी फ़िट होंगे?
कॉन्टेक्स्ट विंडो जाँचें: DeepSeek V4.1 Flash और GLM 5.3 पर 1,048,576 टोकन, Qwen3.8 27B पर 262,144, Gemma 4 VL 26B पर 32,768। जो प्रॉम्प्ट आपके पुराने मॉडल में फ़िट होता था, वह छोटी विंडो में शायद फ़िट न हो; कॉन्टेक्स्ट विंडो कैलकुलेटर से जाँचें। कैश्ड इनपुट की कीमत का फ़ायदा लेने के लिए प्रॉम्प्ट का स्थिर हिस्सा पहले रखें।
8. key और डेटा रिटेंशन का क्या?
प्रोडक्शन key को IP allow-list से अपने सर्वरों के IP तक सीमित करें। नए प्रोवाइडर से पूछें कि वह क्या रखता है; देखें ZDR चेकलिस्ट।
9. सुरक्षित तरीक़े से कैसे स्विच करें?
- एक दिन के असली अनुरोधों की कॉपी दोनों प्रोवाइडरों को भेजें।
- एक सैंपल पर जवाबों की तुलना करें, साथ में लेटेंसी, एरर और प्रति अनुरोध लागत।
- 10% ट्रैफ़िक ले जाएँ, एक दिन नज़र रखें, फिर बाक़ी ले जाएँ।
- पुराने प्रोवाइडर को एक हफ़्ते तक फ़ॉलबैक के रूप में कॉन्फ़िगर रखें।
अगर आप कई सर्विस चलाते हैं, तो LiteLLM जैसा प्रॉक्सी आपको हर ऐप के बजाय एक ही जगह प्रोवाइडर बदलने देता है।
माइग्रेशन की आम ग़लतियाँ क्या हैं?
- base URL में
/v1का न होना। अनुरोध 404 लौटाते हैं। पूरा URL इस्तेमाल करें। - कॉन्फ़िग में पुराने मॉडल नाम। नया प्रोवाइडर उन्हें नहीं पहचानता।
- अनुरोधों में प्रोवाइडर-विशेष फ़ील्ड छूट जाना। जो फ़ील्ड सिर्फ़ पुराना प्रोवाइडर समझता था, वे अस्वीकार या अनदेखे हो सकते हैं। सामान्य क्लाइंट से उन्हें हटा दें।
- सिर्फ़ एक प्रॉम्प्ट टेस्ट करना। चरण 0 वाली सूची फ़ीचर-दर-फ़ीचर चलाएँ।
- शुक्रवार को स्विच करना। असली ट्रैफ़िक का एक पूरा दिन देखने का समय छोड़ें।
BroadNet Inference कहाँ फ़िट होता है
BroadNet Inference उन ऐप के लिए सीधा विकल्प है जो OpenAI SDK के ज़रिए चैट कम्प्लीशन और ऑडियो ट्रांसक्रिप्शन इस्तेमाल करते हैं: तीन सेटिंग बदलें और ऊपर की सूची पूरी करें। इसके कैटलॉग में सिर्फ़ चैट और स्पीच-टू-टेक्स्ट मॉडल हैं, इसलिए अगर आप embeddings या फ़ाइल स्टोरेज जैसे दूसरे एंडपॉइंट पर निर्भर हैं, तो उन्हें किसी दूसरे प्रोवाइडर के पास रखें। नए अकाउंट $5 के क्रेडिट से शुरू होते हैं। चैट मॉडल में से सिर्फ़ Gemma 4 VL 26B इस पर चलता है (यह दोनों Transcribe मॉडल को भी कवर करता है), इसलिए DeepSeek, GLM या Qwen पर शैडो टेस्ट के लिए टॉप-अप चाहिए।
