BroadRouter

LiteLLM को BroadNet Inference पर रूट करें (SDK और प्रॉक्सी)

अपडेट किया गया

LiteLLM में BroadNet मॉडल ID के आगे openai/ लगाएँ, जैसे openai/broadnet/glm-5.3, और api_base को https://inference.broadnet.ai/v1 तथा api_key को अपनी BroadNet key पर सेट करें। प्रॉक्सी में यही वैल्यू config.yaml के litellm_params के नीचे रखें और मॉडल को एक छोटा model_name दें।

LiteLLM कई LLM प्रोवाइडर के लिए एक ही इंटरफ़ेस देता है, Python SDK के रूप में भी और प्रॉक्सी सर्वर के रूप में भी। किसी OpenAI-कम्पैटिबल API तक पहुँचने के लिए इसके डॉक्स दो काम कहते हैं: मॉडल के नाम के आगे openai/ लगाएँ, और api_base सेट करें। BroadNet Inference इसी रूट से चलता है।

1. Python SDK

pip install litellm
export BROADNET_API_KEY='your-broadnet-key'

कोड में max_tokens वाली टिप्पणी याद दिलाती है कि रीज़निंग भी इसी सीमा में गिनी जाती है।

import os
import litellm

response = litellm.completion(
    model="openai/broadnet/glm-5.3",
    api_base="https://inference.broadnet.ai/v1",
    api_key=os.environ["BROADNET_API_KEY"],
    max_tokens=4000,  # reasoning counts toward this
    messages=[{"role": "user", "content": "Name three uses of a bloom filter."}],
)
print(response.choices[0].message.content)

openai/ रूट चुनता है; LiteLLM, BroadNet को broadnet/glm-5.3 भेजता है। base URL में कुछ न जोड़ें; एंडपॉइंट का पाथ LiteLLM का OpenAI क्लाइंट ख़ुद जोड़ता है।

LiteLLM के डॉक्स बताते हैं कि openai रूट आधिकारिक OpenAI Python लाइब्रेरी इस्तेमाल करता है, जिसे हर अनुरोध पर एक API key चाहिए। ऊपर की तरह api_key साफ़-साफ़ पास करें, ताकि LiteLLM कभी उस OPENAI_API_KEY पर न लौटे जो असल में OpenAI के लिए है। रिस्पॉन्स OpenAI के ढाँचे में ही आता है, इसलिए आपके बाक़ी कोड में कोई बदलाव नहीं होता।

प्रॉक्सी कब इस्तेमाल करें

एक Python ऐप के अंदर SDK काफ़ी है। प्रॉक्सी तब काम आता है जब कई ऐप या कई भाषाओं को वही मॉडल चाहिए: सब छोटे मॉडल नामों के साथ एक ही OpenAI-स्टाइल एंडपॉइंट को कॉल करते हैं, और प्रॉक्सी BroadNet key रखता है, रेट लिमिट लागू करता है और usage लॉग करता है। तब आपके ऐप को BroadNet के लिए कोई अलग सेटिंग नहीं चाहिए।

2. प्रॉक्सी सर्वर

प्रॉक्सी वाले extras इंस्टॉल करें और config.yaml लिखें:

pip install 'litellm[proxy]'
model_list:
  - model_name: glm
    litellm_params:
      model: openai/broadnet/glm-5.3
      api_base: https://inference.broadnet.ai/v1
      api_key: os.environ/BROADNET_API_KEY_GLM
      rpm: 30
  - model_name: deepseek-flash
    litellm_params:
      model: openai/broadnet/deepseek-v4.1-flash
      api_base: https://inference.broadnet.ai/v1
      api_key: os.environ/BROADNET_API_KEY_DEEPSEEK
      rpm: 30
  - model_name: qwen
    litellm_params:
      model: openai/broadnet/qwen3.8-27b
      api_base: https://inference.broadnet.ai/v1
      api_key: os.environ/BROADNET_API_KEY_QWEN
      rpm: 30

general_settings:
  master_key: os.environ/LITELLM_MASTER_KEY

इसे शुरू करें और किसी भी OpenAI एंडपॉइंट की तरह कॉल करें (curl वाली कमांड दूसरे टर्मिनल में चलाएँ):

litellm --config config.yaml

# in a second terminal
curl http://localhost:4000/chat/completions \
  -H "Authorization: Bearer $LITELLM_MASTER_KEY" \
  -H "Content-Type: application/json" \
  -d '{"model": "glm", "messages": [{"role": "user", "content": "Hello"}]}'

os.environ/BROADNET_API_KEY_GLM से LiteLLM वह key एनवायरनमेंट से पढ़ता है। हर एंट्री अपनी अलग BroadNet उपयोग के अनुसार भुगतान वाली key इस्तेमाल करती है, इसलिए rpm: 30, जो LiteLLM की वैकल्पिक प्रति-डिप्लॉयमेंट रेट लिमिट है, हर key की लिमिट से मेल खाता है। अगर कई एंट्री एक ही key शेयर करती हैं, तो वे वही एक लिमिट भी शेयर करती हैं, इसलिए संख्या को उनके बीच बाँट दें। master_key से प्रॉक्सी हर कॉल पर key माँगता है; LiteLLM के डॉक्स कहते हैं कि यह sk- से शुरू होनी चाहिए। प्रॉक्सी शुरू करने से पहले LITELLM_MASTER_KEY एक्सपोर्ट करें।

कौन-सा मॉडल चुनें

model_name BroadNet मॉडल इस्तेमाल
glm GLM 5.3 टूल, स्ट्रक्चर्ड आउटपुट, 1M कॉन्टेक्स्ट
deepseek-flash DeepSeek V4.1 Flash लंबा कॉन्टेक्स्ट; अनलिमिटेड प्लान वाला मॉडल
qwen Qwen3.8 27B इमेज, टूल, अरबी
(ज़रूरत हो तो जोड़ें) Gemma 4 VL 26B कम प्रति-टोकन कीमत; $5 क्रेडिट पर चलता है

कीमतें प्राइसिंग पेज पर हैं। अगर आप किसी दूसरे गेटवे से आ रहे हैं, तो माइग्रेशन चेकलिस्ट बताती है कि क्या टेस्ट करना है।

समस्या का समाधान

  • 401. BroadNet key ग़लत है, एक्सपायर हो गई है, या उसका उपयोग के अनुसार भुगतान वाला अलाउंस ख़त्म हो गया है। अगर 401 ख़ुद प्रॉक्सी से आ रहा है, तो इसके बजाय आपने जो LiteLLM key भेजी है उसे जाँचें।
  • Not Found. पक्का करें कि api_base, /v1 समेत https://inference.broadnet.ai/v1 है। base URL सही हो, तो जाँचें कि openai/ के बाद का मॉडल ID, BroadNet के ID से हूबहू मिलता है।
  • नए अकाउंट पर मॉडल अस्वीकार होता है. GLM 5.3, Qwen3.8 27B और DeepSeek V4.1 Flash के लिए पहले टॉप-अप चाहिए; $5 क्रेडिट सिर्फ़ broadnet/gemma-4-26b-a4b और दो Transcribe मॉडल को कवर करता है।
  • ख़ाली content. रीज़निंग, max_tokens में गिनी जाती है। इसे बढ़ाएँ या reasoning_effort="low" भेजें। जवाब ख़ाली क्यों आते हैं।
  • 429. उपयोग के अनुसार भुगतान वाली key प्रति मिनट 30 अनुरोध और एक साथ 4 अनुरोध की अनुमति देती है। LiteLLM का rpm पहली सीमा में मदद करता है; हर key पर एक साथ कॉल करने वाले 4 या उससे कम रखें। एरर और रीट्राई देखें।
  • प्लान key पर पैरेलल एजेंट. एक प्लान सेशन एक समय में एक अनुरोध चलाता है। एक ही सेशन पर प्रॉक्सी से कई एजेंट चलाने पर वे कतार में लगते हैं; हर पैरेलल एजेंट के लिए एक सेशन ख़रीदें।

अक्सर पूछे जाने वाले सवाल

LiteLLM, Not Found एरर क्यों लौटाता है?

LiteLLM के डॉक्स कहते हैं कि पक्का करें कि api_base के अंत में /v1 हो। https://inference.broadnet.ai/v1 इस्तेमाल करें और /chat/completions न जोड़ें।

मॉडल का नाम openai/broadnet/glm-5.3 क्यों है?

openai/ प्रीफ़िक्स LiteLLM को बताता है कि OpenAI जैसे /chat/completions एंडपॉइंट को कॉल करना है। LiteLLM प्रीफ़िक्स से रूट चुनता है और बाक़ी हिस्सा, broadnet/glm-5.3, भेजता है, जो BroadNet का मॉडल ID है।

क्या मैं BroadNet अनलिमिटेड प्लान की key किसी साझा LiteLLM प्रॉक्सी के पीछे रख सकता हूँ?

प्लान key न शेयर की जा सकती हैं, न दोबारा बेची जा सकती हैं, और एक सेशन एक समय में एक अनुरोध चलाता है। इन्हें अपने ख़ुद के एजेंट के लिए इस्तेमाल करें। टीम के प्रॉक्सी के लिए उपयोग के अनुसार भुगतान वाली key लें।

क्या BroadNet को कॉल करने के लिए LiteLLM को OPENAI_API_KEY चाहिए?

openai रूट को हर अनुरोध पर एक key चाहिए, api_key से या OPENAI_API_KEY से। अपनी BroadNet key को api_key के रूप में पास करें, या प्रॉक्सी में os.environ/BROADNET_API_KEY लिखें, ताकि LiteLLM असली OpenAI key, BroadNet को न भेजे।

Markdown में पढ़ेंChatGPT से पूछेंClaude से पूछेंPerplexity से पूछें