BroadRouter

OpenAILike के ज़रिए BroadNet Inference के साथ LlamaIndex

अपडेट किया गया

llama-index-llms-openai-like इंस्टॉल करें और OpenAILike बनाएँ: model में broadnet/glm-5.3 जैसा BroadNet ID, api_base में https://inference.broadnet.ai/v1, अपनी BroadNet key, context_window में मॉडल का असली कॉन्टेक्स्ट, is_chat_model=True, और is_function_calling_model=True सिर्फ़ GLM 5.3 या Qwen3.8 27B के लिए। इसे हर जगह इस्तेमाल करने के लिए Settings.llm बनाएँ।

LlamaIndex, RAG और एजेंट के लिए एक Python फ़्रेमवर्क है। OpenAI के अलावा किसी भी OpenAI-compatible API के लिए यह OpenAILike क्लास देता है। BroadNet Inference https://inference.broadnet.ai/v1 पर स्टैंडर्ड chat completions देता है। BroadRouter, BroadNet की अपनी साइट है; यह गाइड llama-index-llms-openai-like 0.9.0 के LlamaIndex API रेफ़रंस के अनुसार है।

इंस्टॉल करें

pip install llama-index-llms-openai-like
export BROADNET_API_KEY='your-broadnet-key'

कनेक्ट करें और टेस्ट करें

import os
from llama_index.llms.openai_like import OpenAILike

llm = OpenAILike(
    model="broadnet/glm-5.3",
    api_base="https://inference.broadnet.ai/v1",
    api_key=os.environ["BROADNET_API_KEY"],
    context_window=1048576,
    is_chat_model=True,
    is_function_calling_model=True,
    max_tokens=2000,  # reasoning counts toward this limit
)

print(llm.complete("Name three uses for a vector index."))

जवाब प्रिंट हो, तो key, URL और मॉडल ID सही हैं।

चार ज़रूरी सेटिंग

पैरामीटर क्या सेट करें न सेट करें तो डिफ़ॉल्ट
is_chat_model True False, जो पुराना completions एंडपॉइंट इस्तेमाल करता है; BroadNet chat completions देता है
context_window मॉडल का असली कॉन्टेक्स्ट 3,900 टोकन
is_function_calling_model True सिर्फ़ GLM 5.3 या Qwen3.8 27B के लिए False
max_tokens 1,000 या ज़्यादा None (भेजा नहीं जाता, इसलिए सर्वर तय करता है)

सबसे अहम is_chat_model है। API रेफ़रंस कहता है कि यह “controls whether the model uses the chat or completion endpoint” (अनुवाद: तय करता है कि मॉडल chat एंडपॉइंट इस्तेमाल करे या completion एंडपॉइंट), और इसका डिफ़ॉल्ट false है। BroadNet के डॉक्स /v1/chat/completions सूचीबद्ध करते हैं, पुराना completions एंडपॉइंट नहीं।

पूरे ऐप में इस्तेमाल करें

from llama_index.core import Settings

Settings.llm = llm

इसके बाद query engine, chat engine और एजेंट BroadNet इस्तेमाल करते हैं। Embeddings अलग हैं: BroadNet का API रेफ़रंस कोई embeddings एंडपॉइंट सूचीबद्ध नहीं करता, इसलिए इंडेक्सिंग के लिए कोई दूसरा embedding मॉडल रखें।

कॉन्टेक्स्ट विंडो

मॉडल ID context_window टूल
GLM 5.3 broadnet/glm-5.3 1048576 हाँ
DeepSeek V4.1 Flash broadnet/deepseek-v4.1-flash 1048576 सूचीबद्ध नहीं
Qwen3.8 27B broadnet/qwen3.8-27b 262144 हाँ
BroadNet Gemma 4 VL 26B broadnet/gemma-4-26b-a4b 32768 सूचीबद्ध नहीं

1M टोकन के कॉन्टेक्स्ट से query engine हर कॉल में कहीं ज़्यादा रिट्रीव किए गए chunk भेज सकता है। यह हमेशा बेहतर नहीं होता; long context बनाम RAG देखें।

समस्या का समाधान

  • 401. key ग़लत है, एक्सपायर हो गई है, या उसका अलाउंस ख़त्म हो गया है।
  • 404. api_base के अंत में /v1 होना चाहिए, और is_chat_model True होना चाहिए। फिर मॉडल ID जाँचें। पेड मॉडल के लिए टॉप-अप चाहिए; $5 क्रेडिट पर सिर्फ़ broadnet/gemma-4-26b-a4b और दो Transcribe मॉडल चलते हैं।
  • ख़ाली जवाब. आउटपुट बजट रीज़निंग में ख़र्च हो गया। max_tokens बढ़ाएँ। जवाब ख़ाली क्यों आते हैं।
  • एजेंट कभी टूल कॉल नहीं करता. is_function_calling_model=True सेट करें और broadnet/glm-5.3 या broadnet/qwen3.8-27b इस्तेमाल करें।
  • इन्जेशन या बैच क्वेरी के दौरान 429. उपयोग के अनुसार भुगतान वाली key प्रति मिनट 30 अनुरोध और एक साथ 4 चालू अनुरोध की अनुमति देती है। OpenAILike डिफ़ॉल्ट रूप से 3 बार रीट्राई करता है (max_retries)। एरर और रीट्राई देखें।

अक्सर पूछे जाने वाले सवाल

LlamaIndex की OpenAI क्लास को अलग api_base के साथ क्यों न इस्तेमाल करें?

LlamaIndex का अपना OpenAI पेज कहता है कि आधिकारिक OpenAI API के अलावा किसी भी OpenAI-compatible API के लिए OpenAILike इंटीग्रेशन इस्तेमाल करें। OpenAILike में आप कॉन्टेक्स्ट विंडो और टूल सपोर्ट भी ख़ुद बता सकते हैं।

context_window छोड़ दूँ तो क्या होगा?

OpenAILike का डिफ़ॉल्ट 3,900 टोकन है, इसलिए LlamaIndex प्रॉम्प्ट और रिट्रीव किए गए chunk को BroadNet के मॉडल की क्षमता से बहुत कम पर काट देता है। GLM 5.3 और DeepSeek V4.1 Flash के लिए 1048576, या Qwen3.8 27B के लिए 262144 सेट करें।

क्या LlamaIndex का FunctionAgent BroadNet इस्तेमाल कर सकता है?

हाँ, is_function_calling_model=True के साथ, उस मॉडल पर जिसके लिए BroadNet टूल सूचीबद्ध करता है: GLM 5.3 या Qwen3.8 27B। DeepSeek V4.1 Flash के लिए इसे False रखें, क्योंकि BroadNet के डॉक्स उसके लिए टूल कॉलिंग सूचीबद्ध नहीं करते।

क्या BroadNet, LlamaIndex इंडेक्स के लिए embeddings देता है?

BroadNet का API रेफ़रंस chat completions और ऑडियो ट्रांसक्रिप्शन सूचीबद्ध करता है, embeddings नहीं। इंडेक्स के लिए अलग embedding मॉडल और LLM के लिए BroadNet इस्तेमाल करें।

Markdown में पढ़ेंChatGPT से पूछेंClaude से पूछेंPerplexity से पूछें