---
title: "कस्टम api_base के साथ LlamaIndex OpenAILike | BroadRouter"
description: "OpenAILike क्लास से LlamaIndex को BroadNet Inference से जोड़ें, और api_base, context_window, is_chat_model और is_function_calling_model सही सेट करें।"
url: https://broadrouter.com/hi/guides/llamaindex-openailike/
lang: hi
updated: 2026-11-16
publisher: BroadRouter (a BroadNet site); API by BroadNet Inference, https://inference.broadnet.ai
---

यह पेज अंग्रेज़ी से AI की मदद से अनुवाद किया गया है। [अंग्रेज़ी मूल पढ़ें](https://broadrouter.com/guides/llamaindex-openailike/) (2026-11-16 को अपडेट किया गया).

# OpenAILike के ज़रिए BroadNet Inference के साथ LlamaIndex

अपडेट किया गया 2026-11-16

llama-index-llms-openai-like इंस्टॉल करें और OpenAILike बनाएँ: model में broadnet/glm-5.3 जैसा BroadNet ID, api\_base में https://inference.broadnet.ai/v1, अपनी BroadNet key, context\_window में मॉडल का असली कॉन्टेक्स्ट, is\_chat\_model=True, और is\_function\_calling\_model=True सिर्फ़ GLM 5.3 या Qwen3.8 27B के लिए। इसे हर जगह इस्तेमाल करने के लिए Settings.llm बनाएँ।

LlamaIndex, RAG और एजेंट के लिए एक Python फ़्रेमवर्क है। OpenAI के अलावा किसी भी OpenAI-compatible API के लिए यह `OpenAILike` क्लास देता है। BroadNet Inference `https://inference.broadnet.ai/v1` पर स्टैंडर्ड chat completions देता है। BroadRouter, BroadNet की अपनी साइट है; यह गाइड `llama-index-llms-openai-like` 0.9.0 के LlamaIndex API रेफ़रंस के अनुसार है।

## इंस्टॉल करें

```bash
pip install llama-index-llms-openai-like
export BROADNET_API_KEY='your-broadnet-key'
```

## कनेक्ट करें और टेस्ट करें

```python
import os
from llama_index.llms.openai_like import OpenAILike

llm = OpenAILike(
    model="broadnet/glm-5.3",
    api_base="https://inference.broadnet.ai/v1",
    api_key=os.environ["BROADNET_API_KEY"],
    context_window=1048576,
    is_chat_model=True,
    is_function_calling_model=True,
    max_tokens=2000,  # reasoning counts toward this limit
)

print(llm.complete("Name three uses for a vector index."))
```

जवाब प्रिंट हो, तो key, URL और मॉडल ID सही हैं।

## चार ज़रूरी सेटिंग

| पैरामीटर | क्या सेट करें | न सेट करें तो डिफ़ॉल्ट |
| --- | --- | --- |
| `is_chat_model` | `True` | `False`, जो पुराना completions एंडपॉइंट इस्तेमाल करता है; BroadNet chat completions देता है |
| `context_window` | मॉडल का असली कॉन्टेक्स्ट | 3,900 टोकन |
| `is_function_calling_model` | `True` सिर्फ़ GLM 5.3 या Qwen3.8 27B के लिए | `False` |
| `max_tokens` | 1,000 या ज़्यादा | None (भेजा नहीं जाता, इसलिए सर्वर तय करता है) |

सबसे अहम `is_chat_model` है। API रेफ़रंस कहता है कि यह “controls whether the model uses the chat or completion endpoint” (अनुवाद: तय करता है कि मॉडल chat एंडपॉइंट इस्तेमाल करे या completion एंडपॉइंट), और इसका डिफ़ॉल्ट false है। BroadNet के डॉक्स `/v1/chat/completions` सूचीबद्ध करते हैं, पुराना completions एंडपॉइंट नहीं।

## पूरे ऐप में इस्तेमाल करें

```python
from llama_index.core import Settings

Settings.llm = llm
```

इसके बाद query engine, chat engine और एजेंट BroadNet इस्तेमाल करते हैं। Embeddings अलग हैं: BroadNet का API रेफ़रंस कोई embeddings एंडपॉइंट सूचीबद्ध नहीं करता, इसलिए इंडेक्सिंग के लिए कोई दूसरा embedding मॉडल रखें।

## कॉन्टेक्स्ट विंडो

| मॉडल | ID | `context_window` | टूल |
| --- | --- | --- | --- |
| GLM 5.3 | `broadnet/glm-5.3` | 1048576 | हाँ |
| DeepSeek V4.1 Flash | `broadnet/deepseek-v4.1-flash` | 1048576 | सूचीबद्ध नहीं |
| Qwen3.8 27B | `broadnet/qwen3.8-27b` | 262144 | हाँ |
| BroadNet Gemma 4 VL 26B | `broadnet/gemma-4-26b-a4b` | 32768 | सूचीबद्ध नहीं |

1M टोकन के कॉन्टेक्स्ट से query engine हर कॉल में कहीं ज़्यादा रिट्रीव किए गए chunk भेज सकता है। यह हमेशा बेहतर नहीं होता; [long context बनाम RAG](https://broadrouter.com/hi/blog/long-context-vs-rag/) देखें।

## समस्या का समाधान

-   **401.** key ग़लत है, एक्सपायर हो गई है, या उसका अलाउंस ख़त्म हो गया है।
-   **404.** `api_base` के अंत में `/v1` होना चाहिए, और `is_chat_model` `True` होना चाहिए। फिर मॉडल ID जाँचें। पेड मॉडल के लिए टॉप-अप चाहिए; $5 क्रेडिट पर सिर्फ़ `broadnet/gemma-4-26b-a4b` और दो Transcribe मॉडल चलते हैं।
-   **ख़ाली जवाब.** आउटपुट बजट रीज़निंग में ख़र्च हो गया। `max_tokens` बढ़ाएँ। [जवाब ख़ाली क्यों आते हैं](https://broadrouter.com/hi/guides/reasoning-tokens-empty-response/)।
-   **एजेंट कभी टूल कॉल नहीं करता.** `is_function_calling_model=True` सेट करें और `broadnet/glm-5.3` या `broadnet/qwen3.8-27b` इस्तेमाल करें।
-   **इन्जेशन या बैच क्वेरी के दौरान 429.** उपयोग के अनुसार भुगतान वाली key प्रति मिनट 30 अनुरोध और एक साथ 4 चालू अनुरोध की अनुमति देती है। OpenAILike डिफ़ॉल्ट रूप से 3 बार रीट्राई करता है (`max_retries`)। [एरर और रीट्राई](https://broadrouter.com/hi/guides/errors-and-retries/) देखें।

## इस गाइड के शब्द

[एम्बेडिंग (embeddings)](https://broadrouter.com/hi/glossary/embeddings/)

एम्बेडिंग, फ़्लोटिंग-पॉइंट संख्याओं की सूचियाँ (वेक्टर) हैं जो कोई मॉडल टेक्स्ट, इमेज या दूसरे इनपुट को दर्शाने के लिए बनाता है। मिलते-जुलते अर्थ वाले इनपुट के वेक्टर पास-पास होते हैं, इसलिए वेक्टर के बीच की दूरी से सर्च नतीजों की रैंकिंग, दस्तावेज़ों का समूह बनाना या जुड़ी चीज़ें ढूँढना संभव होता है।

[उपयोग के अनुसार भुगतान (pay-as-you-go)](https://broadrouter.com/hi/glossary/pay-as-you-go/)

उपयोग के अनुसार भुगतान (pay-as-you-go) एक प्राइसिंग मॉडल है जिसमें आप सिर्फ़ उतना देते हैं जितना इस्तेमाल करते हैं, जिसे टोकन, अनुरोध या ऑडियो मिनट जैसी इकाइयों में मापा जाता है, बिना सब्सक्रिप्शन या न्यूनतम प्रतिबद्धता के। ज़्यादातर LLM API इसी तरह बिल बनाते हैं, प्रीपेड बैलेंस या समय-समय पर बनने वाले इनवॉइस से।

[AI एजेंट (AI agent)](https://broadrouter.com/hi/glossary/agent/)

AI एजेंट ऐसा सिस्टम है जिसमें लैंग्वेज मॉडल किसी लक्ष्य की ओर अपने क़दम ख़ुद तय करता है: कौन-से टूल कॉल करने हैं, चुनता है, नतीजे पढ़ता है और अंतिम जवाब या किसी सीमा तक दोहराता रहता है। तय बिंदुओं पर मॉडल को कॉल करने वाली स्क्रिप्ट को आम तौर पर workflow कहते हैं।

[कॉन्करेंसी (concurrency)](https://broadrouter.com/hi/glossary/concurrency/)

कॉन्करेंसी, किसी क्लाइंट के एक ही समय पर चल रहे (in-flight) अनुरोधों की संख्या है। LLM API अक्सर इसकी सीमा हर key या प्लान पर, प्रति मिनट अनुरोधों से अलग रखते हैं, क्योंकि हर खुला अनुरोध जवाब पूरा होने तक GPU क्षमता घेरे रहता है।

[टोकन (token)](https://broadrouter.com/hi/glossary/token/)

टोकन टेक्स्ट की वह इकाई है जिसे लैंग्वेज मॉडल पढ़ता और लिखता है: कोई शब्द, शब्द का हिस्सा, विराम चिह्न या बाइट का क्रम, जो मॉडल का टोकनाइज़र बनाता है। LLM API इस्तेमाल को टोकन में गिनते हैं, उसी में लिमिट लगाते हैं और आम तौर पर बिल भी बनाते हैं।

[Chat Completions API](https://broadrouter.com/hi/glossary/chat-completions-api/)

Chat Completions API, OpenAI का HTTP एंडपॉइंट POST /v1/chat/completions है, जो एक मॉडल का नाम और रोल वाले मैसेज की सूची लेता है और मॉडल का अगला मैसेज लौटाता है। इसके अनुरोध और जवाब का ढाँचा वह आम फ़ॉर्मैट बन गया जिसे OpenAI-कम्पैटिबल प्रोवाइडर और SDK अपनाते हैं।

[RAG (retrieval-augmented generation)](https://broadrouter.com/hi/glossary/rag/)

RAG (retrieval-augmented generation) एक पैटर्न है जिसमें ऐप्लिकेशन पहले किसी बाहरी स्टोर, जैसे सर्च या वेक्टर इंडेक्स, से सवाल से जुड़े हिस्से निकालता है, और फिर उन्हें प्रॉम्प्ट में जोड़ता है, ताकि लैंग्वेज मॉडल सिर्फ़ अपनी याददाश्त के बजाय उस टेक्स्ट से जवाब दे सके।

[कॉन्टेक्स्ट विंडो (context window)](https://broadrouter.com/hi/glossary/context-window/)

कॉन्टेक्स्ट विंडो टोकन की वह अधिकतम संख्या है जिसके साथ लैंग्वेज मॉडल एक अनुरोध में काम कर सकता है। इसमें प्रॉम्प्ट, बातचीत का इतिहास, टूल डेफ़िनिशन, इमेज और जनरेट हुआ आउटपुट, रीज़निंग टोकन समेत, सब आता है। जो इसमें न समाए, उसे काटना, सारांश बनाना या कई अनुरोधों में बाँटना पड़ता है।

## अक्सर पूछे जाने वाले सवाल

### LlamaIndex की OpenAI क्लास को अलग api\_base के साथ क्यों न इस्तेमाल करें?

LlamaIndex का अपना OpenAI पेज कहता है कि आधिकारिक OpenAI API के अलावा किसी भी OpenAI-compatible API के लिए OpenAILike इंटीग्रेशन इस्तेमाल करें। OpenAILike में आप कॉन्टेक्स्ट विंडो और टूल सपोर्ट भी ख़ुद बता सकते हैं।

### context\_window छोड़ दूँ तो क्या होगा?

OpenAILike का डिफ़ॉल्ट 3,900 टोकन है, इसलिए LlamaIndex प्रॉम्प्ट और रिट्रीव किए गए chunk को BroadNet के मॉडल की क्षमता से बहुत कम पर काट देता है। GLM 5.3 और DeepSeek V4.1 Flash के लिए 1048576, या Qwen3.8 27B के लिए 262144 सेट करें।

### क्या LlamaIndex का FunctionAgent BroadNet इस्तेमाल कर सकता है?

हाँ, is\_function\_calling\_model=True के साथ, उस मॉडल पर जिसके लिए BroadNet टूल सूचीबद्ध करता है: GLM 5.3 या Qwen3.8 27B। DeepSeek V4.1 Flash के लिए इसे False रखें, क्योंकि BroadNet के डॉक्स उसके लिए टूल कॉलिंग सूचीबद्ध नहीं करते।

### क्या BroadNet, LlamaIndex इंडेक्स के लिए embeddings देता है?

BroadNet का API रेफ़रंस chat completions और ऑडियो ट्रांसक्रिप्शन सूचीबद्ध करता है, embeddings नहीं। इंडेक्स के लिए अलग embedding मॉडल और LLM के लिए BroadNet इस्तेमाल करें।

## संबंधित गाइड

-   [BroadNet Inference के साथ LangChain इस्तेमाल करें](https://broadrouter.com/hi/guides/langchain-openai-base-url/)
-   [BroadNet Inference के साथ Pydantic AI (OpenAICompatibleProvider)](https://broadrouter.com/hi/guides/pydantic-ai-openai-compatible/)
-   [BroadNet Inference के साथ OpenAI Python SDK इस्तेमाल करें](https://broadrouter.com/hi/guides/openai-python-sdk/)
-   [रीज़निंग मॉडल ख़ाली जवाब क्यों लौटाता है](https://broadrouter.com/hi/guides/reasoning-tokens-empty-response/)
-   [BroadNet Inference के साथ काम करने वाले सभी टूल (अंग्रेज़ी में)](https://broadrouter.com/integrations/): SDK, कोडिंग एजेंट, चैट UI और ऑटोमेशन टूल, हर एक की सटीक सेटिंग के साथ

इसे अपने असली वर्कलोड पर आज़माएँ। नए अकाउंट Gemma और ट्रांसक्रिप्शन के लिए US$5 के क्रेडिट से शुरू होते हैं। DeepSeek, GLM, और Qwen3.8 के लिए टॉप-अप ज़रूरी है।

[शुरू करें](https://inference.broadnet.ai/account/?utm_source=broadrouter&utm_medium=referral&utm_campaign=hi-guides-llamaindex-openailike&utm_content=page-cta) ·

**स्रोत**

-   [LlamaIndex API रेफ़रंस, OpenAILike (2026-11-15 को जाँचा गया)](https://developers.llamaindex.ai/python/framework-api-reference/llms/openai_like/)
-   [LlamaIndex डॉक्स, OpenAILike का उदाहरण (Grok इंटीग्रेशन पेज) (2026-11-15 को जाँचा गया)](https://developers.llamaindex.ai/python/framework/integrations/llm/grok/)
-   [LlamaIndex डॉक्स, OpenAI LLM पेज (compatible API के लिए OpenAILike सुझाता है) (2026-11-15 को जाँचा गया)](https://developers.llamaindex.ai/python/framework/integrations/llm/openai/)
-   [PyPI, llama-index-llms-openai-like 0.9.0, Python 3.11+ (2026-11-15 को जाँचा गया)](https://pypi.org/project/llama-index-llms-openai-like/)
-   [LlamaIndex सोर्स, OpenAI LLM का max\_tokens डिफ़ॉल्ट और पेलोड (2026-11-16 को जाँचा गया)](https://github.com/run-llama/llama_index/blob/main/llama-index-integrations/llms/llama-index-llms-openai/llama_index/llms/openai/base.py)
-   [BroadNet Inference API रेफ़रंस (2026-11-15 को जाँचा गया) (अंग्रेज़ी में)](https://inference.broadnet.ai/docs?utm_source=broadrouter&utm_medium=referral&utm_campaign=hi-guides-llamaindex-openailike&utm_content=sources)
