---
title: "Haystack OpenAIChatGenerator में कस्टम api_base_url | BroadRouter"
description: "Haystack के OpenAIChatGenerator को api_base_url, BroadNet मॉडल ID और Secret key से BroadNet Inference पर सेट करें: पाइपलाइन, टूल, स्ट्रीमिंग और एजेंट के लिए।"
url: https://broadrouter.com/hi/guides/haystack-openai-compatible/
lang: hi
updated: 2026-11-16
publisher: BroadRouter (a BroadNet site); API by BroadNet Inference, https://inference.broadnet.ai
---

यह पेज अंग्रेज़ी से AI की मदद से अनुवाद किया गया है। [अंग्रेज़ी मूल पढ़ें](https://broadrouter.com/guides/haystack-openai-compatible/) (2026-11-16 को अपडेट किया गया).

# BroadNet Inference के साथ Haystack पाइपलाइन और एजेंट चलाएँ

अपडेट किया गया 2026-11-16

haystack-ai इंस्टॉल करें और OpenAIChatGenerator बनाएँ, जिसमें api\_base\_url हो https://inference.broadnet.ai/v1, api\_key हो BROADNET\_API\_KEY से पढ़ा गया Secret, और model हो broadnet/glm-5.3 जैसा BroadNet ID। इसे पाइपलाइन में या Haystack Agent में इस्तेमाल करें। max\_tokens को generation\_kwargs में दें, और जब जनरेटर के पास टूल हों तो GLM 5.3 या Qwen3.8 27B इस्तेमाल करें।

Haystack, deepset का RAG पाइपलाइन और एजेंट के लिए ओपन-सोर्स फ़्रेमवर्क है। इसका `OpenAIChatGenerator` किसी भी OpenAI-कम्पैटिबल सर्वर से `api_base_url` के ज़रिए बात करता है। BroadNet Inference `https://inference.broadnet.ai/v1` पर स्टैंडर्ड chat completions देता है, इसलिए यही कंपोनेंट इस्तेमाल करें। BroadRouter, BroadNet की अपनी साइट है। यह गाइड Haystack 3.5 के डॉक्स के अनुसार है।

## इंस्टॉल करें

```bash
pip install haystack-ai
export BROADNET_API_KEY='your-broadnet-key'
```

## कनेक्ट करें

```python
from haystack.components.generators.chat import OpenAIChatGenerator
from haystack.dataclasses import ChatMessage
from haystack.utils import Secret

generator = OpenAIChatGenerator(
    api_base_url="https://inference.broadnet.ai/v1",
    api_key=Secret.from_env_var("BROADNET_API_KEY"),
    model="broadnet/glm-5.3",
    generation_kwargs={"max_tokens": 4000},
)

reply = generator.run([ChatMessage.from_user("Name three uses of a RAG pipeline.")])
print(reply["replies"][0].text)
```

-   **`model`** बिना बदलाव के भेजा जाता है। BroadNet ID उसके `broadnet/` प्रीफ़िक्स के साथ इस्तेमाल करें।
-   **`api_key`** एक Haystack `Secret` है। इसके बिना Haystack `OPENAI_API_KEY` ढूँढता है।
-   **`generation_kwargs`** chat completion अनुरोध में भेजे जाते हैं। `max_tokens` इतना रखें कि रीज़निंग के लिए जगह बचे (नीचे देखें)।

## जवाब स्ट्रीम करें

```python
from haystack.components.generators.utils import print_streaming_chunk

generator = OpenAIChatGenerator(
    api_base_url="https://inference.broadnet.ai/v1",
    api_key=Secret.from_env_var("BROADNET_API_KEY"),
    model="broadnet/glm-5.3",
    streaming_callback=print_streaming_chunk,
)
```

तब Haystack `stream: true` के साथ `stream_options.include_usage` भेजता है, इसलिए टोकन की गिनती आख़िरी चंक में आती है। BroadNet के डॉक्स भी यही विकल्प बताते हैं।

## टूल और एजेंट

```python
from haystack.components.agents import Agent
from haystack.tools import Tool

def get_weather(city: str) -> str:
    return f"21C in {city}"

weather = Tool(
    name="get_weather",
    description="Get the weather for a city",
    parameters={"type": "object", "properties": {"city": {"type": "string"}}, "required": ["city"]},
    function=get_weather,
)

chat = OpenAIChatGenerator(
    api_base_url="https://inference.broadnet.ai/v1",
    api_key=Secret.from_env_var("BROADNET_API_KEY"),
    model="broadnet/glm-5.3",
    tools=[weather],
)
agent = Agent(chat_generator=chat, tools=[weather])
result = agent.run(messages=[ChatMessage.from_user("What's the weather in Riyadh?")])
print(result["messages"][-1].text)
```

BroadNet के डॉक्स टूल और स्ट्रक्चर्ड आउटपुट सिर्फ़ `broadnet/glm-5.3` और `broadnet/qwen3.8-27b` के लिए सूचीबद्ध करते हैं। जब तक आपने स्ट्रिक्ट स्कीमा टेस्ट न किए हों, `tools_strict` को उसके डिफ़ॉल्ट `False` पर रहने दें।

## कौन-सा मॉडल चुनें

| पाइपलाइन | मॉडल |
| --- | --- |
| एजेंट और टूल कॉल | `broadnet/glm-5.3` |
| स्कैन किए पन्नों या अरबी टेक्स्ट पर RAG, टूल के साथ | `broadnet/qwen3.8-27b` |
| फ़्लैट कीमत वाले प्लान पर लंबे कॉन्टेक्स्ट वाले जवाब | `broadnet/deepseek-v4.1-flash` |
| मुफ़्त शुरुआती क्रेडिट पर आज़माना | `broadnet/gemma-4-26b-a4b` (32,768 टोकन का कॉन्टेक्स्ट) |

रिट्रीव किया गया कॉन्टेक्स्ट बड़ा हो सकता है। GLM 5.3 और DeepSeek V4.1 Flash 1,048,576 टोकन का कॉन्टेक्स्ट लेते हैं; Gemma का 32,768 जल्दी भर जाता है। [हर मॉडल की कीमतें](https://broadrouter.com/hi/pricing/)।

## हमने इसे कैसे टेस्ट किया

2026-11-15 को हमने एक साफ़ वर्चुअल एनवायरनमेंट में haystack-ai 3.5.0 इंस्टॉल किया और ऊपर के सादे, स्ट्रीमिंग, टूल और Agent उदाहरण एक लोकल मॉक सर्वर पर चलाए, जो BroadNet के chat-completions ढाँचे में जवाब देता है। हमने लॉग किए गए अनुरोध पढ़े। सभी `/v1/chat/completions` पर गए, मॉडल ID बिना बदलाव के, Bearer key, `generation_kwargs` से आया `max_tokens` और, टूल के मामले में, फ़ंक्शन स्कीमा के साथ। Haystack `n: 1` भी भेजता है। हमारे पास BroadNet key नहीं थी, इसलिए हमने असली मॉडल आउटपुट टेस्ट नहीं किया।

## समस्या का समाधान

-   **401.** key ग़लत है, एक्सपायर हो गई है या उसका अलाउंस ख़त्म हो गया है, या पाइपलाइन चलाने वाली प्रोसेस में `BROADNET_API_KEY` सेट नहीं है।
-   **404.** `api_base_url` के अंत में `/v1` होना चाहिए, और मॉडल ID, BroadNet के ID से हूबहू मिलना चाहिए। पेड मॉडल के लिए टॉप-अप चाहिए; $5 क्रेडिट पर सिर्फ़ `broadnet/gemma-4-26b-a4b` और दो Transcribe मॉडल चलते हैं।
-   **ख़ाली जवाब.** DeepSeek V4.1 Flash, GLM 5.3 और Qwen3.8 27B जवाब देने से पहले रीज़निंग करते हैं, और रीज़निंग `max_tokens` में गिनी जाती है। इसे बढ़ाएँ। [जवाब ख़ाली क्यों आते हैं](https://broadrouter.com/hi/guides/reasoning-tokens-empty-response/)।
-   **बैच इंडेक्सिंग या इवैल्युएशन में 429.** उपयोग के अनुसार भुगतान वाली key प्रति मिनट 30 अनुरोध और एक साथ 4 चालू अनुरोध की अनुमति देती है। जनरेटर का `max_retries` इस्तेमाल करें और [एरर और रीट्राई](https://broadrouter.com/hi/guides/errors-and-retries/) देखें।

## इस गाइड के शब्द

[उपयोग के अनुसार भुगतान (pay-as-you-go)](https://broadrouter.com/hi/glossary/pay-as-you-go/)

उपयोग के अनुसार भुगतान (pay-as-you-go) एक प्राइसिंग मॉडल है जिसमें आप सिर्फ़ उतना देते हैं जितना इस्तेमाल करते हैं, जिसे टोकन, अनुरोध या ऑडियो मिनट जैसी इकाइयों में मापा जाता है, बिना सब्सक्रिप्शन या न्यूनतम प्रतिबद्धता के। ज़्यादातर LLM API इसी तरह बिल बनाते हैं, प्रीपेड बैलेंस या समय-समय पर बनने वाले इनवॉइस से।

[टोकन (token)](https://broadrouter.com/hi/glossary/token/)

टोकन टेक्स्ट की वह इकाई है जिसे लैंग्वेज मॉडल पढ़ता और लिखता है: कोई शब्द, शब्द का हिस्सा, विराम चिह्न या बाइट का क्रम, जो मॉडल का टोकनाइज़र बनाता है। LLM API इस्तेमाल को टोकन में गिनते हैं, उसी में लिमिट लगाते हैं और आम तौर पर बिल भी बनाते हैं।

[AI एजेंट (AI agent)](https://broadrouter.com/hi/glossary/agent/)

AI एजेंट ऐसा सिस्टम है जिसमें लैंग्वेज मॉडल किसी लक्ष्य की ओर अपने क़दम ख़ुद तय करता है: कौन-से टूल कॉल करने हैं, चुनता है, नतीजे पढ़ता है और अंतिम जवाब या किसी सीमा तक दोहराता रहता है। तय बिंदुओं पर मॉडल को कॉल करने वाली स्क्रिप्ट को आम तौर पर workflow कहते हैं।

[कॉन्करेंसी (concurrency)](https://broadrouter.com/hi/glossary/concurrency/)

कॉन्करेंसी, किसी क्लाइंट के एक ही समय पर चल रहे (in-flight) अनुरोधों की संख्या है। LLM API अक्सर इसकी सीमा हर key या प्लान पर, प्रति मिनट अनुरोधों से अलग रखते हैं, क्योंकि हर खुला अनुरोध जवाब पूरा होने तक GPU क्षमता घेरे रहता है।

[RAG (retrieval-augmented generation)](https://broadrouter.com/hi/glossary/rag/)

RAG (retrieval-augmented generation) एक पैटर्न है जिसमें ऐप्लिकेशन पहले किसी बाहरी स्टोर, जैसे सर्च या वेक्टर इंडेक्स, से सवाल से जुड़े हिस्से निकालता है, और फिर उन्हें प्रॉम्प्ट में जोड़ता है, ताकि लैंग्वेज मॉडल सिर्फ़ अपनी याददाश्त के बजाय उस टेक्स्ट से जवाब दे सके।

[प्रीपेड क्रेडिट (prepaid credit)](https://broadrouter.com/hi/glossary/prepaid-credit/)

प्रीपेड क्रेडिट वह पैसा है जो इस्तेमाल से पहले API अकाउंट में डाला जाता है। हर अनुरोध की लागत बैलेंस से कटती है, और बैलेंस ख़त्म होने पर मीटर वाले अनुरोध तब तक रुक जाते हैं जब तक आप टॉप-अप न करें। इससे खर्च उतने तक सीमित रहता है जितना आपने जमा किया है।

[रेट लिमिट (rate limit)](https://broadrouter.com/hi/glossary/rate-limit/)

रेट लिमिट वह सीमा है जो कोई API तय करता है कि एक क्लाइंट किसी समय-अवधि में उसका कितना इस्तेमाल कर सकता है, जैसे प्रति मिनट अनुरोध या प्रति मिनट टोकन। सीमा से ऊपर के अनुरोध ठुकरा दिए जाते हैं, आम तौर पर HTTP 429 Too Many Requests के साथ, जब तक इस्तेमाल फिर सीमा के नीचे न आ जाए।

[स्ट्रक्चर्ड आउटपुट (structured output)](https://broadrouter.com/hi/glossary/structured-output/)

स्ट्रक्चर्ड आउटपुट LLM API का एक फ़ीचर है जो मॉडल के जवाब को डेवलपर के तय फ़ॉर्मैट, आम तौर पर JSON Schema, तक सीमित करता है, ताकि कोड उसे भरोसे से पार्स कर सके। यह JSON mode से सख़्त है, जो मान्य JSON की गारंटी देता है, लेकिन किसी ख़ास ढाँचे की नहीं।

## अक्सर पूछे जाने वाले सवाल

### Haystack का कौन-सा पैरामीटर BroadNet का URL सेट करता है?

OpenAIChatGenerator का api\_base\_url। Haystack के डॉक्स इसे कस्टम डिप्लॉयमेंट तक पहुँचने का तरीक़ा बताते हैं। इसे https://inference.broadnet.ai/v1 पर सेट करें।

### क्या BroadNet के साथ OpenAIResponsesChatGenerator इस्तेमाल करूँ?

नहीं। वह कंपोनेंट OpenAI का Responses API कॉल करता है, जिसे BroadNet सूचीबद्ध नहीं करता। OpenAIChatGenerator इस्तेमाल करें, जो chat completions कॉल करता है।

### Haystack, OPENAI\_API\_KEY न मिलने की एरर क्यों देता है?

api\_key का डिफ़ॉल्ट Secret.from\_env\_var("OPENAI\_API\_KEY") है। api\_key=Secret.from\_env\_var("BROADNET\_API\_KEY") पास करें, ताकि Haystack उसकी जगह आपकी BroadNet key पढ़े।

### क्या Haystack Agent, BroadNet पर टूल कॉल कर सकता है?

हाँ, ऐसे मॉडल के साथ जिसे BroadNet टूल के साथ सूचीबद्ध करता है: GLM 5.3 या Qwen3.8 27B। हमारे मॉक सर्वर टेस्ट में Agent ने chat completions पर टूल स्कीमा भेजा और टूल कॉल वापस पाया।

## संबंधित गाइड

-   [BroadNet Inference के साथ OpenAI Python SDK इस्तेमाल करें](https://broadrouter.com/hi/guides/openai-python-sdk/)
-   [OpenAILike के ज़रिए BroadNet Inference के साथ LlamaIndex](https://broadrouter.com/hi/guides/llamaindex-openailike/)
-   [रीज़निंग मॉडल ख़ाली जवाब क्यों लौटाता है](https://broadrouter.com/hi/guides/reasoning-tokens-empty-response/)
-   [BroadNet Inference के एरर कोड और रीट्राई कब करें](https://broadrouter.com/hi/guides/errors-and-retries/)
-   [BroadNet Inference के साथ काम करने वाले सभी टूल (अंग्रेज़ी में)](https://broadrouter.com/integrations/): SDK, कोडिंग एजेंट, चैट UI और ऑटोमेशन टूल, हर एक की सटीक सेटिंग के साथ

इसे अपने असली वर्कलोड पर आज़माएँ। नए अकाउंट Gemma और ट्रांसक्रिप्शन के लिए US$5 के क्रेडिट से शुरू होते हैं। DeepSeek, GLM, और Qwen3.8 के लिए टॉप-अप ज़रूरी है।

[शुरू करें](https://inference.broadnet.ai/account/?utm_source=broadrouter&utm_medium=referral&utm_campaign=hi-guides-haystack-openai-compatible&utm_content=page-cta) ·

**स्रोत**

-   [Haystack डॉक्स 3.5, OpenAIChatGenerator (2026-11-15 को जाँचा गया)](https://docs.haystack.deepset.ai/docs/openaichatgenerator)
-   [PyPI, haystack-ai 3.5.0, Python 3.11+ (2026-11-15 को जाँचा गया)](https://pypi.org/project/haystack-ai/)
-   [BroadNet Inference API रेफ़रंस (2026-11-15 को जाँचा गया) (अंग्रेज़ी में)](https://inference.broadnet.ai/docs?utm_source=broadrouter&utm_medium=referral&utm_campaign=hi-guides-haystack-openai-compatible&utm_content=sources)
