BroadRouter
शुरू करें

BroadNet Inference के साथ Haystack पाइपलाइन और एजेंट चलाएँ

अपडेट किया गया

haystack-ai इंस्टॉल करें और OpenAIChatGenerator बनाएँ, जिसमें api_base_url हो https://inference.broadnet.ai/v1, api_key हो BROADNET_API_KEY से पढ़ा गया Secret, और model हो broadnet/glm-5.3 जैसा BroadNet ID। इसे पाइपलाइन में या Haystack Agent में इस्तेमाल करें। max_tokens को generation_kwargs में दें, और जब जनरेटर के पास टूल हों तो GLM 5.3 या Qwen3.8 27B इस्तेमाल करें।

Haystack, deepset का RAG पाइपलाइन और एजेंट के लिए ओपन-सोर्स फ़्रेमवर्क है। इसका OpenAIChatGenerator किसी भी OpenAI-कम्पैटिबल सर्वर से api_base_url के ज़रिए बात करता है। BroadNet Inference https://inference.broadnet.ai/v1 पर स्टैंडर्ड chat completions देता है, इसलिए यही कंपोनेंट इस्तेमाल करें। BroadRouter, BroadNet की अपनी साइट है। यह गाइड Haystack 3.5 के डॉक्स के अनुसार है।

इंस्टॉल करें

pip install haystack-ai
export BROADNET_API_KEY='your-broadnet-key'

कनेक्ट करें

from haystack.components.generators.chat import OpenAIChatGenerator
from haystack.dataclasses import ChatMessage
from haystack.utils import Secret

generator = OpenAIChatGenerator(
    api_base_url="https://inference.broadnet.ai/v1",
    api_key=Secret.from_env_var("BROADNET_API_KEY"),
    model="broadnet/glm-5.3",
    generation_kwargs={"max_tokens": 4000},
)

reply = generator.run([ChatMessage.from_user("Name three uses of a RAG pipeline.")])
print(reply["replies"][0].text)
  • model बिना बदलाव के भेजा जाता है। BroadNet ID उसके broadnet/ प्रीफ़िक्स के साथ इस्तेमाल करें।
  • api_key एक Haystack Secret है। इसके बिना Haystack OPENAI_API_KEY ढूँढता है।
  • generation_kwargs chat completion अनुरोध में भेजे जाते हैं। max_tokens इतना रखें कि रीज़निंग के लिए जगह बचे (नीचे देखें)।

जवाब स्ट्रीम करें

from haystack.components.generators.utils import print_streaming_chunk

generator = OpenAIChatGenerator(
    api_base_url="https://inference.broadnet.ai/v1",
    api_key=Secret.from_env_var("BROADNET_API_KEY"),
    model="broadnet/glm-5.3",
    streaming_callback=print_streaming_chunk,
)

तब Haystack stream: true के साथ stream_options.include_usage भेजता है, इसलिए टोकन की गिनती आख़िरी चंक में आती है। BroadNet के डॉक्स भी यही विकल्प बताते हैं।

टूल और एजेंट

from haystack.components.agents import Agent
from haystack.tools import Tool

def get_weather(city: str) -> str:
    return f"21C in {city}"

weather = Tool(
    name="get_weather",
    description="Get the weather for a city",
    parameters={"type": "object", "properties": {"city": {"type": "string"}}, "required": ["city"]},
    function=get_weather,
)

chat = OpenAIChatGenerator(
    api_base_url="https://inference.broadnet.ai/v1",
    api_key=Secret.from_env_var("BROADNET_API_KEY"),
    model="broadnet/glm-5.3",
    tools=[weather],
)
agent = Agent(chat_generator=chat, tools=[weather])
result = agent.run(messages=[ChatMessage.from_user("What's the weather in Riyadh?")])
print(result["messages"][-1].text)

BroadNet के डॉक्स टूल और स्ट्रक्चर्ड आउटपुट सिर्फ़ broadnet/glm-5.3 और broadnet/qwen3.8-27b के लिए सूचीबद्ध करते हैं। जब तक आपने स्ट्रिक्ट स्कीमा टेस्ट न किए हों, tools_strict को उसके डिफ़ॉल्ट False पर रहने दें।

कौन-सा मॉडल चुनें

पाइपलाइन मॉडल
एजेंट और टूल कॉल broadnet/glm-5.3
स्कैन किए पन्नों या अरबी टेक्स्ट पर RAG, टूल के साथ broadnet/qwen3.8-27b
फ़्लैट कीमत वाले प्लान पर लंबे कॉन्टेक्स्ट वाले जवाब broadnet/deepseek-v4.1-flash
मुफ़्त शुरुआती क्रेडिट पर आज़माना broadnet/gemma-4-26b-a4b (32,768 टोकन का कॉन्टेक्स्ट)

रिट्रीव किया गया कॉन्टेक्स्ट बड़ा हो सकता है। GLM 5.3 और DeepSeek V4.1 Flash 1,048,576 टोकन का कॉन्टेक्स्ट लेते हैं; Gemma का 32,768 जल्दी भर जाता है। हर मॉडल की कीमतें।

हमने इसे कैसे टेस्ट किया

2026-11-15 को हमने एक साफ़ वर्चुअल एनवायरनमेंट में haystack-ai 3.5.0 इंस्टॉल किया और ऊपर के सादे, स्ट्रीमिंग, टूल और Agent उदाहरण एक लोकल मॉक सर्वर पर चलाए, जो BroadNet के chat-completions ढाँचे में जवाब देता है। हमने लॉग किए गए अनुरोध पढ़े। सभी /v1/chat/completions पर गए, मॉडल ID बिना बदलाव के, Bearer key, generation_kwargs से आया max_tokens और, टूल के मामले में, फ़ंक्शन स्कीमा के साथ। Haystack n: 1 भी भेजता है। हमारे पास BroadNet key नहीं थी, इसलिए हमने असली मॉडल आउटपुट टेस्ट नहीं किया।

समस्या का समाधान

  • 401. key ग़लत है, एक्सपायर हो गई है या उसका अलाउंस ख़त्म हो गया है, या पाइपलाइन चलाने वाली प्रोसेस में BROADNET_API_KEY सेट नहीं है।
  • 404. api_base_url के अंत में /v1 होना चाहिए, और मॉडल ID, BroadNet के ID से हूबहू मिलना चाहिए। पेड मॉडल के लिए टॉप-अप चाहिए; $5 क्रेडिट पर सिर्फ़ broadnet/gemma-4-26b-a4b और दो Transcribe मॉडल चलते हैं।
  • ख़ाली जवाब. DeepSeek V4.1 Flash, GLM 5.3 और Qwen3.8 27B जवाब देने से पहले रीज़निंग करते हैं, और रीज़निंग max_tokens में गिनी जाती है। इसे बढ़ाएँ। जवाब ख़ाली क्यों आते हैं।
  • बैच इंडेक्सिंग या इवैल्युएशन में 429. उपयोग के अनुसार भुगतान वाली key प्रति मिनट 30 अनुरोध और एक साथ 4 चालू अनुरोध की अनुमति देती है। जनरेटर का max_retries इस्तेमाल करें और एरर और रीट्राई देखें।

अक्सर पूछे जाने वाले सवाल

Haystack का कौन-सा पैरामीटर BroadNet का URL सेट करता है?

OpenAIChatGenerator का api_base_url। Haystack के डॉक्स इसे कस्टम डिप्लॉयमेंट तक पहुँचने का तरीक़ा बताते हैं। इसे https://inference.broadnet.ai/v1 पर सेट करें।

क्या BroadNet के साथ OpenAIResponsesChatGenerator इस्तेमाल करूँ?

नहीं। वह कंपोनेंट OpenAI का Responses API कॉल करता है, जिसे BroadNet सूचीबद्ध नहीं करता। OpenAIChatGenerator इस्तेमाल करें, जो chat completions कॉल करता है।

Haystack, OPENAI_API_KEY न मिलने की एरर क्यों देता है?

api_key का डिफ़ॉल्ट Secret.from_env_var("OPENAI_API_KEY") है। api_key=Secret.from_env_var("BROADNET_API_KEY") पास करें, ताकि Haystack उसकी जगह आपकी BroadNet key पढ़े।

क्या Haystack Agent, BroadNet पर टूल कॉल कर सकता है?

हाँ, ऐसे मॉडल के साथ जिसे BroadNet टूल के साथ सूचीबद्ध करता है: GLM 5.3 या Qwen3.8 27B। हमारे मॉक सर्वर टेस्ट में Agent ने chat completions पर टूल स्कीमा भेजा और टूल कॉल वापस पाया।

Markdown में पढ़ेंChatGPT से पूछेंClaude से पूछेंPerplexity से पूछें