BroadRouter
شروع کریں

BroadNet Inference کے ساتھ Haystack پائپ لائنز اور ایجنٹس چلائیں

اپ ڈیٹ

haystack-ai انسٹال کریں اور OpenAIChatGenerator بنائیں جس میں api_base_url ہو https://inference.broadnet.ai/v1، api_key ہو BROADNET_API_KEY سے پڑھا گیا Secret، اور model ہو broadnet/glm-5.3 جیسا BroadNet ID۔ اسے پائپ لائنز میں یا Haystack Agent میں استعمال کریں۔ max_tokens کو generation_kwargs میں دیں، اور جب جنریٹر کے پاس ٹولز ہوں تو GLM 5.3 یا Qwen3.8 27B استعمال کریں۔

Haystack، deepset کا RAG پائپ لائنز اور ایجنٹس کے لیے اوپن سورس فریم ورک ہے۔ اس کا OpenAIChatGenerator کسی بھی OpenAI-compatible سرور سے api_base_url کے ذریعے بات کرتا ہے۔ BroadNet Inference، https://inference.broadnet.ai/v1 پر معیاری chat completions فراہم کرتا ہے، اس لیے یہی کمپوننٹ استعمال کریں۔ BroadRouter، BroadNet کی اپنی سائٹ ہے۔ یہ گائیڈ Haystack 3.5 کی دستاویزات کے مطابق ہے۔

انسٹال کریں

pip install haystack-ai
export BROADNET_API_KEY='your-broadnet-key'

کنیکٹ کریں

from haystack.components.generators.chat import OpenAIChatGenerator
from haystack.dataclasses import ChatMessage
from haystack.utils import Secret

generator = OpenAIChatGenerator(
    api_base_url="https://inference.broadnet.ai/v1",
    api_key=Secret.from_env_var("BROADNET_API_KEY"),
    model="broadnet/glm-5.3",
    generation_kwargs={"max_tokens": 4000},
)

reply = generator.run([ChatMessage.from_user("Name three uses of a RAG pipeline.")])
print(reply["replies"][0].text)
  • model بغیر تبدیلی کے بھیجا جاتا ہے۔ BroadNet ID اس کے broadnet/ پری فکس کے ساتھ استعمال کریں۔
  • api_key ایک Haystack Secret ہے۔ اس کے بغیر Haystack، OPENAI_API_KEY تلاش کرتا ہے۔
  • generation_kwargs chat completion درخواست میں بھیجے جاتے ہیں۔ max_tokens اتنا رکھیں کہ ریزننگ کے لیے جگہ بچے (نیچے دیکھیں)۔

جواب اسٹریم کریں

from haystack.components.generators.utils import print_streaming_chunk

generator = OpenAIChatGenerator(
    api_base_url="https://inference.broadnet.ai/v1",
    api_key=Secret.from_env_var("BROADNET_API_KEY"),
    model="broadnet/glm-5.3",
    streaming_callback=print_streaming_chunk,
)

تب Haystack، stream: true کے ساتھ stream_options.include_usage بھیجتا ہے، اس لیے ٹوکنز کی گنتی آخری چنک میں آتی ہے۔ BroadNet کی دستاویزات بھی یہی آپشن بیان کرتی ہیں۔

ٹولز اور ایجنٹس

from haystack.components.agents import Agent
from haystack.tools import Tool

def get_weather(city: str) -> str:
    return f"21C in {city}"

weather = Tool(
    name="get_weather",
    description="Get the weather for a city",
    parameters={"type": "object", "properties": {"city": {"type": "string"}}, "required": ["city"]},
    function=get_weather,
)

chat = OpenAIChatGenerator(
    api_base_url="https://inference.broadnet.ai/v1",
    api_key=Secret.from_env_var("BROADNET_API_KEY"),
    model="broadnet/glm-5.3",
    tools=[weather],
)
agent = Agent(chat_generator=chat, tools=[weather])
result = agent.run(messages=[ChatMessage.from_user("What's the weather in Riyadh?")])
print(result["messages"][-1].text)

BroadNet کی دستاویزات ٹولز اور اسٹرکچرڈ آؤٹ پٹ صرف broadnet/glm-5.3 اور broadnet/qwen3.8-27b کے لیے درج کرتی ہیں۔ جب تک آپ نے اسٹرکٹ اسکیما ٹیسٹ نہ کیے ہوں، tools_strict کو اس کے ڈیفالٹ False پر رہنے دیں۔

کون سا ماڈل چنیں

پائپ لائن ماڈل
ایجنٹس اور ٹول کالز broadnet/glm-5.3
اسکین شدہ صفحات یا عربی متن پر RAG، ٹولز کے ساتھ broadnet/qwen3.8-27b
مقررہ قیمت والے پلان پر لمبے کانٹیکسٹ والے جوابات broadnet/deepseek-v4.1-flash
مفت ابتدائی کریڈٹ پر آزمانا broadnet/gemma-4-26b-a4b (32,768 ٹوکن کا کانٹیکسٹ)

ریٹریو کیا گیا کانٹیکسٹ بڑا ہو سکتا ہے۔ GLM 5.3 اور DeepSeek V4.1 Flash، 1,048,576 ٹوکن کا کانٹیکسٹ لیتے ہیں؛ Gemma کا 32,768 جلد بھر جاتا ہے۔ ہر ماڈل کی قیمتیں۔

ہم نے اسے کیسے ٹیسٹ کیا

2026-11-15 کو ہم نے ایک صاف ورچوئل انوائرنمنٹ میں haystack-ai 3.5.0 انسٹال کیا اور اوپر کی سادہ، اسٹریمنگ، ٹول اور Agent مثالیں ایک لوکل موک سرور پر چلائیں جو BroadNet کی chat-completions ساخت میں جواب دیتا ہے۔ ہم نے لاگ کی گئی درخواستیں پڑھیں۔ سب /v1/chat/completions پر گئیں، ماڈل ID بغیر تبدیلی کے، Bearer کلید، generation_kwargs سے آیا max_tokens اور، ٹولز کی صورت میں، فنکشن اسکیما کے ساتھ۔ Haystack، n: 1 بھی بھیجتا ہے۔ ہمارے پاس BroadNet کلید نہیں تھی، اس لیے ہم نے حقیقی ماڈل آؤٹ پٹ ٹیسٹ نہیں کیا۔

مسائل کا حل

  • 401۔ کلید غلط ہے، اس کی میعاد ختم ہو گئی ہے یا الاؤنس ختم ہو گیا ہے، یا پائپ لائن چلانے والے پراسیس میں BROADNET_API_KEY سیٹ نہیں ہے۔
  • 404۔ api_base_url کے آخر میں /v1 ہونا چاہیے، اور ماڈل ID، BroadNet کے ID سے بالکل ملنا چاہیے۔ پیڈ ماڈلز کے لیے ٹاپ اپ چاہیے؛ $5 کریڈٹ پر صرف broadnet/gemma-4-26b-a4b اور دو Transcribe ماڈلز چلتے ہیں۔
  • خالی جوابات۔ DeepSeek V4.1 Flash، GLM 5.3 اور Qwen3.8 27B جواب دینے سے پہلے ریزننگ کرتے ہیں، اور ریزننگ max_tokens میں گنی جاتی ہے۔ اسے بڑھائیں۔ جوابات خالی کیوں آتے ہیں۔
  • بیچ انڈیکسنگ یا ایویلیوایشن میں 429۔ استعمال کے مطابق ادائیگی والی کلید فی منٹ 30 درخواستوں اور بیک وقت 4 جاری درخواستوں کی اجازت دیتی ہے۔ جنریٹر کا max_retries استعمال کریں اور ایررز اور دوبارہ کوشش دیکھیں۔

عام سوالات

Haystack کا کون سا پیرامیٹر BroadNet کا URL سیٹ کرتا ہے؟

OpenAIChatGenerator کا api_base_url۔ Haystack کی دستاویزات اسے کسٹم ڈیپلائمنٹس تک پہنچنے کا طریقہ بتاتی ہیں۔ اسے https://inference.broadnet.ai/v1 پر سیٹ کریں۔

کیا BroadNet کے ساتھ OpenAIResponsesChatGenerator استعمال کروں؟

نہیں۔ وہ کمپوننٹ OpenAI کا Responses API کال کرتا ہے، جسے BroadNet درج نہیں کرتا۔ OpenAIChatGenerator استعمال کریں، جو chat completions کال کرتا ہے۔

Haystack، OPENAI_API_KEY نہ ملنے کی ایرر کیوں دیتا ہے؟

api_key کا ڈیفالٹ Secret.from_env_var("OPENAI_API_KEY") ہے۔ api_key=Secret.from_env_var("BROADNET_API_KEY") پاس کریں تاکہ Haystack اس کی جگہ آپ کی BroadNet کلید پڑھے۔

کیا Haystack Agent، BroadNet پر ٹولز کال کر سکتا ہے؟

ہاں، ایسے ماڈل کے ساتھ جسے BroadNet ٹولز کے ساتھ درج کرتا ہے: GLM 5.3 یا Qwen3.8 27B۔ ہمارے موک سرور ٹیسٹ میں Agent نے chat completions پر ٹول اسکیما بھیجا اور ٹول کال واپس حاصل کی۔

Markdown میں پڑھیںChatGPT سے پوچھیںClaude سے پوچھیںPerplexity سے پوچھیں