Haystack، deepset کا RAG پائپ لائنز اور ایجنٹس کے لیے اوپن سورس فریم ورک ہے۔ اس کا OpenAIChatGenerator کسی بھی OpenAI-compatible سرور سے api_base_url کے ذریعے بات کرتا ہے۔ BroadNet Inference، https://inference.broadnet.ai/v1 پر معیاری chat completions فراہم کرتا ہے، اس لیے یہی کمپوننٹ استعمال کریں۔ BroadRouter، BroadNet کی اپنی سائٹ ہے۔ یہ گائیڈ Haystack 3.5 کی دستاویزات کے مطابق ہے۔
انسٹال کریں
pip install haystack-ai
export BROADNET_API_KEY='your-broadnet-key'
کنیکٹ کریں
from haystack.components.generators.chat import OpenAIChatGenerator
from haystack.dataclasses import ChatMessage
from haystack.utils import Secret
generator = OpenAIChatGenerator(
api_base_url="https://inference.broadnet.ai/v1",
api_key=Secret.from_env_var("BROADNET_API_KEY"),
model="broadnet/glm-5.3",
generation_kwargs={"max_tokens": 4000},
)
reply = generator.run([ChatMessage.from_user("Name three uses of a RAG pipeline.")])
print(reply["replies"][0].text)
modelبغیر تبدیلی کے بھیجا جاتا ہے۔ BroadNet ID اس کےbroadnet/پری فکس کے ساتھ استعمال کریں۔api_keyایک HaystackSecretہے۔ اس کے بغیر Haystack،OPENAI_API_KEYتلاش کرتا ہے۔generation_kwargschat completion درخواست میں بھیجے جاتے ہیں۔max_tokensاتنا رکھیں کہ ریزننگ کے لیے جگہ بچے (نیچے دیکھیں)۔
جواب اسٹریم کریں
from haystack.components.generators.utils import print_streaming_chunk
generator = OpenAIChatGenerator(
api_base_url="https://inference.broadnet.ai/v1",
api_key=Secret.from_env_var("BROADNET_API_KEY"),
model="broadnet/glm-5.3",
streaming_callback=print_streaming_chunk,
)
تب Haystack، stream: true کے ساتھ stream_options.include_usage بھیجتا ہے، اس لیے ٹوکنز کی گنتی آخری چنک میں آتی ہے۔ BroadNet کی دستاویزات بھی یہی آپشن بیان کرتی ہیں۔
ٹولز اور ایجنٹس
from haystack.components.agents import Agent
from haystack.tools import Tool
def get_weather(city: str) -> str:
return f"21C in {city}"
weather = Tool(
name="get_weather",
description="Get the weather for a city",
parameters={"type": "object", "properties": {"city": {"type": "string"}}, "required": ["city"]},
function=get_weather,
)
chat = OpenAIChatGenerator(
api_base_url="https://inference.broadnet.ai/v1",
api_key=Secret.from_env_var("BROADNET_API_KEY"),
model="broadnet/glm-5.3",
tools=[weather],
)
agent = Agent(chat_generator=chat, tools=[weather])
result = agent.run(messages=[ChatMessage.from_user("What's the weather in Riyadh?")])
print(result["messages"][-1].text)
BroadNet کی دستاویزات ٹولز اور اسٹرکچرڈ آؤٹ پٹ صرف broadnet/glm-5.3 اور broadnet/qwen3.8-27b کے لیے درج کرتی ہیں۔ جب تک آپ نے اسٹرکٹ اسکیما ٹیسٹ نہ کیے ہوں، tools_strict کو اس کے ڈیفالٹ False پر رہنے دیں۔
کون سا ماڈل چنیں
| پائپ لائن | ماڈل |
|---|---|
| ایجنٹس اور ٹول کالز | broadnet/glm-5.3 |
| اسکین شدہ صفحات یا عربی متن پر RAG، ٹولز کے ساتھ | broadnet/qwen3.8-27b |
| مقررہ قیمت والے پلان پر لمبے کانٹیکسٹ والے جوابات | broadnet/deepseek-v4.1-flash |
| مفت ابتدائی کریڈٹ پر آزمانا | broadnet/gemma-4-26b-a4b (32,768 ٹوکن کا کانٹیکسٹ) |
ریٹریو کیا گیا کانٹیکسٹ بڑا ہو سکتا ہے۔ GLM 5.3 اور DeepSeek V4.1 Flash، 1,048,576 ٹوکن کا کانٹیکسٹ لیتے ہیں؛ Gemma کا 32,768 جلد بھر جاتا ہے۔ ہر ماڈل کی قیمتیں۔
ہم نے اسے کیسے ٹیسٹ کیا
2026-11-15 کو ہم نے ایک صاف ورچوئل انوائرنمنٹ میں haystack-ai 3.5.0 انسٹال کیا اور اوپر کی سادہ، اسٹریمنگ، ٹول اور Agent مثالیں ایک لوکل موک سرور پر چلائیں جو BroadNet کی chat-completions ساخت میں جواب دیتا ہے۔ ہم نے لاگ کی گئی درخواستیں پڑھیں۔ سب /v1/chat/completions پر گئیں، ماڈل ID بغیر تبدیلی کے، Bearer کلید، generation_kwargs سے آیا max_tokens اور، ٹولز کی صورت میں، فنکشن اسکیما کے ساتھ۔ Haystack، n: 1 بھی بھیجتا ہے۔ ہمارے پاس BroadNet کلید نہیں تھی، اس لیے ہم نے حقیقی ماڈل آؤٹ پٹ ٹیسٹ نہیں کیا۔
مسائل کا حل
- 401۔ کلید غلط ہے، اس کی میعاد ختم ہو گئی ہے یا الاؤنس ختم ہو گیا ہے، یا پائپ لائن چلانے والے پراسیس میں
BROADNET_API_KEYسیٹ نہیں ہے۔ - 404۔
api_base_urlکے آخر میں/v1ہونا چاہیے، اور ماڈل ID، BroadNet کے ID سے بالکل ملنا چاہیے۔ پیڈ ماڈلز کے لیے ٹاپ اپ چاہیے؛ $5 کریڈٹ پر صرفbroadnet/gemma-4-26b-a4bاور دو Transcribe ماڈلز چلتے ہیں۔ - خالی جوابات۔ DeepSeek V4.1 Flash، GLM 5.3 اور Qwen3.8 27B جواب دینے سے پہلے ریزننگ کرتے ہیں، اور ریزننگ
max_tokensمیں گنی جاتی ہے۔ اسے بڑھائیں۔ جوابات خالی کیوں آتے ہیں۔ - بیچ انڈیکسنگ یا ایویلیوایشن میں 429۔ استعمال کے مطابق ادائیگی والی کلید فی منٹ 30 درخواستوں اور بیک وقت 4 جاری درخواستوں کی اجازت دیتی ہے۔ جنریٹر کا
max_retriesاستعمال کریں اور ایررز اور دوبارہ کوشش دیکھیں۔
