BroadRouter
ابدأ الآن

استخدام خطوط Haystack ووكلائه مع BroadNet Inference

آخر تحديث

ثبّت haystack-ai وأنشئ OpenAIChatGenerator مع ضبط api_base_url على https://inference.broadnet.ai/v1، وapi_key على Secret يُقرأ من BROADNET_API_KEY، وmodel على معرّف من BroadNet مثل broadnet/glm-5.3. استخدمه في الخطوط (pipelines) أو في Agent من Haystack. مرّر max_tokens في generation_kwargs، واستخدم GLM 5.3 أو Qwen3.8 27B حين يحمل المولّد أدوات.

Haystack إطار عمل مفتوح المصدر من deepset لبناء خطوط RAG والوكلاء. ويتصل المكوّن OpenAIChatGenerator فيه بأي خادم متوافق مع OpenAI عبر api_base_url. وبما أن BroadNet Inference تقدّم chat completions القياسية على https://inference.broadnet.ai/v1، فهذا هو المكوّن المناسب. BroadRouter هو موقع BroadNet نفسها؛ ويتبع هذا الدليل توثيق Haystack 3.5.

التثبيت

pip install haystack-ai
export BROADNET_API_KEY='your-broadnet-key'

الاتصال

from haystack.components.generators.chat import OpenAIChatGenerator
from haystack.dataclasses import ChatMessage
from haystack.utils import Secret

generator = OpenAIChatGenerator(
    api_base_url="https://inference.broadnet.ai/v1",
    api_key=Secret.from_env_var("BROADNET_API_KEY"),
    model="broadnet/glm-5.3",
    generation_kwargs={"max_tokens": 4000},
)

reply = generator.run([ChatMessage.from_user("Name three uses of a RAG pipeline.")])
print(reply["replies"][0].text)
  • model يُرسَل كما هو. استخدم معرّف BroadNet مع البادئة broadnet/.
  • api_key كائن Secret من Haystack. ومن دونه يبحث Haystack عن OPENAI_API_KEY.
  • generation_kwargs تُمرَّر إلى طلب chat completion. اضبط max_tokens على قيمة تكفي للاستدلال المنطقي (انظر أدناه).

تدفق الإجابة (streaming)

from haystack.components.generators.utils import print_streaming_chunk

generator = OpenAIChatGenerator(
    api_base_url="https://inference.broadnet.ai/v1",
    api_key=Secret.from_env_var("BROADNET_API_KEY"),
    model="broadnet/glm-5.3",
    streaming_callback=print_streaming_chunk,
)

عندها يرسل Haystack stream: true مع stream_options.include_usage، فتصل أعداد الرموز في آخر جزء من التدفق. ويصف توثيق BroadNet الخيار نفسه.

الأدوات والوكلاء

from haystack.components.agents import Agent
from haystack.tools import Tool

def get_weather(city: str) -> str:
    return f"21C in {city}"

weather = Tool(
    name="get_weather",
    description="Get the weather for a city",
    parameters={"type": "object", "properties": {"city": {"type": "string"}}, "required": ["city"]},
    function=get_weather,
)

chat = OpenAIChatGenerator(
    api_base_url="https://inference.broadnet.ai/v1",
    api_key=Secret.from_env_var("BROADNET_API_KEY"),
    model="broadnet/glm-5.3",
    tools=[weather],
)
agent = Agent(chat_generator=chat, tools=[weather])
result = agent.run(messages=[ChatMessage.from_user("What's the weather in Riyadh?")])
print(result["messages"][-1].text)

يُدرج توثيق BroadNet الأدوات والمخرجات المنظَّمة لـ broadnet/glm-5.3 وbroadnet/qwen3.8-27b فقط. أبقِ tools_strict على قيمته الافتراضية False ما لم تكن قد اختبرت المخططات الصارمة.

أي نموذج تختار

الخط (pipeline) النموذج
الوكلاء واستدعاءات الأدوات broadnet/glm-5.3
RAG على صفحات ممسوحة ضوئيًا أو نصوص عربية، مع الأدوات broadnet/qwen3.8-27b
الإجابة بسياق طويل على خطة بسعر ثابت broadnet/deepseek-v4.1-flash
التجربة بالرصيد المبدئي المجاني broadnet/gemma-4-26b-a4b (سياق 32,768 رمزًا)

قد يكون السياق المسترجَع كبيرًا. يقبل GLM 5.3 وDeepSeek V4.1 Flash سياقًا من 1,048,576 رمزًا، أما سياق Gemma البالغ 32,768 فيمتلئ بسرعة. أسعار كل النماذج.

كيف اختبرنا هذا

في 2026-11-15 ثبّتنا haystack-ai 3.5.0 في بيئة افتراضية نظيفة، وشغّلنا الأمثلة أعلاه، العادي والمتدفق والأدوات وAgent، على خادم وهمي (mock) محلي يتحدث بنية chat completions الخاصة بـ BroadNet، ثم قرأنا الطلبات المسجّلة. ذهبت كلها إلى /v1/chat/completions بمعرّف النموذج دون تغيير، ومفتاح Bearer، وmax_tokens من generation_kwargs، ومع الأدوات مخطط الدالة. ويرسل Haystack أيضًا n: 1. لم يكن لدينا مفتاح BroadNet، لذا لم نختبر مخرجات نموذج حقيقية.

حل المشكلات

  • 401. المفتاح خاطئ أو منتهي الصلاحية أو استنفد رصيده، أو أن BROADNET_API_KEY غير مضبوط في العملية التي تشغّل الخط.
  • 404. يجب أن ينتهي api_base_url بـ /v1، وأن يطابق معرّف النموذج معرّف BroadNet تمامًا. النماذج المدفوعة تحتاج إلى شحن الرصيد؛ والرصيد البالغ $5 يغطي broadnet/gemma-4-26b-a4b ونموذجَي Transcribe.
  • ردود فارغة. نماذج DeepSeek V4.1 Flash وGLM 5.3 وQwen3.8 27B تستدل قبل أن تجيب، والاستدلال المنطقي يُحتسب ضمن max_tokens. ارفعه. راجع لماذا تعود الإجابات فارغة.
  • 429 أثناء الفهرسة الدفعية أو التقييم. يسمح مفتاح الدفع حسب الاستخدام بـ 30 من الطلبات في الدقيقة و4 قيد التنفيذ. استخدم المُعامل max_retries في المولّد، وراجع الأخطاء وإعادة المحاولة.

أسئلة شائعة

أي مُعامل في Haystack يضبط عنوان BroadNet؟

المُعامل api_base_url في OpenAIChatGenerator. يصفه توثيق Haystack بأنه طريقة الوصول إلى عمليات النشر المخصّصة. اضبطه على https://inference.broadnet.ai/v1.

هل أستخدم OpenAIResponsesChatGenerator مع BroadNet؟

لا. هذا المكوّن يستدعي Responses API من OpenAI، وBroadNet لا تُدرجها. استخدم OpenAIChatGenerator، فهو يستدعي chat completions.

لماذا يفشل Haystack بسبب غياب OPENAI_API_KEY؟

القيمة الافتراضية لـ api_key هي Secret.from_env_var("OPENAI_API_KEY"). مرّر api_key=Secret.from_env_var("BROADNET_API_KEY") ليقرأ Haystack مفتاح BroadNet بدلًا منه.

هل يستطيع Agent في Haystack استدعاء الأدوات على BroadNet؟

نعم، مع نموذج تُدرج له BroadNet الأدوات، أي GLM 5.3 أو Qwen3.8 27B. وفي اختبارنا على خادم وهمي (mock)، أرسل الوكيل مخطط الأداة عبر chat completions واستعاد استدعاء الأداة.

اقرأها بصيغة Markdownاسأل ChatGPTاسأل Claudeاسأل Perplexity