BroadRouter

استخدام DSPy مع BroadNet Inference (اضبط model_type="chat")

آخر تحديث

أنشئ dspy.LM بالنموذج "openai/broadnet/glm-5.3" وmodel_type="chat" وapi_base بقيمة https://inference.broadnet.ai/v1 ومفتاح api_key من BroadNet، ثم مرّره إلى dspy.configure. الجزء model_type="chat" مهم: يوجّه DSPy 3.5 افتراضيًا النماذج ذات البادئة openai إلى Responses API، التي لا تخدمها BroadNet. في اختبارنا على خادم وهمي، أدى حذفه إلى استدعاء /v1/responses الذي أعاد الخطأ 404، ونقطة نهاية BroadNet الفعلية ترد على هذا المسار أيضًا بالخطأ 404.

DSPy إطار عمل بلغة Python لبرمجة النماذج اللغوية بالتواقيع (signatures) والوحدات (modules)، ولتحسين التعليمات (prompts) التي تقف خلفها. تربطه بنموذج عبر dspy.LM. ويعرض توثيق DSPy الخوادم المتوافقة مع OpenAI على شكل نموذج openai/ مع api_base. ومع BroadNet Inference، التي تخدم chat completions على https://inference.broadnet.ai/v1، تحتاج أيضًا إلى model_type="chat". BroadRouter هو موقع BroadNet نفسها؛ ويتبع هذا الدليل توثيق DSPy للإصدار 3.5.

التثبيت

pip install dspy
export BROADNET_API_KEY='your-broadnet-key'

الاتصال

import os
import dspy

lm = dspy.LM(
    "openai/broadnet/glm-5.3",
    model_type="chat",
    api_base="https://inference.broadnet.ai/v1",
    api_key=os.environ["BROADNET_API_KEY"],
    max_tokens=4000,
)
dspy.configure(lm=lm)

qa = dspy.Predict("question -> answer")
print(qa(question="What is the capital of Saudi Arabia?").answer)
  • openai/ يطلب من DSPy استخدام عميل OpenAI. وبقية السلسلة، broadnet/glm-5.3، هي معرّف النموذج المرسل إلى BroadNet.
  • model_type="chat" يُبقي DSPy على /v1/chat/completions. ويقول مرجع LM في DSPy إن القيمة الافتراضية 'auto' تجعل نماذج OpenAI “use Responses” (ترجمة: تستخدم Responses).
  • max_tokens يترك مساحة للاستدلال المنطقي. فنماذج DeepSeek V4.1 Flash وGLM 5.3 وQwen3.8 27B تفكّر قبل أن تجيب، والتفكير يُحتسب ضمن الحد.

ماذا يحدث من دون model_type

المثال الموجود في صفحة التثبيت في DSPy لخادم متوافق مع OpenAI لا يتضمن model_type. في اختبارنا مع DSPy 3.5.0، أرسل ذلك الطلب إلى /v1/responses مع max_output_tokens، ففشل الاستدعاء:

dspy.utils.exceptions.LMInvalidRequestError: [openai/broadnet/glm-5.3] /v1/responses not served

جاء هذا الخطأ من الخادم الوهمي (mock) الذي استخدمناه. ونقطة نهاية BroadNet الفعلية ردّت أيضًا على /v1/responses بالخطأ 404 عندما تحققنا في 2026-11-16. وإضافة model_type="chat" أصلحت المشكلة.

الوحدات والنماذج

cot = dspy.ChainOfThought("question -> answer")
print(cot(question="A train leaves at 9:40 and arrives at 13:05. How long is the trip?").answer)
استخدام DSPy النموذج
Predict وChainOfThought وتشغيلات المحسّن broadnet/deepseek-v4.1-flash (سعر منخفض لكل رمز؛ خطط ثابتة السعر)
ReAct والوحدات الأخرى التي تستدعي الأدوات broadnet/glm-5.3 أو broadnet/qwen3.8-27b
تجربة DSPy بالرصيد المبدئي broadnet/gemma-4-26b-a4b (سياق 32,768 رمزًا)

يُدرج توثيق BroadNet الأدوات والمخرجات المنظَّمة لنموذجَي GLM 5.3 وQwen3.8 27B فقط. ويمكنك استخدام نموذج للبرنامج وآخر للمحسّن، لكل منهما dspy.LM خاص به. أسعار كل النماذج.

كيف اختبرنا هذا

في 2026-11-15 ثبّتنا dspy 3.5.0 في بيئة افتراضية نظيفة، وشغّلنا dspy.Predict على خادم وهمي محلي يتحدث بنية chat completions الخاصة بـ BroadNet ويرد على /v1/responses بالخطأ 404. من دون model_type، استدعى DSPy المسار /v1/responses وفشل. ومع model_type="chat"، استدعى /v1/chat/completions بمعرّف النموذج broadnet/glm-5.3 ومفتاح Bearer، وحلّل حقل الإجابة. ولاحظنا أن DSPy أرسل حد المخرجات في الحقل max_completion_tokens. أما المرجع التقني لـ BroadNet API فيصف الحقل max_tokens ولا يذكر max_completion_tokens، لذا لا يمكننا تأكيد أن BroadNet تطبّق حدًا يُرسَل بهذه الطريقة. واختبرنا على خادم وهمي لا بمفتاح BroadNet، لذا لم نتحقق من مخرجات نموذج حقيقية.

حل المشكلات

  • 404 على /v1/responses. أضف model_type="chat".
  • 404 على /v1/chat/completions. يجب أن ينتهي api_base بـ /v1، وأن يكون اسم النموذج هو openai/ متبوعًا بمعرّف BroadNet الكامل. النماذج المدفوعة تحتاج إلى شحن الرصيد؛ والرصيد البالغ $5 يغطي broadnet/gemma-4-26b-a4b ونموذجَي Transcribe فقط.
  • “Expected to find output fields”. (ترجمة: كان متوقعًا العثور على حقول المخرجات.) كانت الإجابة فارغة أو مبتورة، غالبًا لأن الاستدلال المنطقي استنفد ميزانية المخرجات. ارفع max_tokens. راجع لماذا تعود الإجابات فارغة.
  • 429 أثناء التحسين. يسمح مفتاح الدفع حسب الاستخدام بـ 30 من الطلبات في الدقيقة و4 قيد التنفيذ. خفّض عدد خيوط المحسّن وراجع الأخطاء وإعادة المحاولة.

أسئلة شائعة

لماذا يستدعي DSPy المسار /v1/responses على BroadNet؟

يقول مرجع dspy.LM في DSPy 3.5 إن قيمة model_type الافتراضية 'auto' تجعل نماذج OpenAI تستخدم Responses API. ويُعامَل نموذج openai/ مع api_base مخصّص بالطريقة نفسها. مرّر model_type="chat" لاستخدام chat completions، وهي ما تخدمه BroadNet.

كيف أكتب معرّف نموذج BroadNet في DSPy؟

ضع openai/ قبل معرّف BroadNet، مثل openai/broadnet/glm-5.3. يستخدم DSPy البادئة openai/ لاختيار العميل، وفي اختبارنا أرسل broadnet/glm-5.3 على أنه النموذج.

أي نموذج من BroadNet يناسب محسّنات DSPy؟

تُجري المحسّنات استدعاءات كثيرة، فالتكلفة وحدود المعدل مهمة. نموذج DeepSeek V4.1 Flash سعره منخفض لكل رمز، وهو النموذج المتاح في خطط BroadNet ثابتة السعر التي لا تُحتسب بالرمز. واستخدم GLM 5.3 أو Qwen3.8 27B للوحدات التي تستدعي الأدوات، مثل ReAct.

هل تؤثر ذاكرة DSPy المؤقتة عند العمل مع BroadNet؟

يخزّن DSPy استدعاءات النموذج مؤقتًا افتراضيًا (cache=True)، فتكرار الاستدعاء نفسه لا يكلّف شيئًا. اضبط cache=False أثناء التحقق من الاتصال، وإلا فقد تنظر إلى إجابة مخزّنة مؤقتًا.

اقرأها بصيغة Markdownاسأل ChatGPTاسأل Claudeاسأل Perplexity