BroadRouter

تقييم نماذج BroadNet باستخدام promptfoo

آخر تحديث

في promptfooconfig.yaml، أضف مزوّدًا بالمعرّف openai:chat:broadnet/glm-5.3 مع إعداد يضبط apiBaseUrl على https://inference.broadnet.ai/v1 وapiKeyEnvar على BROADNET_API_KEY. استخدم البادئة openai:chat كي يستدعي promptfoo دائمًا Chat Completions، وهي نقطة النهاية التي يقدّمها BroadNet. واضبط max_tokens بنفسك، لأن حد المخرجات الافتراضي في promptfoo هو 1,024 رمزًا.

promptfoo أداة سطر أوامر مفتوحة المصدر لاختبار الأوامر (prompts) ومقارنة النماذج واختبار تطبيقات LLM هجوميًا (red-teaming). ويعمل مزوّد OpenAI فيها مع البوابات المتوافقة مع OpenAI عبر apiBaseUrl. ويقدّم BroadNet Inference إكمال المحادثات على https://inference.broadnet.ai/v1، لذا يمكنك مقارنة نماذج BroadNet ببعضها، أو بنماذج تستخدمها أصلًا، من ملف YAML واحد. موقع BroadRouter هو موقع BroadNet نفسها، ويتبع هذا الدليل وثائق مزوّد OpenAI في promptfoo كما هي في الإصدار 0.125.1.

الإعداد

npm install -g promptfoo     # or: npx promptfoo@latest
export BROADNET_API_KEY='your-broadnet-key'

promptfooconfig.yaml

description: BroadNet model comparison
prompts:
  - 'What is the capital of Saudi Arabia? Answer in one sentence.'
providers:
  - id: openai:chat:broadnet/glm-5.3
    label: GLM 5.3
    config:
      apiBaseUrl: https://inference.broadnet.ai/v1
      apiKeyEnvar: BROADNET_API_KEY
      max_tokens: 4000
  - id: openai:chat:broadnet/deepseek-v4.1-flash
    label: DeepSeek V4.1 Flash
    config:
      apiBaseUrl: https://inference.broadnet.ai/v1
      apiKeyEnvar: BROADNET_API_KEY
      omitDefaults: true
tests:
  - assert:
      - type: icontains
        value: Riyadh

في الإعدادات الفعلية توضع مدخلات الاختبار عادةً في tests.vars ويُشار إليها في الأمر بصيغة القوالب ذات الأقواس المزدوجة في promptfoo. أبقينا هذا المثال ثابتًا كي يعمل كما هو مكتوب.

شغّله:

promptfoo eval
promptfoo view   # side-by-side results in the browser

وظيفة كل إعداد

  • openai:chat: مع معرّف BroadNet. كل ما بعد openai:chat: هو معرّف النموذج المُرسَل، فأبقِ البادئة broadnet/. والجزء الصريح chat يثبّت نقطة نهاية Chat Completions؛ فـ BroadNet لا يقدّم Responses API.
  • apiBaseUrl هو العنوان الأساسي مع /v1، لكن دون /chat/completions. يضيف promptfoo المسار بنفسه.
  • apiKeyEnvar يسمّي المتغير الذي يحمل مفتاح BroadNet. ولا يعود promptfoo إلى OPENAI_API_KEY إذا كان مفقودًا.
  • max_tokens. القيم الافتراضية في promptfoo للطلبات غير الاستدلالية هي temperature: 0 وحد قدره 1,024 رمزًا. ونماذج DeepSeek وGLM وQwen في BroadNet تُجري استدلالًا منطقيًا قبل أن تجيب، لذا قد ينتج عن 1,024 إجابات فارغة. اضبط حدًّا أعلى، كما في المزوّد الأول.
  • omitDefaults: true يُسقط درجة الحرارة والحد الافتراضيين في promptfoo، كما في المزوّد الثاني. وعندها لا يحمل الطلب أي حد للمخرجات من promptfoo.

التأكيدات التي يقيّمها نموذج

لا تنطبق إعدادات المزوّد على المُقيِّمات مثل llm-rubric. وللتقييم بنموذج من BroadNet، أضفه مرة أخرى للمُقيِّم:

defaultTest:
  options:
    provider:
      id: openai:chat:broadnet/glm-5.3
      config:
        apiBaseUrl: https://inference.broadnet.ai/v1
        apiKeyEnvar: BROADNET_API_KEY
        max_tokens: 4000

أي النماذج تقارن

النموذج مناسب لـ
broadnet/glm-5.3 اختبارات استدعاء الأدوات والمخرجات المنظَّمة
broadnet/qwen3.8-27b اختبارات تتضمن صورًا أو نصوصًا عربية أو أدوات
broadnet/deepseek-v4.1-flash اختبارات السياق الطويل والاختبارات الحساسة للتكلفة
broadnet/gemma-4-26b-a4b اختبارات مجانية على الرصيد المبدئي البالغ $5

لا تدرج وثائق BroadNet الأدوات والمخرجات المنظَّمة إلا لنموذجَي GLM 5.3 وQwen3.8 27B. أسعار كل النماذج.

كيف اختبرنا هذا

في 2026-11-15 ثبّتنا promptfoo 0.125.1 مع Node 24 وشغّلنا promptfoo eval على إعداد يشبه الإعداد أعلاه، موجَّه إلى خادم وهمي (mock) محلي يتعامل بصيغة إكمال المحادثات في BroadNet. نجحت الاختبارات. ذهبت الطلبات المسجّلة إلى /v1/chat/completions مع معرّف نموذج BroadNet دون تغيير ومفتاح Bearer. أرسل المزوّد الأول max_tokens: 4000 وtemperature: 0؛ أما المزوّد الذي يحمل omitDefaults: true فلم يرسل إلا النموذج والرسائل. ومع عدم ضبط BROADNET_API_KEY توقّف promptfoo مع الرسالة “Missing BROADNET_API_KEY”. لم نختبر المُقيِّمات، ولم يكن لدينا مفتاح BroadNet، لذا لم نختبر مخرجات النماذج الحقيقية.

حل المشكلات

  • مخرجات فارغة أو مقطوعة. ارفع max_tokens. لماذا تصل الإجابات فارغة.
  • 404. تأكّد من أن apiBaseUrl ينتهي بـ /v1 وأن معرّف النموذج بعد openai:chat: يحتفظ بالبادئة broadnet/. تحتاج النماذج المدفوعة إلى شحن الرصيد؛ فرصيد $5 لا يغطي إلا broadnet/gemma-4-26b-a4b ونموذجَي Transcribe.
  • 429 أثناء التقييمات الكبيرة. شغّل promptfoo تقييمنا بدرجة تزامن 4. ويسمح مفتاح الدفع حسب الاستخدام بـ 30 من الطلبات في الدقيقة و4 قيد التنفيذ، لذا خفّضها بـ promptfoo eval -j 1 لمجموعات الاختبار الكبيرة. راجع الأخطاء وإعادة المحاولة.

أسئلة شائعة

هل أستخدم openai:chat أم openai بادئةً لمزوّد promptfoo؟

openai:chat. مع openai:chat:broadnet/glm-5.3 يستدعي promptfoo المسار /v1/chat/completions، وهو ما يقدّمه BroadNet. تقول وثائق promptfoo إن اسم نموذج غير معروف بعد البادئة openai وحدها يعود أيضًا إلى Chat Completions، لكن البادئة chat الصريحة لا تعتمد على هذه القاعدة.

لماذا تنقطع إجابات BroadNet في promptfoo؟

يضبط promptfoo افتراضيًا حدًّا للمخرجات قدره 1,024 رمزًا للطلبات غير الاستدلالية، ونماذج DeepSeek وGLM وQwen في BroadNet تنفق جزءًا من ميزانية المخرجات على الاستدلال المنطقي. اضبط max_tokens في إعداد المزوّد، أو اضبط omitDefaults على true.

هل يعود apiKeyEnvar إلى OPENAI_API_KEY؟

لا. تقول وثائق promptfoo إنه إذا كان المتغير المسمّى مفقودًا فلا يعود إلى OPENAI_API_KEY. وفي اختبارنا توقّف مع الرسالة "Missing BROADNET_API_KEY".

هل يمكن لنموذج من BroadNet تقييم تأكيدات llm-rubric؟

نعم، لكن وثائق promptfoo تقول إن إعدادات المزوّد لا تنطبق على المُقيِّمات. اضبط المُقيِّم منفصلًا تحت defaultTest.options.provider بالمعرّف والإعداد نفسيهما.

اقرأها بصيغة Markdownاسأل ChatGPTاسأل Claudeاسأل Perplexity