promptfoo أداة سطر أوامر مفتوحة المصدر لاختبار الأوامر (prompts) ومقارنة النماذج واختبار تطبيقات LLM هجوميًا (red-teaming). ويعمل مزوّد OpenAI فيها مع البوابات المتوافقة مع OpenAI عبر apiBaseUrl. ويقدّم BroadNet Inference إكمال المحادثات على https://inference.broadnet.ai/v1، لذا يمكنك مقارنة نماذج BroadNet ببعضها، أو بنماذج تستخدمها أصلًا، من ملف YAML واحد. موقع BroadRouter هو موقع BroadNet نفسها، ويتبع هذا الدليل وثائق مزوّد OpenAI في promptfoo كما هي في الإصدار 0.125.1.
الإعداد
npm install -g promptfoo # or: npx promptfoo@latest
export BROADNET_API_KEY='your-broadnet-key'
promptfooconfig.yaml
description: BroadNet model comparison
prompts:
- 'What is the capital of Saudi Arabia? Answer in one sentence.'
providers:
- id: openai:chat:broadnet/glm-5.3
label: GLM 5.3
config:
apiBaseUrl: https://inference.broadnet.ai/v1
apiKeyEnvar: BROADNET_API_KEY
max_tokens: 4000
- id: openai:chat:broadnet/deepseek-v4.1-flash
label: DeepSeek V4.1 Flash
config:
apiBaseUrl: https://inference.broadnet.ai/v1
apiKeyEnvar: BROADNET_API_KEY
omitDefaults: true
tests:
- assert:
- type: icontains
value: Riyadh
في الإعدادات الفعلية توضع مدخلات الاختبار عادةً في tests.vars ويُشار إليها في الأمر بصيغة القوالب ذات الأقواس المزدوجة في promptfoo. أبقينا هذا المثال ثابتًا كي يعمل كما هو مكتوب.
شغّله:
promptfoo eval
promptfoo view # side-by-side results in the browser
وظيفة كل إعداد
openai:chat:مع معرّف BroadNet. كل ما بعدopenai:chat:هو معرّف النموذج المُرسَل، فأبقِ البادئةbroadnet/. والجزء الصريحchatيثبّت نقطة نهاية Chat Completions؛ فـ BroadNet لا يقدّم Responses API.apiBaseUrlهو العنوان الأساسي مع/v1، لكن دون/chat/completions. يضيف promptfoo المسار بنفسه.apiKeyEnvarيسمّي المتغير الذي يحمل مفتاح BroadNet. ولا يعود promptfoo إلىOPENAI_API_KEYإذا كان مفقودًا.max_tokens. القيم الافتراضية في promptfoo للطلبات غير الاستدلالية هيtemperature: 0وحد قدره 1,024 رمزًا. ونماذج DeepSeek وGLM وQwen في BroadNet تُجري استدلالًا منطقيًا قبل أن تجيب، لذا قد ينتج عن 1,024 إجابات فارغة. اضبط حدًّا أعلى، كما في المزوّد الأول.omitDefaults: trueيُسقط درجة الحرارة والحد الافتراضيين في promptfoo، كما في المزوّد الثاني. وعندها لا يحمل الطلب أي حد للمخرجات من promptfoo.
التأكيدات التي يقيّمها نموذج
لا تنطبق إعدادات المزوّد على المُقيِّمات مثل llm-rubric. وللتقييم بنموذج من BroadNet، أضفه مرة أخرى للمُقيِّم:
defaultTest:
options:
provider:
id: openai:chat:broadnet/glm-5.3
config:
apiBaseUrl: https://inference.broadnet.ai/v1
apiKeyEnvar: BROADNET_API_KEY
max_tokens: 4000
أي النماذج تقارن
| النموذج | مناسب لـ |
|---|---|
broadnet/glm-5.3 |
اختبارات استدعاء الأدوات والمخرجات المنظَّمة |
broadnet/qwen3.8-27b |
اختبارات تتضمن صورًا أو نصوصًا عربية أو أدوات |
broadnet/deepseek-v4.1-flash |
اختبارات السياق الطويل والاختبارات الحساسة للتكلفة |
broadnet/gemma-4-26b-a4b |
اختبارات مجانية على الرصيد المبدئي البالغ $5 |
لا تدرج وثائق BroadNet الأدوات والمخرجات المنظَّمة إلا لنموذجَي GLM 5.3 وQwen3.8 27B. أسعار كل النماذج.
كيف اختبرنا هذا
في 2026-11-15 ثبّتنا promptfoo 0.125.1 مع Node 24 وشغّلنا promptfoo eval على إعداد يشبه الإعداد أعلاه، موجَّه إلى خادم وهمي (mock) محلي يتعامل بصيغة إكمال المحادثات في BroadNet. نجحت الاختبارات. ذهبت الطلبات المسجّلة إلى /v1/chat/completions مع معرّف نموذج BroadNet دون تغيير ومفتاح Bearer. أرسل المزوّد الأول max_tokens: 4000 وtemperature: 0؛ أما المزوّد الذي يحمل omitDefaults: true فلم يرسل إلا النموذج والرسائل. ومع عدم ضبط BROADNET_API_KEY توقّف promptfoo مع الرسالة “Missing BROADNET_API_KEY”. لم نختبر المُقيِّمات، ولم يكن لدينا مفتاح BroadNet، لذا لم نختبر مخرجات النماذج الحقيقية.
حل المشكلات
- مخرجات فارغة أو مقطوعة. ارفع
max_tokens. لماذا تصل الإجابات فارغة. - 404. تأكّد من أن
apiBaseUrlينتهي بـ/v1وأن معرّف النموذج بعدopenai:chat:يحتفظ بالبادئةbroadnet/. تحتاج النماذج المدفوعة إلى شحن الرصيد؛ فرصيد $5 لا يغطي إلاbroadnet/gemma-4-26b-a4bونموذجَي Transcribe. - 429 أثناء التقييمات الكبيرة. شغّل promptfoo تقييمنا بدرجة تزامن 4. ويسمح مفتاح الدفع حسب الاستخدام بـ 30 من الطلبات في الدقيقة و4 قيد التنفيذ، لذا خفّضها بـ
promptfoo eval -j 1لمجموعات الاختبار الكبيرة. راجع الأخطاء وإعادة المحاولة.
