promptfoo، پرامپٹس ٹیسٹ کرنے، ماڈلز کا موازنہ کرنے اور LLM ایپس کی red-teaming کے لیے ایک اوپن سورس CLI ہے۔ اس کا OpenAI پرووائیڈر apiBaseUrl کے ذریعے OpenAI-compatible گیٹ ویز کے ساتھ کام کرتا ہے۔ BroadNet Inference، https://inference.broadnet.ai/v1 پر چیٹ کمپلیشنز فراہم کرتا ہے، اس لیے آپ ایک ہی YAML فائل سے BroadNet کے ماڈلز کا آپس میں، یا ان ماڈلز سے جو آپ پہلے سے استعمال کرتے ہیں، موازنہ کر سکتے ہیں۔ BroadRouter، BroadNet کی اپنی سائٹ ہے۔ یہ گائیڈ ریلیز 0.125.1 کے وقت کی promptfoo کی OpenAI پرووائیڈر دستاویزات کے مطابق ہے۔
سیٹ اپ
npm install -g promptfoo # or: npx promptfoo@latest
export BROADNET_API_KEY='your-broadnet-key'
promptfooconfig.yaml
description: BroadNet model comparison
prompts:
- 'What is the capital of Saudi Arabia? Answer in one sentence.'
providers:
- id: openai:chat:broadnet/glm-5.3
label: GLM 5.3
config:
apiBaseUrl: https://inference.broadnet.ai/v1
apiKeyEnvar: BROADNET_API_KEY
max_tokens: 4000
- id: openai:chat:broadnet/deepseek-v4.1-flash
label: DeepSeek V4.1 Flash
config:
apiBaseUrl: https://inference.broadnet.ai/v1
apiKeyEnvar: BROADNET_API_KEY
omitDefaults: true
tests:
- assert:
- type: icontains
value: Riyadh
حقیقی کنفیگز میں ٹیسٹ ان پٹس عموماً tests.vars میں رکھے جاتے ہیں اور پرامپٹ میں promptfoo کے ڈبل بریس ٹیمپلیٹ سنٹیکس سے استعمال ہوتے ہیں۔ ہم نے یہ کنفیگ فکسڈ رکھی ہے تاکہ یہ جیسی لکھی ہے ویسی ہی چل جائے۔
اسے چلائیں:
promptfoo eval
promptfoo view # side-by-side results in the browser
ہر سیٹنگ کیا کرتی ہے
openai:chat:اور اس کے بعد BroadNet ID۔openai:chat:کے بعد کا پورا حصہ بھیجا جانے والا ماڈل ID ہے، اس لیےbroadnet/پری فکس رکھیں۔ واضح طور پر لکھاchatحصہ Chat Completions اینڈپوائنٹ طے کر دیتا ہے؛ BroadNet، Responses API فراہم نہیں کرتا۔apiBaseUrlوہ base URL ہے جس میں/v1ہو، لیکن/chat/completionsنہیں۔ پاتھ promptfoo خود جوڑتا ہے۔apiKeyEnvarاس ویری ایبل کا نام ہے جس میں آپ کی BroadNet کلید ہے۔ یہ نہ ملے تو promptfoo،OPENAI_API_KEYپر واپس نہیں جاتا۔max_tokens۔ non-reasoning درخواستوں کے لیے promptfoo کے ڈیفالٹسtemperature: 0اور 1,024 ٹوکن کی حد ہیں۔ BroadNet کے DeepSeek، GLM اور Qwen ماڈلز جواب دینے سے پہلے ریزننگ کرتے ہیں، اس لیے 1,024 پر خالی جوابات آ سکتے ہیں۔ پہلے پرووائیڈر کی طرح زیادہ حد سیٹ کریں۔omitDefaults: truepromptfoo کا ڈیفالٹ temperature اور حد ہٹا دیتا ہے، جیسا کہ دوسرے پرووائیڈر میں ہے۔ تب درخواست میں promptfoo کی طرف سے کوئی آؤٹ پٹ حد نہیں ہوتی۔
ماڈل سے گریڈ ہونے والی assertions
پرووائیڈر کی سیٹنگز llm-rubric جیسے گریڈرز پر لاگو نہیں ہوتیں۔ BroadNet ماڈل سے گریڈ کرنے کے لیے اسے گریڈر کے لیے دوبارہ شامل کریں:
defaultTest:
options:
provider:
id: openai:chat:broadnet/glm-5.3
config:
apiBaseUrl: https://inference.broadnet.ai/v1
apiKeyEnvar: BROADNET_API_KEY
max_tokens: 4000
کن ماڈلز کا موازنہ کریں
| ماڈل | کس کام کے لیے اچھا |
|---|---|
broadnet/glm-5.3 |
ٹول کالنگ اور اسٹرکچرڈ آؤٹ پٹ کے ٹیسٹ |
broadnet/qwen3.8-27b |
امیجز، عربی متن یا ٹولز والے ٹیسٹ |
broadnet/deepseek-v4.1-flash |
لمبے کانٹیکسٹ اور لاگت کے لحاظ سے حساس ٹیسٹ |
broadnet/gemma-4-26b-a4b |
$5 کے ابتدائی کریڈٹ پر مفت ٹیسٹ |
BroadNet کی دستاویزات ٹولز اور اسٹرکچرڈ آؤٹ پٹ صرف GLM 5.3 اور Qwen3.8 27B کے لیے درج کرتی ہیں۔ ہر ماڈل کی قیمتیں۔
ہم نے اسے کیسے ٹیسٹ کیا
2026-11-15 کو ہم نے Node 24 کے ساتھ promptfoo 0.125.1 انسٹال کیا اور اوپر جیسی کنفیگ پر promptfoo eval چلایا، جو ایک لوکل موک سرور کی طرف تھی جو BroadNet کی chat-completions ساخت میں بات کرتا ہے۔ ٹیسٹ پاس ہوئے۔ لاگ کی گئی درخواستیں /v1/chat/completions پر گئیں، BroadNet ماڈل ID بغیر تبدیلی کے اور Bearer کلید کے ساتھ۔ پہلے پرووائیڈر نے max_tokens: 4000 اور temperature: 0 بھیجا؛ omitDefaults: true والے پرووائیڈر نے صرف ماڈل اور میسجز بھیجے۔ BROADNET_API_KEY سیٹ نہ ہونے پر promptfoo “Missing BROADNET_API_KEY” کے ساتھ رک گیا۔ ہم نے گریڈرز ٹیسٹ نہیں کیے، اور ہمارے پاس BroadNet کلید نہیں تھی، اس لیے حقیقی ماڈل آؤٹ پٹ ٹیسٹ نہیں کیا۔
مسائل کا حل
- خالی یا کٹے ہوئے آؤٹ پٹس۔
max_tokensبڑھائیں۔ جوابات خالی کیوں آتے ہیں۔ - 404۔ جانچیں کہ
apiBaseUrlکے آخر میں/v1ہے اورopenai:chat:کے بعد والے ماڈل ID میںbroadnet/پری فکس موجود ہے۔ پیڈ ماڈلز کے لیے ٹاپ اپ چاہیے؛ $5 کریڈٹ صرفbroadnet/gemma-4-26b-a4bاور دونوں Transcribe ماڈلز کو کور کرتا ہے۔ - بڑے evals کے دوران 429۔ promptfoo نے ہمارا eval 4 کی concurrency پر چلایا۔ استعمال کے مطابق ادائیگی والی کلید فی منٹ 30 درخواستوں اور بیک وقت 4 جاری درخواستوں کی اجازت دیتی ہے، اس لیے بڑے ٹیسٹ سیٹس کے لیے اسے
promptfoo eval -j 1سے کم کریں۔ ایررز اور دوبارہ کوشش دیکھیں۔
