BroadRouter

promptfoo سے BroadNet ماڈلز کی ایویلیوایشن کریں

اپ ڈیٹ

promptfooconfig.yaml میں openai:chat:broadnet/glm-5.3 والی id کا ایک پرووائیڈر شامل کریں جس کی config میں apiBaseUrl ہو https://inference.broadnet.ai/v1 اور apiKeyEnvar ہو BROADNET_API_KEY۔ openai:chat پری فکس رکھیں تاکہ promptfoo ہمیشہ Chat Completions کال کرے، جو BroadNet فراہم کرتا ہے۔ max_tokens خود سیٹ کریں، کیونکہ promptfoo کی ڈیفالٹ آؤٹ پٹ حد 1,024 ٹوکن ہے۔

promptfoo، پرامپٹس ٹیسٹ کرنے، ماڈلز کا موازنہ کرنے اور LLM ایپس کی red-teaming کے لیے ایک اوپن سورس CLI ہے۔ اس کا OpenAI پرووائیڈر apiBaseUrl کے ذریعے OpenAI-compatible گیٹ ویز کے ساتھ کام کرتا ہے۔ BroadNet Inference، https://inference.broadnet.ai/v1 پر چیٹ کمپلیشنز فراہم کرتا ہے، اس لیے آپ ایک ہی YAML فائل سے BroadNet کے ماڈلز کا آپس میں، یا ان ماڈلز سے جو آپ پہلے سے استعمال کرتے ہیں، موازنہ کر سکتے ہیں۔ BroadRouter، BroadNet کی اپنی سائٹ ہے۔ یہ گائیڈ ریلیز 0.125.1 کے وقت کی promptfoo کی OpenAI پرووائیڈر دستاویزات کے مطابق ہے۔

سیٹ اپ

npm install -g promptfoo     # or: npx promptfoo@latest
export BROADNET_API_KEY='your-broadnet-key'

promptfooconfig.yaml

description: BroadNet model comparison
prompts:
  - 'What is the capital of Saudi Arabia? Answer in one sentence.'
providers:
  - id: openai:chat:broadnet/glm-5.3
    label: GLM 5.3
    config:
      apiBaseUrl: https://inference.broadnet.ai/v1
      apiKeyEnvar: BROADNET_API_KEY
      max_tokens: 4000
  - id: openai:chat:broadnet/deepseek-v4.1-flash
    label: DeepSeek V4.1 Flash
    config:
      apiBaseUrl: https://inference.broadnet.ai/v1
      apiKeyEnvar: BROADNET_API_KEY
      omitDefaults: true
tests:
  - assert:
      - type: icontains
        value: Riyadh

حقیقی کنفیگز میں ٹیسٹ ان پٹس عموماً tests.vars میں رکھے جاتے ہیں اور پرامپٹ میں promptfoo کے ڈبل بریس ٹیمپلیٹ سنٹیکس سے استعمال ہوتے ہیں۔ ہم نے یہ کنفیگ فکسڈ رکھی ہے تاکہ یہ جیسی لکھی ہے ویسی ہی چل جائے۔

اسے چلائیں:

promptfoo eval
promptfoo view   # side-by-side results in the browser

ہر سیٹنگ کیا کرتی ہے

  • openai:chat: اور اس کے بعد BroadNet ID۔ openai:chat: کے بعد کا پورا حصہ بھیجا جانے والا ماڈل ID ہے، اس لیے broadnet/ پری فکس رکھیں۔ واضح طور پر لکھا chat حصہ Chat Completions اینڈپوائنٹ طے کر دیتا ہے؛ BroadNet، Responses API فراہم نہیں کرتا۔
  • apiBaseUrl وہ base URL ہے جس میں /v1 ہو، لیکن /chat/completions نہیں۔ پاتھ promptfoo خود جوڑتا ہے۔
  • apiKeyEnvar اس ویری ایبل کا نام ہے جس میں آپ کی BroadNet کلید ہے۔ یہ نہ ملے تو promptfoo، OPENAI_API_KEY پر واپس نہیں جاتا۔
  • max_tokens۔ non-reasoning درخواستوں کے لیے promptfoo کے ڈیفالٹس temperature: 0 اور 1,024 ٹوکن کی حد ہیں۔ BroadNet کے DeepSeek، GLM اور Qwen ماڈلز جواب دینے سے پہلے ریزننگ کرتے ہیں، اس لیے 1,024 پر خالی جوابات آ سکتے ہیں۔ پہلے پرووائیڈر کی طرح زیادہ حد سیٹ کریں۔
  • omitDefaults: true promptfoo کا ڈیفالٹ temperature اور حد ہٹا دیتا ہے، جیسا کہ دوسرے پرووائیڈر میں ہے۔ تب درخواست میں promptfoo کی طرف سے کوئی آؤٹ پٹ حد نہیں ہوتی۔

ماڈل سے گریڈ ہونے والی assertions

پرووائیڈر کی سیٹنگز llm-rubric جیسے گریڈرز پر لاگو نہیں ہوتیں۔ BroadNet ماڈل سے گریڈ کرنے کے لیے اسے گریڈر کے لیے دوبارہ شامل کریں:

defaultTest:
  options:
    provider:
      id: openai:chat:broadnet/glm-5.3
      config:
        apiBaseUrl: https://inference.broadnet.ai/v1
        apiKeyEnvar: BROADNET_API_KEY
        max_tokens: 4000

کن ماڈلز کا موازنہ کریں

ماڈل کس کام کے لیے اچھا
broadnet/glm-5.3 ٹول کالنگ اور اسٹرکچرڈ آؤٹ پٹ کے ٹیسٹ
broadnet/qwen3.8-27b امیجز، عربی متن یا ٹولز والے ٹیسٹ
broadnet/deepseek-v4.1-flash لمبے کانٹیکسٹ اور لاگت کے لحاظ سے حساس ٹیسٹ
broadnet/gemma-4-26b-a4b $5 کے ابتدائی کریڈٹ پر مفت ٹیسٹ

BroadNet کی دستاویزات ٹولز اور اسٹرکچرڈ آؤٹ پٹ صرف GLM 5.3 اور Qwen3.8 27B کے لیے درج کرتی ہیں۔ ہر ماڈل کی قیمتیں۔

ہم نے اسے کیسے ٹیسٹ کیا

2026-11-15 کو ہم نے Node 24 کے ساتھ promptfoo 0.125.1 انسٹال کیا اور اوپر جیسی کنفیگ پر promptfoo eval چلایا، جو ایک لوکل موک سرور کی طرف تھی جو BroadNet کی chat-completions ساخت میں بات کرتا ہے۔ ٹیسٹ پاس ہوئے۔ لاگ کی گئی درخواستیں /v1/chat/completions پر گئیں، BroadNet ماڈل ID بغیر تبدیلی کے اور Bearer کلید کے ساتھ۔ پہلے پرووائیڈر نے max_tokens: 4000 اور temperature: 0 بھیجا؛ omitDefaults: true والے پرووائیڈر نے صرف ماڈل اور میسجز بھیجے۔ BROADNET_API_KEY سیٹ نہ ہونے پر promptfoo “Missing BROADNET_API_KEY” کے ساتھ رک گیا۔ ہم نے گریڈرز ٹیسٹ نہیں کیے، اور ہمارے پاس BroadNet کلید نہیں تھی، اس لیے حقیقی ماڈل آؤٹ پٹ ٹیسٹ نہیں کیا۔

مسائل کا حل

  • خالی یا کٹے ہوئے آؤٹ پٹس۔ max_tokens بڑھائیں۔ جوابات خالی کیوں آتے ہیں۔
  • 404۔ جانچیں کہ apiBaseUrl کے آخر میں /v1 ہے اور openai:chat: کے بعد والے ماڈل ID میں broadnet/ پری فکس موجود ہے۔ پیڈ ماڈلز کے لیے ٹاپ اپ چاہیے؛ $5 کریڈٹ صرف broadnet/gemma-4-26b-a4b اور دونوں Transcribe ماڈلز کو کور کرتا ہے۔
  • بڑے evals کے دوران 429۔ promptfoo نے ہمارا eval 4 کی concurrency پر چلایا۔ استعمال کے مطابق ادائیگی والی کلید فی منٹ 30 درخواستوں اور بیک وقت 4 جاری درخواستوں کی اجازت دیتی ہے، اس لیے بڑے ٹیسٹ سیٹس کے لیے اسے promptfoo eval -j 1 سے کم کریں۔ ایررز اور دوبارہ کوشش دیکھیں۔

عام سوالات

promptfoo پرووائیڈر کے پری فکس میں openai:chat لکھوں یا openai؟

openai:chat۔ openai:chat:broadnet/glm-5.3 کے ساتھ promptfoo، /v1/chat/completions کال کرتا ہے، جو BroadNet فراہم کرتا ہے۔ promptfoo کی دستاویزات کہتی ہیں کہ صرف openai پری فکس کے بعد نامعلوم ماڈل نام بھی Chat Completions پر چلا جاتا ہے، لیکن واضح chat پری فکس اس اصول پر منحصر نہیں رہتا۔

promptfoo میں BroadNet کے جوابات بیچ میں کیوں کٹ جاتے ہیں؟

non-reasoning درخواستوں کے لیے promptfoo ڈیفالٹ طور پر 1,024 ٹوکن کی آؤٹ پٹ حد لگاتا ہے، اور BroadNet کے DeepSeek، GLM اور Qwen ماڈلز آؤٹ پٹ بجٹ کا کچھ حصہ ریزننگ پر خرچ کرتے ہیں۔ پرووائیڈر config میں max_tokens سیٹ کریں، یا omitDefaults کو true کریں۔

کیا apiKeyEnvar نہ ملنے پر OPENAI_API_KEY استعمال ہوتا ہے؟

نہیں۔ promptfoo کی دستاویزات کہتی ہیں کہ بتایا گیا ویری ایبل نہ ملے تو وہ OPENAI_API_KEY پر واپس نہیں جاتا۔ ہمارے ٹیسٹ میں یہ "Missing BROADNET_API_KEY" کے ساتھ رک گیا۔

کیا BroadNet ماڈل llm-rubric assertions کو گریڈ کر سکتا ہے؟

ہاں، لیکن promptfoo کی دستاویزات کہتی ہیں کہ پرووائیڈر کی سیٹنگز گریڈرز پر لاگو نہیں ہوتیں۔ گریڈر کو defaultTest.options.provider میں اسی id اور config کے ساتھ الگ سے سیٹ کریں۔

Markdown میں پڑھیںChatGPT سے پوچھیںClaude سے پوچھیںPerplexity سے پوچھیں