BroadRouter

promptfoo से BroadNet मॉडल का इवैल्युएशन करें

अपडेट किया गया

promptfooconfig.yaml में openai:chat:broadnet/glm-5.3 id वाला एक प्रोवाइडर जोड़ें, जिसके config में apiBaseUrl हो https://inference.broadnet.ai/v1 और apiKeyEnvar हो BROADNET_API_KEY। openai:chat प्रीफ़िक्स रखें, ताकि promptfoo हमेशा Chat Completions कॉल करे, जो BroadNet देता है। max_tokens ख़ुद सेट करें, क्योंकि promptfoo की डिफ़ॉल्ट आउटपुट सीमा 1,024 टोकन है।

promptfoo, प्रॉम्प्ट टेस्ट करने, मॉडलों की तुलना करने और LLM ऐप की red-teaming के लिए एक ओपन-सोर्स CLI है। इसका OpenAI प्रोवाइडर apiBaseUrl के ज़रिए OpenAI-कम्पैटिबल गेटवे के साथ काम करता है। BroadNet Inference https://inference.broadnet.ai/v1 पर chat completions देता है, इसलिए आप एक ही YAML फ़ाइल से BroadNet के मॉडलों की आपस में, या उन मॉडलों से जो आप पहले से इस्तेमाल करते हैं, तुलना कर सकते हैं। BroadRouter, BroadNet की अपनी साइट है। यह गाइड रिलीज़ 0.125.1 के समय के promptfoo के OpenAI प्रोवाइडर डॉक्स के अनुसार है।

सेटअप

npm install -g promptfoo     # or: npx promptfoo@latest
export BROADNET_API_KEY='your-broadnet-key'

promptfooconfig.yaml

description: BroadNet model comparison
prompts:
  - 'What is the capital of Saudi Arabia? Answer in one sentence.'
providers:
  - id: openai:chat:broadnet/glm-5.3
    label: GLM 5.3
    config:
      apiBaseUrl: https://inference.broadnet.ai/v1
      apiKeyEnvar: BROADNET_API_KEY
      max_tokens: 4000
  - id: openai:chat:broadnet/deepseek-v4.1-flash
    label: DeepSeek V4.1 Flash
    config:
      apiBaseUrl: https://inference.broadnet.ai/v1
      apiKeyEnvar: BROADNET_API_KEY
      omitDefaults: true
tests:
  - assert:
      - type: icontains
        value: Riyadh

असली कॉन्फ़िग में टेस्ट इनपुट आम तौर पर tests.vars में रखे जाते हैं और प्रॉम्प्ट में promptfoo के डबल-ब्रेस टेम्पलेट सिंटैक्स से इस्तेमाल होते हैं। हमने यह कॉन्फ़िग फ़िक्स रखा है, ताकि यह जैसा लिखा है वैसा ही चल जाए।

इसे चलाएँ:

promptfoo eval
promptfoo view   # side-by-side results in the browser

हर सेटिंग क्या करती है

  • openai:chat: और उसके बाद BroadNet ID. openai:chat: के बाद का पूरा हिस्सा भेजा जाने वाला मॉडल ID है, इसलिए broadnet/ प्रीफ़िक्स रखें। साफ़ लिखा chat हिस्सा Chat Completions एंडपॉइंट तय कर देता है; BroadNet, Responses API नहीं देता।
  • apiBaseUrl वह base URL है जिसमें /v1 हो, लेकिन /chat/completions नहीं। पाथ promptfoo ख़ुद जोड़ता है।
  • apiKeyEnvar उस वेरिएबल का नाम है जिसमें आपकी BroadNet key है। यह न मिले, तो promptfoo OPENAI_API_KEY पर वापस नहीं जाता।
  • max_tokens. non-reasoning अनुरोधों के लिए promptfoo के डिफ़ॉल्ट temperature: 0 और 1,024 टोकन की सीमा हैं। BroadNet के DeepSeek, GLM और Qwen मॉडल जवाब देने से पहले रीज़निंग करते हैं, इसलिए 1,024 पर ख़ाली जवाब आ सकते हैं। पहले प्रोवाइडर की तरह ज़्यादा सीमा सेट करें।
  • omitDefaults: true promptfoo का डिफ़ॉल्ट temperature और सीमा हटा देता है, जैसा दूसरे प्रोवाइडर में है। तब अनुरोध में promptfoo की ओर से कोई आउटपुट सीमा नहीं होती।

मॉडल से ग्रेड होने वाले assertions

प्रोवाइडर की सेटिंग llm-rubric जैसे ग्रेडर पर लागू नहीं होतीं। BroadNet मॉडल से ग्रेड करने के लिए उसे ग्रेडर के लिए फिर से जोड़ें:

defaultTest:
  options:
    provider:
      id: openai:chat:broadnet/glm-5.3
      config:
        apiBaseUrl: https://inference.broadnet.ai/v1
        apiKeyEnvar: BROADNET_API_KEY
        max_tokens: 4000

किन मॉडलों की तुलना करें

मॉडल किसके लिए अच्छा
broadnet/glm-5.3 टूल कॉलिंग और स्ट्रक्चर्ड आउटपुट के टेस्ट
broadnet/qwen3.8-27b इमेज, अरबी टेक्स्ट या टूल वाले टेस्ट
broadnet/deepseek-v4.1-flash लंबे कॉन्टेक्स्ट और लागत के प्रति संवेदनशील टेस्ट
broadnet/gemma-4-26b-a4b $5 के शुरुआती क्रेडिट पर मुफ़्त टेस्ट

BroadNet के डॉक्स टूल और स्ट्रक्चर्ड आउटपुट सिर्फ़ GLM 5.3 और Qwen3.8 27B के लिए सूचीबद्ध करते हैं। हर मॉडल की कीमतें।

हमने इसे कैसे टेस्ट किया

2026-11-15 को हमने Node 24 के साथ promptfoo 0.125.1 इंस्टॉल किया और ऊपर जैसे कॉन्फ़िग पर promptfoo eval चलाया, जो एक लोकल मॉक सर्वर की ओर था, जो BroadNet के chat-completions फ़ॉर्मैट में बात करता है। टेस्ट पास हुए। लॉग किए गए अनुरोध /v1/chat/completions पर गए, BroadNet मॉडल ID बिना बदलाव के और Bearer key के साथ। पहले प्रोवाइडर ने max_tokens: 4000 और temperature: 0 भेजा; omitDefaults: true वाले प्रोवाइडर ने सिर्फ़ मॉडल और मैसेज भेजे। BROADNET_API_KEY सेट न होने पर promptfoo “Missing BROADNET_API_KEY” के साथ रुक गया। हमने ग्रेडर टेस्ट नहीं किए, और हमारे पास BroadNet key नहीं थी, इसलिए असली मॉडल आउटपुट टेस्ट नहीं किया।

समस्या निवारण

  • ख़ाली या कटे हुए आउटपुट. max_tokens बढ़ाएँ। जवाब ख़ाली क्यों आते हैं।
  • 404. जाँचें कि apiBaseUrl का अंत /v1 पर है और openai:chat: के बाद वाले मॉडल ID में broadnet/ प्रीफ़िक्स है। पेड मॉडल के लिए टॉप-अप चाहिए; $5 का क्रेडिट सिर्फ़ broadnet/gemma-4-26b-a4b और दोनों Transcribe मॉडल को कवर करता है।
  • बड़े evals के दौरान 429. promptfoo ने हमारा eval 4 की concurrency पर चलाया। उपयोग के अनुसार भुगतान वाली key प्रति मिनट 30 अनुरोध और एक साथ 4 चालू अनुरोधों की अनुमति देती है, इसलिए बड़े टेस्ट सेट के लिए इसे promptfoo eval -j 1 से कम करें। एरर और रीट्राई देखें।

अक्सर पूछे जाने वाले सवाल

promptfoo प्रोवाइडर के प्रीफ़िक्स में openai:chat लिखूँ या openai?

openai:chat। openai:chat:broadnet/glm-5.3 के साथ promptfoo, /v1/chat/completions कॉल करता है, जो BroadNet देता है। promptfoo के डॉक्स कहते हैं कि सिर्फ़ openai प्रीफ़िक्स के बाद अनजाना मॉडल नाम भी Chat Completions पर चला जाता है, लेकिन साफ़ chat प्रीफ़िक्स उस नियम पर निर्भर नहीं रहता।

promptfoo में BroadNet के जवाब बीच में क्यों कट जाते हैं?

non-reasoning अनुरोधों के लिए promptfoo डिफ़ॉल्ट रूप से 1,024 टोकन की आउटपुट सीमा लगाता है, और BroadNet के DeepSeek, GLM और Qwen मॉडल आउटपुट बजट का कुछ हिस्सा रीज़निंग पर ख़र्च करते हैं। प्रोवाइडर config में max_tokens सेट करें, या omitDefaults को true करें।

क्या apiKeyEnvar न मिलने पर OPENAI_API_KEY इस्तेमाल होता है?

नहीं। promptfoo के डॉक्स कहते हैं कि बताया गया वेरिएबल न मिले, तो वह OPENAI_API_KEY पर वापस नहीं जाता। हमारे टेस्ट में यह "Missing BROADNET_API_KEY" के साथ रुक गया।

क्या BroadNet मॉडल llm-rubric assertions को ग्रेड कर सकता है?

हाँ, लेकिन promptfoo के डॉक्स कहते हैं कि प्रोवाइडर की सेटिंग ग्रेडर पर लागू नहीं होतीं। ग्रेडर को defaultTest.options.provider में उसी id और config के साथ अलग से सेट करें।

Markdown में पढ़ेंChatGPT से पूछेंClaude से पूछेंPerplexity से पूछें