Ang promptfoo ay open-source na CLI para sa pag-test ng mga prompt, pagkumpara ng mga model at red-teaming ng mga LLM app. Gumagana ang OpenAI provider nito sa mga OpenAI-compatible gateway sa pamamagitan ng apiBaseUrl. Nagse-serve ang BroadNet Inference ng chat completions sa https://inference.broadnet.ai/v1, kaya puwede mong ikumpara ang mga model ng BroadNet sa isa’t isa, o sa mga model na gamit mo na, mula sa iisang YAML file. Sariling site ng BroadNet ang BroadRouter; sinusundan ng gabay na ito ang OpenAI provider docs ng promptfoo sa release 0.125.1.
I-set up
npm install -g promptfoo # or: npx promptfoo@latest
export BROADNET_API_KEY='your-broadnet-key'
promptfooconfig.yaml
description: BroadNet model comparison
prompts:
- 'What is the capital of Saudi Arabia? Answer in one sentence.'
providers:
- id: openai:chat:broadnet/glm-5.3
label: GLM 5.3
config:
apiBaseUrl: https://inference.broadnet.ai/v1
apiKeyEnvar: BROADNET_API_KEY
max_tokens: 4000
- id: openai:chat:broadnet/deepseek-v4.1-flash
label: DeepSeek V4.1 Flash
config:
apiBaseUrl: https://inference.broadnet.ai/v1
apiKeyEnvar: BROADNET_API_KEY
omitDefaults: true
tests:
- assert:
- type: icontains
value: Riyadh
Sa totoong config, karaniwang nasa tests.vars ang mga test input at tinutukoy sa prompt gamit ang double-brace template syntax ng promptfoo. Fixed ang isang ito para tumakbo ito nang eksakto kung paano isinulat.
Patakbuhin ito:
promptfoo eval
promptfoo view # side-by-side results in the browser
Ano ang ginagawa ng bawat setting
openai:chat:kasama ang BroadNet ID. Lahat ng nasa likod ngopenai:chat:ay ang model ID na ipinapadala, kaya panatilihin angbroadnet/prefix. Ang tahasangchatna bahagi ang nagpi-pin sa Chat Completions endpoint; hindi sine-serve ng BroadNet ang Responses API.apiBaseUrlay ang base URL na may/v1, pero walang/chat/completions. Ang promptfoo na ang nagdadagdag ng path.apiKeyEnvarang nagpapangalan sa variable na may laman ng BroadNet key mo. Hindi babagsak ang promptfoo saOPENAI_API_KEYkung wala ito.max_tokens. Ang default ng promptfoo para sa mga non-reasoning request aytemperature: 0at 1,024-token na limit. Nagre-reason muna bago sumagot ang mga DeepSeek, GLM at Qwen model ng BroadNet, kaya puwedeng magresulta ang 1,024 sa walang lamang sagot. Mag-set ng mas mataas na limit, gaya ng sa unang provider.omitDefaults: trueang nag-aalis ng default na temperature at limit ng promptfoo, gaya ng sa ikalawang provider. Wala nang output limit mula sa promptfoo ang request.
Mga model-graded assertion
Hindi naaapply ang provider settings sa mga grader gaya ng llm-rubric. Para mag-grade gamit ang isang BroadNet model, idagdag itong muli para sa grader:
defaultTest:
options:
provider:
id: openai:chat:broadnet/glm-5.3
config:
apiBaseUrl: https://inference.broadnet.ai/v1
apiKeyEnvar: BROADNET_API_KEY
max_tokens: 4000
Aling mga model ang ikukumpara
| Model | Bagay para sa |
|---|---|
broadnet/glm-5.3 |
Mga test sa tool calling at structured output |
broadnet/qwen3.8-27b |
Mga test na may larawan, Arabic na teksto o tools |
broadnet/deepseek-v4.1-flash |
Mga test na mahaba ang context at sensitibo sa gastos |
broadnet/gemma-4-26b-a4b |
Libreng test gamit ang $5 na panimulang credit |
Sa GLM 5.3 at Qwen3.8 27B lang nakalista sa docs ng BroadNet ang tools at structured output. Mga presyo ng bawat model.
Paano namin ito sinubukan
Noong 2026-11-15, nag-install kami ng promptfoo 0.125.1 sa Node 24 at pinatakbo ang promptfoo eval sa isang config na tulad ng nasa itaas, nakaturo sa isang local na mock server na sumusunod sa chat-completions na anyo ng BroadNet. Pumasa ang mga test. Pumunta sa /v1/chat/completions ang mga na-log na request, na hindi nabago ang BroadNet model ID at may Bearer key. Nagpadala ang unang provider ng max_tokens: 4000 at temperature: 0; ang provider na may omitDefaults: true ay model at messages lang ang ipinadala. Nang walang laman ang BROADNET_API_KEY, huminto ang promptfoo na may “Missing BROADNET_API_KEY”. Hindi namin sinubukan ang mga grader, at wala kaming BroadNet key, kaya hindi namin nasubukan ang totoong output ng model.
Troubleshooting
- Walang laman o putol na output. Taasan ang
max_tokens. Bakit walang laman ang mga sagot. - 404. Tiyaking nagtatapos sa
/v1angapiBaseUrlat maybroadnet/prefix pa rin ang model ID pagkatapos ngopenai:chat:. Kailangan ng top-up para sa mga bayad na model;broadnet/gemma-4-26b-a4bat ang dalawang Transcribe model lang ang sakop ng $5 na credit. - 429 sa malalaking eval. Concurrency na 4 ang ginamit ng promptfoo sa eval namin. Ang isang pay-as-you-go key ay may 30 request kada minuto at 4 na sabay-sabay, kaya ibaba ito gamit ang
promptfoo eval -j 1para sa malalaking test set. Tingnan ang errors and retries.
