promptfoo adalah CLI open source untuk menguji prompt, membandingkan model, dan melakukan red-teaming pada aplikasi LLM. Provider OpenAI-nya bekerja dengan gateway yang kompatibel dengan OpenAI lewat apiBaseUrl. BroadNet Inference melayani chat completions di https://inference.broadnet.ai/v1, jadi Anda bisa membandingkan model-model BroadNet satu sama lain, atau dengan model yang sudah Anda pakai, dari satu file YAML. BroadRouter adalah situs milik BroadNet sendiri; panduan ini mengikuti dokumentasi provider OpenAI promptfoo per rilis 0.125.1.
Setup
npm install -g promptfoo # or: npx promptfoo@latest
export BROADNET_API_KEY='your-broadnet-key'
promptfooconfig.yaml
description: BroadNet model comparison
prompts:
- 'What is the capital of Saudi Arabia? Answer in one sentence.'
providers:
- id: openai:chat:broadnet/glm-5.3
label: GLM 5.3
config:
apiBaseUrl: https://inference.broadnet.ai/v1
apiKeyEnvar: BROADNET_API_KEY
max_tokens: 4000
- id: openai:chat:broadnet/deepseek-v4.1-flash
label: DeepSeek V4.1 Flash
config:
apiBaseUrl: https://inference.broadnet.ai/v1
apiKeyEnvar: BROADNET_API_KEY
omitDefaults: true
tests:
- assert:
- type: icontains
value: Riyadh
Config sungguhan biasanya menaruh input uji di tests.vars dan merujuknya di prompt dengan sintaks template kurung kurawal ganda milik promptfoo. Contoh ini sengaja dibuat tetap agar bisa langsung dijalankan apa adanya.
Jalankan:
promptfoo eval
promptfoo view # side-by-side results in the browser
Fungsi setiap pengaturan
openai:chat:ditambah ID BroadNet. Semua yang ada setelahopenai:chat:adalah ID model yang dikirim, jadi pertahankan prefiksbroadnet/. Bagianchatyang eksplisit mengunci endpoint Chat Completions; BroadNet tidak melayani Responses API.apiBaseUrladalah base URL dengan/v1, tetapi tanpa/chat/completions. promptfoo menambahkan path-nya.apiKeyEnvarberisi nama variabel yang menyimpan kunci BroadNet Anda. promptfoo tidak fallback keOPENAI_API_KEYjika variabel itu tidak ada.max_tokens. Default promptfoo untuk permintaan non-reasoning adalahtemperature: 0dan batas 1.024 token. Model DeepSeek, GLM, dan Qwen di BroadNet bernalar sebelum menjawab, jadi 1.024 bisa menghasilkan jawaban kosong. Pasang batas yang lebih tinggi, seperti pada provider pertama.omitDefaults: truemembuang temperature dan batas default promptfoo, seperti pada provider kedua. Permintaan lalu tidak membawa batas output dari promptfoo.
Assertion yang dinilai model
Pengaturan provider tidak berlaku untuk grader seperti llm-rubric. Untuk menilai dengan model BroadNet, tambahkan model itu sekali lagi untuk grader:
defaultTest:
options:
provider:
id: openai:chat:broadnet/glm-5.3
config:
apiBaseUrl: https://inference.broadnet.ai/v1
apiKeyEnvar: BROADNET_API_KEY
max_tokens: 4000
Model mana yang dibandingkan
| Model | Cocok untuk |
|---|---|
broadnet/glm-5.3 |
Uji tool calling dan output terstruktur |
broadnet/qwen3.8-27b |
Uji dengan gambar, teks Arab, atau tools |
broadnet/deepseek-v4.1-flash |
Uji konteks panjang dan yang sensitif biaya |
broadnet/gemma-4-26b-a4b |
Uji gratis dengan kredit awal $5 |
Dokumentasi BroadNet mencantumkan tools dan output terstruktur hanya untuk GLM 5.3 dan Qwen3.8 27B. Harga semua model.
Cara kami menguji ini
Pada 2026-11-15 kami menginstal promptfoo 0.125.1 dengan Node 24 dan menjalankan promptfoo eval pada config seperti di atas, diarahkan ke mock server lokal yang meniru format chat completions BroadNet. Ujinya lolos. Permintaan yang tercatat menuju /v1/chat/completions dengan ID model BroadNet tanpa perubahan dan kunci Bearer. Provider pertama mengirim max_tokens: 4000 dan temperature: 0; provider dengan omitDefaults: true hanya mengirim model dan pesan. Saat BROADNET_API_KEY tidak diatur, promptfoo berhenti dengan “Missing BROADNET_API_KEY”. Kami tidak menguji grader, dan karena tidak punya kunci BroadNet, kami tidak menguji output model sungguhan.
Troubleshooting
- Output kosong atau terpotong. Naikkan
max_tokens. Kenapa jawaban kembali kosong. - 404. Pastikan
apiBaseUrldiakhiri/v1dan ID model setelahopenai:chat:tetap memakai prefiksbroadnet/. Model berbayar memerlukan top up; kredit $5 hanya mencakupbroadnet/gemma-4-26b-a4bdan dua model Transcribe. - 429 saat eval besar. promptfoo menjalankan eval kami dengan concurrency 4. Kunci bayar sesuai pemakaian mengizinkan 30 permintaan per menit dan 4 permintaan yang berjalan bersamaan, jadi turunkan dengan
promptfoo eval -j 1untuk set uji yang besar. Lihat error dan percobaan ulang.
