promptfoo ialah CLI sumber terbuka untuk menguji prompt, membandingkan model dan red-teaming aplikasi LLM. Penyedia OpenAI-nya berfungsi dengan gateway serasi OpenAI melalui apiBaseUrl. BroadNet Inference menyediakan chat completions di https://inference.broadnet.ai/v1, jadi anda boleh membandingkan model BroadNet sesama sendiri, atau dengan model yang sudah anda gunakan, daripada satu fail YAML. BroadRouter ialah laman web BroadNet sendiri; panduan ini mengikut dokumentasi penyedia OpenAI promptfoo setakat keluaran 0.125.1.
Sediakan
npm install -g promptfoo # or: npx promptfoo@latest
export BROADNET_API_KEY='your-broadnet-key'
promptfooconfig.yaml
description: BroadNet model comparison
prompts:
- 'What is the capital of Saudi Arabia? Answer in one sentence.'
providers:
- id: openai:chat:broadnet/glm-5.3
label: GLM 5.3
config:
apiBaseUrl: https://inference.broadnet.ai/v1
apiKeyEnvar: BROADNET_API_KEY
max_tokens: 4000
- id: openai:chat:broadnet/deepseek-v4.1-flash
label: DeepSeek V4.1 Flash
config:
apiBaseUrl: https://inference.broadnet.ai/v1
apiKeyEnvar: BROADNET_API_KEY
omitDefaults: true
tests:
- assert:
- type: icontains
value: Riyadh
Konfigurasi sebenar biasanya meletakkan input ujian dalam tests.vars dan merujuknya dalam prompt dengan sintaks templat kurungan kerinting berganda promptfoo. Kami kekalkan yang ini tetap supaya ia berjalan seperti yang ditulis.
Jalankannya:
promptfoo eval
promptfoo view # side-by-side results in the browser
Fungsi setiap tetapan
openai:chat:serta ID BroadNet. Semua yang selepasopenai:chat:ialah ID model yang dihantar, jadi kekalkan awalanbroadnet/. Bahagianchatyang eksplisit menyemat endpoint Chat Completions; BroadNet tidak menyediakan Responses API.apiBaseUrlialah base URL dengan/v1, tetapi tanpa/chat/completions. promptfoo menambah laluan itu.apiKeyEnvarmenamakan pemboleh ubah yang menyimpan kunci BroadNet anda. promptfoo tidak jatuh kembali kepadaOPENAI_API_KEYjika ia tiada.max_tokens. Lalai promptfoo untuk permintaan bukan penaakulan ialahtemperature: 0dan had 1,024 token. Model DeepSeek, GLM dan Qwen BroadNet membuat penaakulan sebelum menjawab, jadi 1,024 boleh menghasilkan jawapan kosong. Tetapkan had yang lebih tinggi, seperti dalam penyedia pertama.omitDefaults: truemembuang temperature dan had lalai promptfoo, seperti dalam penyedia kedua. Permintaan itu kemudiannya tiada had output daripada promptfoo.
Penegasan yang digred oleh model
Tetapan penyedia tidak terpakai pada grader seperti llm-rubric. Untuk menggred dengan model BroadNet, tambahkannya sekali lagi untuk grader:
defaultTest:
options:
provider:
id: openai:chat:broadnet/glm-5.3
config:
apiBaseUrl: https://inference.broadnet.ai/v1
apiKeyEnvar: BROADNET_API_KEY
max_tokens: 4000
Model mana yang patut dibandingkan
| Model | Sesuai untuk |
|---|---|
broadnet/glm-5.3 |
Ujian tool calling dan output berstruktur |
broadnet/qwen3.8-27b |
Ujian dengan imej, teks Arab atau tools |
broadnet/deepseek-v4.1-flash |
Ujian konteks panjang dan yang sensitif kos |
broadnet/gemma-4-26b-a4b |
Ujian percuma dengan kredit permulaan $5 |
Dokumentasi BroadNet menyenaraikan tools dan output berstruktur untuk GLM 5.3 dan Qwen3.8 27B sahaja. Harga setiap model.
Cara kami mengujinya
Pada 2026-11-15 kami memasang promptfoo 0.125.1 dengan Node 24 dan menjalankan promptfoo eval pada konfigurasi seperti di atas, dihalakan ke pelayan olok-olok tempatan yang mengikut bentuk chat completions BroadNet. Ujian lulus. Permintaan yang dilog pergi ke /v1/chat/completions dengan ID model BroadNet tidak berubah dan kunci Bearer. Penyedia pertama menghantar max_tokens: 4000 dan temperature: 0; penyedia dengan omitDefaults: true hanya menghantar model dan messages. Apabila BROADNET_API_KEY tidak ditetapkan, promptfoo berhenti dengan “Missing BROADNET_API_KEY”. Kami tidak menguji grader, dan kami tiada kunci BroadNet, jadi kami tidak menguji output model sebenar.
Penyelesaian masalah
- Output kosong atau terpotong. Naikkan
max_tokens. Mengapa jawapan kosong. - 404. Pastikan
apiBaseUrlberakhir dengan/v1dan ID model selepasopenai:chat:mengekalkan awalanbroadnet/. Model berbayar memerlukan tambah nilai; kredit $5 hanya meliputibroadnet/gemma-4-26b-a4bdan dua model Transcribe. - 429 semasa eval besar. promptfoo menjalankan eval kami dengan concurrency 4. Kunci bayar ikut guna membenarkan 30 permintaan seminit dan 4 serentak, jadi turunkannya dengan
promptfoo eval -j 1untuk set ujian yang besar. Lihat ralat dan cuba semula.
