BroadRouter

Mengevaluasi model BroadNet dengan promptfoo

Diperbarui

Di promptfooconfig.yaml, tambahkan provider dengan id openai:chat:broadnet/glm-5.3 dan config yang mengisi apiBaseUrl dengan https://inference.broadnet.ai/v1 serta apiKeyEnvar dengan BROADNET_API_KEY. Gunakan prefiks openai:chat agar promptfoo selalu memanggil Chat Completions, endpoint yang dilayani BroadNet. Atur max_tokens sendiri, karena batas output default promptfoo adalah 1.024 token.

promptfoo adalah CLI open source untuk menguji prompt, membandingkan model, dan melakukan red-teaming pada aplikasi LLM. Provider OpenAI-nya bekerja dengan gateway yang kompatibel dengan OpenAI lewat apiBaseUrl. BroadNet Inference melayani chat completions di https://inference.broadnet.ai/v1, jadi Anda bisa membandingkan model-model BroadNet satu sama lain, atau dengan model yang sudah Anda pakai, dari satu file YAML. BroadRouter adalah situs milik BroadNet sendiri; panduan ini mengikuti dokumentasi provider OpenAI promptfoo per rilis 0.125.1.

Setup

npm install -g promptfoo     # or: npx promptfoo@latest
export BROADNET_API_KEY='your-broadnet-key'

promptfooconfig.yaml

description: BroadNet model comparison
prompts:
  - 'What is the capital of Saudi Arabia? Answer in one sentence.'
providers:
  - id: openai:chat:broadnet/glm-5.3
    label: GLM 5.3
    config:
      apiBaseUrl: https://inference.broadnet.ai/v1
      apiKeyEnvar: BROADNET_API_KEY
      max_tokens: 4000
  - id: openai:chat:broadnet/deepseek-v4.1-flash
    label: DeepSeek V4.1 Flash
    config:
      apiBaseUrl: https://inference.broadnet.ai/v1
      apiKeyEnvar: BROADNET_API_KEY
      omitDefaults: true
tests:
  - assert:
      - type: icontains
        value: Riyadh

Config sungguhan biasanya menaruh input uji di tests.vars dan merujuknya di prompt dengan sintaks template kurung kurawal ganda milik promptfoo. Contoh ini sengaja dibuat tetap agar bisa langsung dijalankan apa adanya.

Jalankan:

promptfoo eval
promptfoo view   # side-by-side results in the browser

Fungsi setiap pengaturan

  • openai:chat: ditambah ID BroadNet. Semua yang ada setelah openai:chat: adalah ID model yang dikirim, jadi pertahankan prefiks broadnet/. Bagian chat yang eksplisit mengunci endpoint Chat Completions; BroadNet tidak melayani Responses API.
  • apiBaseUrl adalah base URL dengan /v1, tetapi tanpa /chat/completions. promptfoo menambahkan path-nya.
  • apiKeyEnvar berisi nama variabel yang menyimpan kunci BroadNet Anda. promptfoo tidak fallback ke OPENAI_API_KEY jika variabel itu tidak ada.
  • max_tokens. Default promptfoo untuk permintaan non-reasoning adalah temperature: 0 dan batas 1.024 token. Model DeepSeek, GLM, dan Qwen di BroadNet bernalar sebelum menjawab, jadi 1.024 bisa menghasilkan jawaban kosong. Pasang batas yang lebih tinggi, seperti pada provider pertama.
  • omitDefaults: true membuang temperature dan batas default promptfoo, seperti pada provider kedua. Permintaan lalu tidak membawa batas output dari promptfoo.

Assertion yang dinilai model

Pengaturan provider tidak berlaku untuk grader seperti llm-rubric. Untuk menilai dengan model BroadNet, tambahkan model itu sekali lagi untuk grader:

defaultTest:
  options:
    provider:
      id: openai:chat:broadnet/glm-5.3
      config:
        apiBaseUrl: https://inference.broadnet.ai/v1
        apiKeyEnvar: BROADNET_API_KEY
        max_tokens: 4000

Model mana yang dibandingkan

Model Cocok untuk
broadnet/glm-5.3 Uji tool calling dan output terstruktur
broadnet/qwen3.8-27b Uji dengan gambar, teks Arab, atau tools
broadnet/deepseek-v4.1-flash Uji konteks panjang dan yang sensitif biaya
broadnet/gemma-4-26b-a4b Uji gratis dengan kredit awal $5

Dokumentasi BroadNet mencantumkan tools dan output terstruktur hanya untuk GLM 5.3 dan Qwen3.8 27B. Harga semua model.

Cara kami menguji ini

Pada 2026-11-15 kami menginstal promptfoo 0.125.1 dengan Node 24 dan menjalankan promptfoo eval pada config seperti di atas, diarahkan ke mock server lokal yang meniru format chat completions BroadNet. Ujinya lolos. Permintaan yang tercatat menuju /v1/chat/completions dengan ID model BroadNet tanpa perubahan dan kunci Bearer. Provider pertama mengirim max_tokens: 4000 dan temperature: 0; provider dengan omitDefaults: true hanya mengirim model dan pesan. Saat BROADNET_API_KEY tidak diatur, promptfoo berhenti dengan “Missing BROADNET_API_KEY”. Kami tidak menguji grader, dan karena tidak punya kunci BroadNet, kami tidak menguji output model sungguhan.

Troubleshooting

  • Output kosong atau terpotong. Naikkan max_tokens. Kenapa jawaban kembali kosong.
  • 404. Pastikan apiBaseUrl diakhiri /v1 dan ID model setelah openai:chat: tetap memakai prefiks broadnet/. Model berbayar memerlukan top up; kredit $5 hanya mencakup broadnet/gemma-4-26b-a4b dan dua model Transcribe.
  • 429 saat eval besar. promptfoo menjalankan eval kami dengan concurrency 4. Kunci bayar sesuai pemakaian mengizinkan 30 permintaan per menit dan 4 permintaan yang berjalan bersamaan, jadi turunkan dengan promptfoo eval -j 1 untuk set uji yang besar. Lihat error dan percobaan ulang.

Pertanyaan umum

Sebaiknya pakai openai:chat atau openai sebagai prefiks provider promptfoo?

openai:chat. Dengan openai:chat:broadnet/glm-5.3, promptfoo memanggil /v1/chat/completions, endpoint yang dilayani BroadNet. Dokumentasi promptfoo menyebut nama model yang tidak dikenal setelah prefiks openai saja juga akan jatuh ke Chat Completions, tetapi prefiks chat yang eksplisit tidak bergantung pada aturan itu.

Kenapa jawaban BroadNet terpotong di promptfoo?

Secara default promptfoo memasang batas output 1.024 token untuk permintaan non-reasoning, sementara model DeepSeek, GLM, dan Qwen di BroadNet memakai sebagian jatah output untuk penalaran. Atur max_tokens di config provider, atau isi omitDefaults dengan true.

Apakah apiKeyEnvar akan fallback ke OPENAI_API_KEY?

Tidak. Menurut dokumentasi promptfoo, jika variabel yang disebut tidak ada, promptfoo tidak fallback ke OPENAI_API_KEY. Dalam pengujian kami, promptfoo berhenti dengan "Missing BROADNET_API_KEY".

Bisakah model BroadNet menilai assertion llm-rubric?

Bisa, tetapi menurut dokumentasi promptfoo, pengaturan provider tidak berlaku untuk grader. Atur grader secara terpisah di defaultTest.options.provider dengan id dan config yang sama.

Baca sebagai MarkdownTanya ChatGPTTanya ClaudeTanya Perplexity