BroadRouter

Nilai model BroadNet dengan promptfoo

Dikemas kini

Dalam promptfooconfig.yaml, tambah penyedia dengan id openai:chat:broadnet/glm-5.3 dan config yang menetapkan apiBaseUrl kepada https://inference.broadnet.ai/v1 dan apiKeyEnvar kepada BROADNET_API_KEY. Gunakan awalan openai:chat supaya promptfoo sentiasa memanggil Chat Completions, endpoint yang disediakan oleh BroadNet. Tetapkan max_tokens sendiri, kerana had output lalai promptfoo ialah 1,024 token.

promptfoo ialah CLI sumber terbuka untuk menguji prompt, membandingkan model dan red-teaming aplikasi LLM. Penyedia OpenAI-nya berfungsi dengan gateway serasi OpenAI melalui apiBaseUrl. BroadNet Inference menyediakan chat completions di https://inference.broadnet.ai/v1, jadi anda boleh membandingkan model BroadNet sesama sendiri, atau dengan model yang sudah anda gunakan, daripada satu fail YAML. BroadRouter ialah laman web BroadNet sendiri; panduan ini mengikut dokumentasi penyedia OpenAI promptfoo setakat keluaran 0.125.1.

Sediakan

npm install -g promptfoo     # or: npx promptfoo@latest
export BROADNET_API_KEY='your-broadnet-key'

promptfooconfig.yaml

description: BroadNet model comparison
prompts:
  - 'What is the capital of Saudi Arabia? Answer in one sentence.'
providers:
  - id: openai:chat:broadnet/glm-5.3
    label: GLM 5.3
    config:
      apiBaseUrl: https://inference.broadnet.ai/v1
      apiKeyEnvar: BROADNET_API_KEY
      max_tokens: 4000
  - id: openai:chat:broadnet/deepseek-v4.1-flash
    label: DeepSeek V4.1 Flash
    config:
      apiBaseUrl: https://inference.broadnet.ai/v1
      apiKeyEnvar: BROADNET_API_KEY
      omitDefaults: true
tests:
  - assert:
      - type: icontains
        value: Riyadh

Konfigurasi sebenar biasanya meletakkan input ujian dalam tests.vars dan merujuknya dalam prompt dengan sintaks templat kurungan kerinting berganda promptfoo. Kami kekalkan yang ini tetap supaya ia berjalan seperti yang ditulis.

Jalankannya:

promptfoo eval
promptfoo view   # side-by-side results in the browser

Fungsi setiap tetapan

  • openai:chat: serta ID BroadNet. Semua yang selepas openai:chat: ialah ID model yang dihantar, jadi kekalkan awalan broadnet/. Bahagian chat yang eksplisit menyemat endpoint Chat Completions; BroadNet tidak menyediakan Responses API.
  • apiBaseUrl ialah base URL dengan /v1, tetapi tanpa /chat/completions. promptfoo menambah laluan itu.
  • apiKeyEnvar menamakan pemboleh ubah yang menyimpan kunci BroadNet anda. promptfoo tidak jatuh kembali kepada OPENAI_API_KEY jika ia tiada.
  • max_tokens. Lalai promptfoo untuk permintaan bukan penaakulan ialah temperature: 0 dan had 1,024 token. Model DeepSeek, GLM dan Qwen BroadNet membuat penaakulan sebelum menjawab, jadi 1,024 boleh menghasilkan jawapan kosong. Tetapkan had yang lebih tinggi, seperti dalam penyedia pertama.
  • omitDefaults: true membuang temperature dan had lalai promptfoo, seperti dalam penyedia kedua. Permintaan itu kemudiannya tiada had output daripada promptfoo.

Penegasan yang digred oleh model

Tetapan penyedia tidak terpakai pada grader seperti llm-rubric. Untuk menggred dengan model BroadNet, tambahkannya sekali lagi untuk grader:

defaultTest:
  options:
    provider:
      id: openai:chat:broadnet/glm-5.3
      config:
        apiBaseUrl: https://inference.broadnet.ai/v1
        apiKeyEnvar: BROADNET_API_KEY
        max_tokens: 4000

Model mana yang patut dibandingkan

Model Sesuai untuk
broadnet/glm-5.3 Ujian tool calling dan output berstruktur
broadnet/qwen3.8-27b Ujian dengan imej, teks Arab atau tools
broadnet/deepseek-v4.1-flash Ujian konteks panjang dan yang sensitif kos
broadnet/gemma-4-26b-a4b Ujian percuma dengan kredit permulaan $5

Dokumentasi BroadNet menyenaraikan tools dan output berstruktur untuk GLM 5.3 dan Qwen3.8 27B sahaja. Harga setiap model.

Cara kami mengujinya

Pada 2026-11-15 kami memasang promptfoo 0.125.1 dengan Node 24 dan menjalankan promptfoo eval pada konfigurasi seperti di atas, dihalakan ke pelayan olok-olok tempatan yang mengikut bentuk chat completions BroadNet. Ujian lulus. Permintaan yang dilog pergi ke /v1/chat/completions dengan ID model BroadNet tidak berubah dan kunci Bearer. Penyedia pertama menghantar max_tokens: 4000 dan temperature: 0; penyedia dengan omitDefaults: true hanya menghantar model dan messages. Apabila BROADNET_API_KEY tidak ditetapkan, promptfoo berhenti dengan “Missing BROADNET_API_KEY”. Kami tidak menguji grader, dan kami tiada kunci BroadNet, jadi kami tidak menguji output model sebenar.

Penyelesaian masalah

  • Output kosong atau terpotong. Naikkan max_tokens. Mengapa jawapan kosong.
  • 404. Pastikan apiBaseUrl berakhir dengan /v1 dan ID model selepas openai:chat: mengekalkan awalan broadnet/. Model berbayar memerlukan tambah nilai; kredit $5 hanya meliputi broadnet/gemma-4-26b-a4b dan dua model Transcribe.
  • 429 semasa eval besar. promptfoo menjalankan eval kami dengan concurrency 4. Kunci bayar ikut guna membenarkan 30 permintaan seminit dan 4 serentak, jadi turunkannya dengan promptfoo eval -j 1 untuk set ujian yang besar. Lihat ralat dan cuba semula.

Soalan lazim

Patutkah saya guna openai:chat atau openai sebagai awalan penyedia promptfoo?

openai:chat. Dengan openai:chat:broadnet/glm-5.3, promptfoo memanggil /v1/chat/completions, iaitu apa yang disediakan oleh BroadNet. Dokumentasi promptfoo menyatakan nama model yang tidak dikenali selepas awalan openai biasa juga jatuh kembali kepada Chat Completions, tetapi awalan chat yang eksplisit tidak bergantung pada peraturan itu.

Mengapakah jawapan BroadNet terpotong dalam promptfoo?

promptfoo menetapkan had output 1,024 token secara lalai untuk permintaan bukan penaakulan, dan model DeepSeek, GLM dan Qwen BroadNet menggunakan sebahagian bajet output untuk penaakulan. Tetapkan max_tokens dalam config penyedia, atau tetapkan omitDefaults kepada true.

Adakah apiKeyEnvar jatuh kembali kepada OPENAI_API_KEY?

Tidak. Dokumentasi promptfoo menyatakan jika pemboleh ubah yang dinamakan tiada, ia tidak jatuh kembali kepada OPENAI_API_KEY. Dalam ujian kami, ia berhenti dengan "Missing BROADNET_API_KEY".

Bolehkah model BroadNet menggred penegasan llm-rubric?

Boleh, tetapi dokumentasi promptfoo menyatakan tetapan penyedia tidak terpakai pada grader. Tetapkan grader secara berasingan di bawah defaultTest.options.provider dengan id dan config yang sama.

Baca sebagai MarkdownTanya ChatGPTTanya ClaudeTanya Perplexity