promptfoo は、プロンプトのテスト、モデルの比較、LLM アプリのレッドチーミングを行うオープンソースの CLI です。OpenAI プロバイダーは apiBaseUrl を使って OpenAI 互換のゲートウェイで動きます。BroadNet Inference は https://inference.broadnet.ai/v1 でチャット補完を提供しているので、1 つの YAML ファイルで BroadNet のモデル同士や、すでに使っているモデルとの比較ができます。BroadRouter は BroadNet 自身のサイトです。この記事はリリース 0.125.1 時点の promptfoo の OpenAI プロバイダーのドキュメントに従っています。
セットアップ
npm install -g promptfoo # or: npx promptfoo@latest
export BROADNET_API_KEY='your-broadnet-key'
promptfooconfig.yaml
description: BroadNet model comparison
prompts:
- 'What is the capital of Saudi Arabia? Answer in one sentence.'
providers:
- id: openai:chat:broadnet/glm-5.3
label: GLM 5.3
config:
apiBaseUrl: https://inference.broadnet.ai/v1
apiKeyEnvar: BROADNET_API_KEY
max_tokens: 4000
- id: openai:chat:broadnet/deepseek-v4.1-flash
label: DeepSeek V4.1 Flash
config:
apiBaseUrl: https://inference.broadnet.ai/v1
apiKeyEnvar: BROADNET_API_KEY
omitDefaults: true
tests:
- assert:
- type: icontains
value: Riyadh
実際の設定では、テストの入力を tests.vars に置き、promptfoo の二重波かっこのテンプレート構文でプロンプトから参照するのが一般的です。ここではそのまま動くように固定の内容にしています。
実行します。
promptfoo eval
promptfoo view # side-by-side results in the browser
各設定の役割
openai:chat:と BroadNet の ID。openai:chat:より後ろはすべて送信されるモデル ID になるので、broadnet/の接頭辞は残してください。chatを明示すると Chat Completions のエンドポイントに固定されます。BroadNet は Responses API を提供していません。apiBaseUrlは/v1までのベース URL で、/chat/completionsは含めません。パスは promptfoo が付け足します。apiKeyEnvarには BroadNet のキーを入れた環境変数の名前を指定します。その変数がなくても、promptfoo はOPENAI_API_KEYにフォールバックしません。max_tokens。推論モデル以外へのリクエストに対する promptfoo のデフォルトは、temperature: 0と 1,024 トークンの上限です。BroadNet の DeepSeek、GLM、Qwen の各モデルは回答の前に推論(reasoning)を行うので、1,024 では回答が空になることがあります。1 つ目のプロバイダーのように、より高い上限を設定してください。omitDefaults: trueは、2 つ目のプロバイダーのように、promptfoo のデフォルトの temperature と上限を外します。この場合、リクエストには promptfoo 由来の出力上限が付きません。
モデルによる採点のアサーション
プロバイダーの設定は、llm-rubric のような採点モデルには適用されません。BroadNet のモデルで採点するには、採点用にもう一度追加します。
defaultTest:
options:
provider:
id: openai:chat:broadnet/glm-5.3
config:
apiBaseUrl: https://inference.broadnet.ai/v1
apiKeyEnvar: BROADNET_API_KEY
max_tokens: 4000
どのモデルを比較するか
| モデル | 向いている用途 |
|---|---|
broadnet/glm-5.3 |
ツール呼び出しと構造化出力のテスト |
broadnet/qwen3.8-27b |
画像、アラビア語のテキスト、ツールを使うテスト |
broadnet/deepseek-v4.1-flash |
長いコンテキストやコストを重視するテスト |
broadnet/gemma-4-26b-a4b |
$5 の初回クレジットでの無料テスト |
BroadNet のドキュメントでツールと構造化出力が記載されているのは GLM 5.3 と Qwen3.8 27B だけです。全モデルの料金。
テストの方法
2026-11-15 に Node 24 で promptfoo 0.125.1 をインストールし、上と同様の設定で promptfoo eval を実行しました。接続先は、BroadNet のチャット補完と同じ形式で応答するローカルのモックサーバーです。テストは成功しました。記録されたリクエストは /v1/chat/completions に送られ、BroadNet のモデル ID は変更されず、Bearer キーが付いていました。1 つ目のプロバイダーは max_tokens: 4000 と temperature: 0 を送り、omitDefaults: true のプロバイダーはモデルとメッセージだけを送りました。BROADNET_API_KEY を設定しない状態では、promptfoo は “Missing BROADNET_API_KEY” と表示して停止しました。採点モデルはテストしていません。また BroadNet のキーを持っていなかったため、実際のモデルの出力もテストしていません。
トラブルシューティング
- 出力が空、または途中で切れる。
max_tokensを上げてください。回答が空になる理由。 - 404。
apiBaseUrlが/v1で終わっているか、openai:chat:の後ろのモデル ID にbroadnet/の接頭辞が残っているか確認してください。有料モデルにはチャージが必要です。$5 のクレジットで使えるのはbroadnet/gemma-4-26b-a4bと 2 つの Transcribe モデルだけです。 - 大規模な評価で 429。 私たちの評価では、promptfoo は同時実行数 4 で動きました。従量課金のキーは毎分 30 リクエスト、同時 4 リクエストまでなので、大きなテストセットでは
promptfoo eval -j 1で同時実行数を下げてください。エラーとリトライを参照してください。
