---
title: "promptfoo の openai:chat プロバイダーとカスタム apiBaseUrl | BroadRouter"
description: "openai:chat プロバイダー、apiBaseUrl、apiKeyEnvar を使って、promptfoo の評価とモデルの並列比較を BroadNet Inference で実行し、採点モデルも設定する方法です。"
url: https://broadrouter.com/ja/guides/promptfoo-openai-compatible/
lang: ja
updated: 2026-11-16
publisher: BroadRouter (a BroadNet site); API by BroadNet Inference, https://inference.broadnet.ai
---

このページは英語の原文を AI の支援を受けて翻訳したものです。[英語の原文を読む](https://broadrouter.com/guides/promptfoo-openai-compatible/)（2026-11-16 更新）。

# promptfoo で BroadNet のモデルを評価する

更新日 2026-11-16

promptfooconfig.yaml に id が openai:chat:broadnet/glm-5.3 のプロバイダーを追加し、config で apiBaseUrl を https://inference.broadnet.ai/v1、apiKeyEnvar を BROADNET\_API\_KEY に設定します。openai:chat の接頭辞を使えば、promptfoo は常に BroadNet が提供する Chat Completions を呼び出します。promptfoo のデフォルトの出力上限は 1,024 トークンなので、max\_tokens は自分で設定してください。

promptfoo は、プロンプトのテスト、モデルの比較、LLM アプリのレッドチーミングを行うオープンソースの CLI です。OpenAI プロバイダーは `apiBaseUrl` を使って OpenAI 互換のゲートウェイで動きます。BroadNet Inference は `https://inference.broadnet.ai/v1` でチャット補完を提供しているので、1 つの YAML ファイルで BroadNet のモデル同士や、すでに使っているモデルとの比較ができます。BroadRouter は BroadNet 自身のサイトです。この記事はリリース 0.125.1 時点の promptfoo の OpenAI プロバイダーのドキュメントに従っています。

## セットアップ

```bash
npm install -g promptfoo     # or: npx promptfoo@latest
export BROADNET_API_KEY='your-broadnet-key'
```

## promptfooconfig.yaml

```yaml
description: BroadNet model comparison
prompts:
  - 'What is the capital of Saudi Arabia? Answer in one sentence.'
providers:
  - id: openai:chat:broadnet/glm-5.3
    label: GLM 5.3
    config:
      apiBaseUrl: https://inference.broadnet.ai/v1
      apiKeyEnvar: BROADNET_API_KEY
      max_tokens: 4000
  - id: openai:chat:broadnet/deepseek-v4.1-flash
    label: DeepSeek V4.1 Flash
    config:
      apiBaseUrl: https://inference.broadnet.ai/v1
      apiKeyEnvar: BROADNET_API_KEY
      omitDefaults: true
tests:
  - assert:
      - type: icontains
        value: Riyadh
```

実際の設定では、テストの入力を `tests.vars` に置き、promptfoo の二重波かっこのテンプレート構文でプロンプトから参照するのが一般的です。ここではそのまま動くように固定の内容にしています。

実行します。

```bash
promptfoo eval
promptfoo view   # side-by-side results in the browser
```

## 各設定の役割

-   **`openai:chat:` と BroadNet の ID。** `openai:chat:` より後ろはすべて送信されるモデル ID になるので、`broadnet/` の接頭辞は残してください。`chat` を明示すると Chat Completions のエンドポイントに固定されます。BroadNet は Responses API を提供していません。
-   **`apiBaseUrl`** は `/v1` までのベース URL で、`/chat/completions` は含めません。パスは promptfoo が付け足します。
-   **`apiKeyEnvar`** には BroadNet のキーを入れた環境変数の名前を指定します。その変数がなくても、promptfoo は `OPENAI_API_KEY` にフォールバックしません。
-   **`max_tokens`**。推論モデル以外へのリクエストに対する promptfoo のデフォルトは、`temperature: 0` と 1,024 トークンの上限です。BroadNet の DeepSeek、GLM、Qwen の各モデルは回答の前に推論（reasoning）を行うので、1,024 では回答が空になることがあります。1 つ目のプロバイダーのように、より高い上限を設定してください。
-   **`omitDefaults: true`** は、2 つ目のプロバイダーのように、promptfoo のデフォルトの temperature と上限を外します。この場合、リクエストには promptfoo 由来の出力上限が付きません。

## モデルによる採点のアサーション

プロバイダーの設定は、`llm-rubric` のような採点モデルには適用されません。BroadNet のモデルで採点するには、採点用にもう一度追加します。

```yaml
defaultTest:
  options:
    provider:
      id: openai:chat:broadnet/glm-5.3
      config:
        apiBaseUrl: https://inference.broadnet.ai/v1
        apiKeyEnvar: BROADNET_API_KEY
        max_tokens: 4000
```

## どのモデルを比較するか

| モデル | 向いている用途 |
| --- | --- |
| `broadnet/glm-5.3` | ツール呼び出しと構造化出力のテスト |
| `broadnet/qwen3.8-27b` | 画像、アラビア語のテキスト、ツールを使うテスト |
| `broadnet/deepseek-v4.1-flash` | 長いコンテキストやコストを重視するテスト |
| `broadnet/gemma-4-26b-a4b` | $5 の初回クレジットでの無料テスト |

BroadNet のドキュメントでツールと構造化出力が記載されているのは GLM 5.3 と Qwen3.8 27B だけです。[全モデルの料金](https://broadrouter.com/ja/pricing/)。

## テストの方法

2026-11-15 に Node 24 で promptfoo 0.125.1 をインストールし、上と同様の設定で `promptfoo eval` を実行しました。接続先は、BroadNet のチャット補完と同じ形式で応答するローカルのモックサーバーです。テストは成功しました。記録されたリクエストは `/v1/chat/completions` に送られ、BroadNet のモデル ID は変更されず、Bearer キーが付いていました。1 つ目のプロバイダーは `max_tokens: 4000` と `temperature: 0` を送り、`omitDefaults: true` のプロバイダーはモデルとメッセージだけを送りました。`BROADNET_API_KEY` を設定しない状態では、promptfoo は “Missing BROADNET\_API\_KEY” と表示して停止しました。採点モデルはテストしていません。また BroadNet のキーを持っていなかったため、実際のモデルの出力もテストしていません。

## トラブルシューティング

-   **出力が空、または途中で切れる。** `max_tokens` を上げてください。[回答が空になる理由](https://broadrouter.com/ja/guides/reasoning-tokens-empty-response/)。
-   **404。** `apiBaseUrl` が `/v1` で終わっているか、`openai:chat:` の後ろのモデル ID に `broadnet/` の接頭辞が残っているか確認してください。有料モデルにはチャージが必要です。$5 のクレジットで使えるのは `broadnet/gemma-4-26b-a4b` と 2 つの Transcribe モデルだけです。
-   **大規模な評価で 429。** 私たちの評価では、promptfoo は同時実行数 4 で動きました。従量課金のキーは毎分 30 リクエスト、同時 4 リクエストまでなので、大きなテストセットでは `promptfoo eval -j 1` で同時実行数を下げてください。[エラーとリトライ](https://broadrouter.com/ja/guides/errors-and-retries/)を参照してください。

## このガイドの用語

[同時実行数（concurrency）](https://broadrouter.com/ja/glossary/concurrency/)

同時実行数（concurrency）とは、クライアントが同時に処理中にしているリクエストの数です。開いているリクエストは応答が終わるまで GPU の容量を占有するため、LLM API は毎分リクエスト数とは別に、キーやプランごとにこれを制限することがよくあります。

[temperature（温度）](https://broadrouter.com/ja/glossary/temperature/)

temperature（温度）とは、言語モデルの出力のランダム性を決めるサンプリングのパラメーターです。トークンのスコアをこの値で割ってから確率にするため、低いと最有力のトークンが支配的になり、高いと分布が平らになって確率の低いトークンも選ばれやすくなります。

[構造化出力（Structured Outputs）](https://broadrouter.com/ja/glossary/structured-output/)

構造化出力とは、モデルの回答を開発者が指定した形式（通常は JSON Schema）に制約し、コードで確実に解析できるようにする LLM API の機能です。有効な JSON であることだけを保証し、特定の形までは保証しない JSON モードより厳格です。

[従量課金（pay-as-you-go）](https://broadrouter.com/ja/glossary/pay-as-you-go/)

従量課金とは、使った分だけを支払う料金体系です。トークン、リクエスト、音声の分数などの単位で計測され、サブスクリプションや最低利用額はありません。多くの LLM API はこの方式で、前払いの残高か定期的な請求書から支払います。

[Chat Completions API（チャット補完 API）](https://broadrouter.com/ja/glossary/chat-completions-api/)

Chat Completions API とは、OpenAI の HTTP エンドポイント POST /v1/chat/completions で、モデル名とロール付きメッセージのリストを受け取り、モデルの次のメッセージを返します。そのリクエストと応答の形は、OpenAI 互換のプロバイダーや SDK が使う共通形式になりました。

[OpenAI 互換 API（OpenAI-compatible API）](https://broadrouter.com/ja/glossary/openai-compatible-api/)

OpenAI 互換 API とは、POST /v1/chat/completions など OpenAI API と同じリクエスト形式とレスポンス形式を受け付ける HTTP API です。OpenAI の SDK やツールは、ベース URL、API キー、モデル名を変えるだけで利用できます。

[トークン（token）](https://broadrouter.com/ja/glossary/token/)

トークンとは、言語モデルが読み書きするテキストの単位です。モデルのトークナイザーが作る単語、単語の一部、句読点、バイト列のいずれかにあたります。LLM API は利用量をトークンで数え、上限を設け、通常はトークン単位で課金します。

[プリペイドクレジット（prepaid credit）](https://broadrouter.com/ja/glossary/prepaid-credit/)

プリペイドクレジットとは、使用前に API アカウントに入金しておくお金です。リクエストごとに費用が残高から差し引かれ、残高がなくなると、チャージするまで従量課金のリクエストは止まります。支出は支払った額までに抑えられます。

## よくある質問

### promptfoo のプロバイダーの接頭辞は openai:chat と openai のどちらを使うべきですか？

openai:chat です。openai:chat:broadnet/glm-5.3 なら、promptfoo は BroadNet が提供している /v1/chat/completions を呼び出します。promptfoo のドキュメントによると、接頭辞が openai だけでも、認識できないモデル名なら Chat Completions にフォールバックしますが、chat を明示すればこのルールに頼らずに済みます。

### promptfoo で BroadNet の回答が途中で切れるのはなぜですか？

promptfoo は推論モデル以外へのリクエストに、デフォルトで 1,024 トークンの出力上限を設定します。一方、BroadNet の DeepSeek、GLM、Qwen の各モデルは出力の上限の一部を推論（reasoning）に使います。プロバイダーの config で max\_tokens を設定するか、omitDefaults を true にしてください。

### apiKeyEnvar の変数がないとき、OPENAI\_API\_KEY にフォールバックしますか？

しません。promptfoo のドキュメントによると、指定した変数がない場合でも OPENAI\_API\_KEY にはフォールバックしません。私たちのテストでは "Missing BROADNET\_API\_KEY" と表示して停止しました。

### llm-rubric のアサーションを BroadNet のモデルで採点できますか？

できます。ただし promptfoo のドキュメントによると、プロバイダーの設定は採点モデルには適用されません。defaultTest.options.provider の下で、同じ id と config を使って採点モデルを別途設定してください。

## 関連ガイド

-   [curl で BroadNet Inference に最初のリクエストを送る](https://broadrouter.com/ja/guides/curl-quickstart/)
-   [OpenAI Node.js SDK を BroadNet Inference で使う](https://broadrouter.com/ja/guides/openai-node-sdk/)
-   [推論モデルが空の回答を返す理由](https://broadrouter.com/ja/guides/reasoning-tokens-empty-response/)
-   [BroadNet Inference のエラーコードとリトライすべき場合](https://broadrouter.com/ja/guides/errors-and-retries/)
-   [BroadNet Inference で使えるすべてのツール（英語）](https://broadrouter.com/integrations/)：SDK、コーディングエージェント、チャット UI、自動化ツールと、それぞれの正確な設定

実際のワークロードで試してください。新規アカウントには US$5 の初回クレジットがあり、Gemma、文字起こし に使えます。DeepSeek、GLM、Qwen3.8 はチャージが必要です。

[始める](https://inference.broadnet.ai/account/?utm_source=broadrouter&utm_medium=referral&utm_campaign=ja-guides-promptfoo-openai-compatible&utm_content=page-cta) ·

**出典**

-   [promptfoo ドキュメント、OpenAI プロバイダー（OpenAI 互換ゲートウェイ）（2026-11-15 確認）](https://www.promptfoo.dev/docs/providers/openai/)
-   [GitHub の promptfoo、リリース 0.125.1、2026-10-25（2026-11-15 確認）](https://github.com/promptfoo/promptfoo/releases/tag/0.125.1)
-   [BroadNet Inference API リファレンス（2026-11-15 確認）（英語）](https://inference.broadnet.ai/docs?utm_source=broadrouter&utm_medium=referral&utm_campaign=ja-guides-promptfoo-openai-compatible&utm_content=sources)
