LLM API プロバイダーを選ぶには、候補ごとに 6 つの観点で採点します。実際のワークロードの月額コスト、レート制限と同時実行数、OpenAI 互換性、データ保持と学習利用の条件、必要なモデル、サポートと信頼性です。そのうえで上位 2 社を 1 週間の実トラフィックでテストします。以下に 20 の質問、採点表、テスト計画をまとめました。
選んだ後の切り替え作業は移行チェックリストで、品質テストの詳細は乗り換え前に LLM を評価する方法で解説しています。
実際のコストはいくらですか?(質問 1〜4)
- **実際のワークロードは月にいくらかかりますか?**入力、キャッシュ入力、出力を分けて見積もってください。無料の LLM API コスト計算ツールでモデルごとに計算できます。エージェントは同じコンテキストを何度も送るため、キャッシュ入力が大半を占めることがよくあります。各項目は料金の解説で順に説明しています。
- **推論トークンは出力として課金されますか?**推論モデルは、回答より考えることに多くのトークンを使うことがあります。
- **定額の選択肢はありますか?**常時稼働のエージェントなら、定額プランのほうがトークン課金より有利なことがあります。損益分岐の計算をご覧ください。
- **価格は機械可読で、日付が付いていますか?**JSON の価格ファイルがあれば、変更を追跡してコストアラートを作れます。
オープンデータセット LLM API の無料枠とレート制限では、14 社が公開している無料利用の条件、初期のレート制限、カード登録の要否、無料ティアのデータを学習に使うかどうかを、値ごとに出典と日付を付けて比較しています。
最初にぶつかる制限はどれですか?(質問 5〜7)
- **1 分あたりのリクエスト数と同時実行数の上限はいくつですか?**並列エージェントやバッチ処理を止めるのは同時実行数(処理中のリクエスト数)です。レート制限と同時実行数を参照し、レート制限計算ツールで上限に対するトラフィックを見積もってください。
- トークン上限、ローリングウィンドウ、週ごとの割り当てはありますか?「無制限」プランにはよくあります。「無制限」の本当の意味をお読みください。
- **コンテキストウィンドウはどれくらいで、切り詰められますか?**1 リクエストあたりの実際の上限と、長いプロンプトを黙って削っていないかを確認してください。
コードとの互換性はどの程度ですか?(質問 8〜10)
- OpenAI 互換ですか?どこまで互換ですか?ベース URL を変えるだけで動くはずです。そのうえで、使用量付きのストリーミング、ツール呼び出し、構造化出力、エラーコードをテストしてください。壊れやすい点は移行チェックリストに挙げています。
- **自分のツールで使えますか?**SDK、エージェントフレームワーク、IDE アシスタント。プロバイダーの連携ガイドを確認してください。
- **モデル ID は安定していますか?**バージョン付きの ID と、モデル廃止前の事前通知が必要です。
データはどう扱われますか?(質問 11〜13)
- **プロンプトと出力は保存されますか?期間は?**多くのプロバイダーは、デフォルトで API のコンテンツを最大 30 日保持します。公式の文言は LLM API のデータ保持ポリシー比較で比べてください。
- **データは学習に使われますか?**自分のティアのデフォルトを書面で確認してください。
- **DPA(データ処理契約)を結べますか?再委託先を確認し、キーを制限できますか?**EU の個人データを扱うなら GDPR チェックリストを使い、IP 許可リストを求めてください。
必要なモデルはありますか?(質問 14〜16)
- **必要なモデルサイズと機能はそろっていますか?**画像入力、ツール呼び出し、推論、長いコンテキスト、音声。
- **各モデルは自分のタスクでどれくらいの性能ですか?**実際のテストケースを 30〜50 件作って採点してください。ベンチマークは最初のふるいです。LLM を比較できるサイトに、各リーダーボードとそれぞれが何を測っているかをまとめています。評価ガイドでは、セットの作り方と評価者バイアスの避け方を説明しています。
- **オープンウェイトかクローズドか?**オープンウェイトモデルは複数のプロバイダーがホストできるため、ロックインが小さくなります。オープンウェイトとクローズドモデルをご覧ください。
安定して動き、誰が対応してくれますか?(質問 17〜20)
- ステータスページと障害履歴はありますか?
- 本番利用のための書面の SLA はありますか?
- **GPU を運用しているのは誰ですか?**自社ハードウェア、クラウド、あるいは別の API から再販された容量。それぞれ、データと信頼性の経路に関係者が 1 つ増えます。
- **人間に連絡するにはどうすればよいですか?**応答時間、窓口、サポートがリクエストの内容を見られるかどうか。
プロバイダー同士をどう採点しますか?
各質問を 0(いいえ、または不明)、1(一部)、2(はい、書面あり)で採点します。用途に応じてグループに重みを付けてください:
| グループ | 質問 | エージェント用途の重み | 規制対象アプリの重み |
|---|---|---|---|
| 料金 | 1〜4 | 高 | 中 |
| 制限 | 5〜7 | 高 | 中 |
| 互換性 | 8〜10 | 中 | 中 |
| プライバシー | 11〜13 | 中 | 高 |
| モデル | 14〜16 | 高 | 高 |
| サポートと信頼性 | 17〜20 | 中 | 高 |
「不明」を 0 点にするのには理由があります。プロバイダーが答えられないなら、頼ることはできません。
1 週間でプロバイダーをテストするには?
- 採点表から上位 2 社を選びます。
- 同じ OpenAI SDK を通じて、実トラフィックの一部をそれぞれに振り分けます。モデル ID とベース URL は設定に置きます。
- リクエストごとに、モデル、プロンプトトークン、キャッシュトークン、補完トークン、レイテンシ、ステータスコードを記録します。内容は決して記録しないでください。
- ピークを起こします。バッチ処理や並列エージェントを実行し、429 を監視してください。正しいバックオフはエラーとリトライのガイドで説明しています。
- 1 週間分のトークンを約 4.3 倍し、各プロバイダーの 1 か月分の料金を見積もります。
- テストセットで出力を採点します。
BroadNet Inference のチェックリストへの回答
| # | BroadNet Inference |
|---|---|
| 1, 4 | トークン単価は pricing.json で公開、2026-11-14 に同期 |
| 3 | DeepSeek V4.1 Flash の定額プラン:1 セッションあたり月 $60、週 $15、または 1 時間 $1 |
| 5 | 従量課金:1 分あたり 30 リクエスト、同時実行 4。プランのセッションは同時に 1 リクエスト |
| 6 | プラン:トークン計量なし、ローリングウィンドウなし、週ごとの上限なし |
| 7 | DeepSeek V4.1 Flash と GLM 5.3 で最大 1,048,576 トークン。プランページにはコンテキストを切り詰めないと記載 |
| 8 | https://inference.broadnet.ai/v1 で OpenAI 互換 |
| 11, 12 | プロンプトと出力は保持しない。モデルの学習、ファインチューニング、評価に使わない |
| 13 | IP 許可リストは最大 32 件。再委託先リストは要請に応じて提供。DPA は要相談 |
| 14 | チャットモデル 4 つと音声認識モデル 2 つ |
| 19 | BroadNet のプライバシーステートメントによると、自社モデルとホストしているオープンウェイトモデルは米国内の BroadNet 所有またはリースのハードウェアで動き、パートナーの容量をバックアップに使用。DeepSeek V4.1 Flash のようなパートナー提供のモデルは、ゼロデータ保持(ZDR)の条件で米国の推論パートナーが実行 |
BroadNet のドキュメントとプランのページで見つからなかったもの(2026 年 11 月 14 日確認):SLA、ステータスページ、モデル廃止ポリシー。重要であれば問い合わせ、重要な処理経路には第 2 プロバイダーを用意してください。カタログもアグリゲーターより小さく、GPT、Claude、Gemini のモデルが必要なら、そのトラフィックに BroadNet は向きません。$5 の初回クレジットは、軽いワークロードならテスト計画の手順 3 に十分ですが、チャットモデルで使えるのは Gemma 4 VL 26B だけです(2 つの Transcribe モデルにも使えます)。ほかのチャットモデルにはチャージが必要です。

