いまではほとんどの LLM プロバイダーが OpenAI API 形式に対応しています。そのため切り替えは 1 行の変更に見えますし、最初の回答を得るだけならそのとおりです。本番トラフィックを流すなら、このリストを順に確認してください。どの項目も、実際に移行が失敗したパターンから来ています。
0. アプリはいま何を使っていますか?
何かを変える前に、アプリが依存しているものを書き出します。コードから SDK の呼び出しをすべて検索し、一覧にしてください。OpenAI の Whisper API を呼んでいる場合、OpenAI は whisper-1 を 2027 年 2 月 26 日に提供終了と告知しています。音声側は Whisper API の代替で扱っています。
| 機能 | 探す場所 | 切り替え後のテスト |
|---|---|---|
| Chat completions | すべての chat.completions.create |
同じプロンプトで回答を比較 |
| ストリーミング | stream=True |
チャンクが届き、[DONE] で終わり、使用量がある |
| ツール呼び出し | tools= |
ツール呼び出しがパースされ実行される |
| 構造化出力 | response_format= |
JSON がスキーマで検証を通る |
| 画像 | メッセージ内の画像パート | モデルが受け付ける |
| 音声の文字起こし | audio.transcriptions |
テキストと言語が正しい |
| Embeddings、ファイル、バッチ | その他のエンドポイント | そもそもプロバイダーが提供しているか確認 |
最後の行が重要です。「OpenAI 互換」がまずカバーするのは、たいてい chat completions です。BroadNet Inference のカタログでは、チャットモデルは /v1/chat/completions、音声認識モデルは /v1/audio/transcriptions で提供されています。ほかのエンドポイントを使っている場合は、現在のプロバイダーに残すか、代わりを探してください。
1. 変える 3 つの設定は何ですか?
from openai import OpenAI
import os
client = OpenAI(
base_url="https://inference.broadnet.ai/v1",
api_key=os.environ["BROADNET_API_KEY"],
)
ベース URL の設定名はライブラリによって違います。Python SDK と LangChain の ChatOpenAI では base_url、Node.js SDK では baseURL です。README によると、Python SDK は環境変数 OPENAI_BASE_URL も読み込みます。環境に古い値が残っていないか確認してください。残っていると、エラーなしでリクエストが以前のプロバイダーに送られることがあります。
API キーはコードに書かず、環境変数かシークレットマネージャーに置いてください。SDK ごとの設定方法:Python、Node.js、LangChain。最初のリクエストを手で組み立ててテストするなら、API リクエストビルダーを使ってください。既存のコードにベース URL、キー、モデルの変更を反映するには、OpenAI から BroadNet への移行ヘルパーにコードを貼り付けてください。確認すべき点も一覧にしてくれます。
2. 新しいモデル ID は何ですか?
モデルの名前の付け方はプロバイダーごとに違います。BroadNet Inference では次のとおりです。
| モデル | ID |
|---|---|
| DeepSeek V4.1 Flash | broadnet/deepseek-v4.1-flash |
| GLM 5.3 | broadnet/glm-5.3 |
| Qwen3.8 27B | broadnet/qwen3.8-27b |
| Gemma 4 VL 26B | broadnet/gemma-4-26b-a4b |
モデル ID はコードではなく設定に置いてください。そうすれば、あとで切り替えるときは書き直しではなくデプロイだけで済みます。各モデルの制限と料金はそれぞれのページにあります:DeepSeek V4.1 Flash、GLM 5.3、Qwen3.8 27B、Gemma 4 VL 26B。
3. 切り替えると回答が空になるのはなぜですか?
これが最もよくある想定外の事態です。DeepSeek V4.1 Flash、GLM 5.3、Qwen3.8 27B は回答の前に推論し、推論トークンは max_tokens に算入されます。推論しないモデルでは十分だった 256 という上限が思考だけで使い切られ、回答が空で返ってくることがあります。1,000 トークン以上を確保するか、単純なタスクでは reasoning_effort を low にしてください。詳しい説明。
4. ストリーミングでも使用量は返りますか?
ストリーミングは Server-Sent Events を使い、data: [DONE] で終わります。トークン使用量は、要求した場合にだけ最後のチャンクに含まれます。
stream = client.chat.completions.create(
model="broadnet/deepseek-v4.1-flash", messages=messages,
stream=True, stream_options={"include_usage": True},
)
これがないと、コストのダッシュボードはゼロを示します。[DONE] の前にストリームが終わった場合は、不完全として扱ってください。ストリーミングガイド。
5. どのエラーをリトライすべきですか?
| ステータス | 意味 | 対応 |
|---|---|---|
| 401 | キーが不正か失効済み、または従量課金の利用枠を使い切った | 修正する。リトライしない |
| 402 | 残高または予算 | チャージする。リトライしない |
| 403 | モデル、ルート、IP のポリシーで拒否 | 不一致を修正する |
| 413 | リクエストが大きすぎる | 小さくする。リトライしない |
| 429 | レート、同時実行数、支出の上限 | バックオフしてリトライ |
| 5xx | サーバー側 | 上限付きバックオフでリトライ |
公式の Python SDK は、すでに一部のエラーをリトライします。README によると、接続エラーと 408、409、429、5xx のレスポンスは、デフォルトで短い指数バックオフにより 2 回リトライされます。max_retries を明示的に設定し、この挙動をデフォルト任せではなく自分の判断にしてください。サポートが問題を追跡できるよう、すべてのレスポンスのリクエスト ID をログに残してください。全コード。
6. 新しいレート制限はどうなりますか?
トラフィックが来る前に新しい制限を把握しておいてください。BroadNet の従量課金キーは、1 分あたり 30 リクエスト、同時実行 4 件までです。無制限プランは、セッションごとに同時に 1 リクエストを実行します。ワーカープールをこれに合わせないと、初日から 429 が出ます。規模の計算はレート制限計算ツールでできます。並列エージェント向けの規模設計もご覧ください。
7. プロンプトは収まりますか?
コンテキストウィンドウを確認してください。DeepSeek V4.1 Flash と GLM 5.3 は 1,048,576 トークン、Qwen3.8 27B は 262,144、Gemma 4 VL 26B は 32,768 です。以前のモデルに収まっていたプロンプトが、小さいウィンドウには収まらないことがあります。コンテキストウィンドウ計算ツールで確認してください。キャッシュ入力の料金の恩恵を受けるには、変わらないプロンプト内容を先頭に置いてください。
8. キーとデータ保持はどうしますか?
本番キーは IP 許可リストでサーバーの IP に限定してください。新しいプロバイダーに何を保持するかを確認してください。ZDR チェックリストをご覧ください。
9. 安全に切り替えるには?
- 1 日分の実リクエストのコピーを両方のプロバイダーに送ります。
- サンプルの回答に加え、レイテンシ、エラー、リクエストあたりのコストを比べます。
- トラフィックの 10% を移し、1 日様子を見てから残りを移します。
- 以前のプロバイダーを 1 週間フォールバックとして設定したままにします。
多くのサービスを運用している場合、LiteLLM のようなプロキシを使えば、アプリごとではなく 1 か所でプロバイダーを切り替えられます。
よくある移行ミスは何ですか?
- **ベース URL に
/v1がない。**リクエストが 404 になります。完全な URL を使ってください。 - **設定に古いモデル名が残っている。**新しいプロバイダーはその名前を知りません。
- **プロバイダー固有のフィールドがリクエストに残っている。**以前のプロバイダーだけが理解していたフィールドは、拒否されるか無視されることがあります。汎用クライアントからは削除してください。
- **プロンプト 1 つしかテストしない。**ステップ 0 の一覧を使い、機能ごとにテストしてください。
- **金曜日に切り替える。**実トラフィックを丸 1 日見守る時間を確保してください。
BroadNet Inference の位置づけ
BroadNet Inference は、OpenAI SDK 経由で chat completions と音声の文字起こしを使うアプリなら、そのまま置き換えられる移行先です。3 つの設定を変え、上のリストを順に確認してください。カタログにあるのはチャットモデルと音声認識モデルだけなので、embeddings やファイルストレージなどほかのエンドポイントに依存している場合は、それらを別のプロバイダーに残してください。新規アカウントには $5 の初回クレジットがあります。チャットモデルのうちこのクレジットで使えるのは Gemma 4 VL 26B だけなので(2 つの Transcribe モデルにも使えます)、DeepSeek、GLM、Qwen でシャドーテストをするにはチャージが必要です。
