BroadRouter
始める

OpenAI 互換 API への移行チェックリスト

BroadNet Inference チーム · 約 5 分で読めます · 公開日 · 更新日

OpenAI 互換 API に移るには、3 つの設定(base_url、api_key、model)を変え、違いを確認します。確認するのは、モデル ID、推論トークンの max_tokens への算入、ストリーミングでの使用量の返し方、リトライすべきエラー、レート制限、キーのセキュリティです。BroadNet Inference のベース URL は https://inference.broadnet.ai/v1 です。

いまではほとんどの LLM プロバイダーが OpenAI API 形式に対応しています。そのため切り替えは 1 行の変更に見えますし、最初の回答を得るだけならそのとおりです。本番トラフィックを流すなら、このリストを順に確認してください。どの項目も、実際に移行が失敗したパターンから来ています。

0. アプリはいま何を使っていますか?

何かを変える前に、アプリが依存しているものを書き出します。コードから SDK の呼び出しをすべて検索し、一覧にしてください。OpenAI の Whisper API を呼んでいる場合、OpenAI は whisper-1 を 2027 年 2 月 26 日に提供終了と告知しています。音声側は Whisper API の代替で扱っています。

機能 探す場所 切り替え後のテスト
Chat completions すべての chat.completions.create 同じプロンプトで回答を比較
ストリーミング stream=True チャンクが届き、[DONE] で終わり、使用量がある
ツール呼び出し tools= ツール呼び出しがパースされ実行される
構造化出力 response_format= JSON がスキーマで検証を通る
画像 メッセージ内の画像パート モデルが受け付ける
音声の文字起こし audio.transcriptions テキストと言語が正しい
Embeddings、ファイル、バッチ その他のエンドポイント そもそもプロバイダーが提供しているか確認

最後の行が重要です。「OpenAI 互換」がまずカバーするのは、たいてい chat completions です。BroadNet Inference のカタログでは、チャットモデルは /v1/chat/completions、音声認識モデルは /v1/audio/transcriptions で提供されています。ほかのエンドポイントを使っている場合は、現在のプロバイダーに残すか、代わりを探してください。

1. 変える 3 つの設定は何ですか?

from openai import OpenAI
import os

client = OpenAI(
    base_url="https://inference.broadnet.ai/v1",
    api_key=os.environ["BROADNET_API_KEY"],
)

ベース URL の設定名はライブラリによって違います。Python SDK と LangChain の ChatOpenAI では base_url、Node.js SDK では baseURL です。README によると、Python SDK は環境変数 OPENAI_BASE_URL も読み込みます。環境に古い値が残っていないか確認してください。残っていると、エラーなしでリクエストが以前のプロバイダーに送られることがあります。

API キーはコードに書かず、環境変数かシークレットマネージャーに置いてください。SDK ごとの設定方法:Python、Node.js、LangChain。最初のリクエストを手で組み立ててテストするなら、API リクエストビルダーを使ってください。既存のコードにベース URL、キー、モデルの変更を反映するには、OpenAI から BroadNet への移行ヘルパーにコードを貼り付けてください。確認すべき点も一覧にしてくれます。

2. 新しいモデル ID は何ですか?

モデルの名前の付け方はプロバイダーごとに違います。BroadNet Inference では次のとおりです。

モデル ID
DeepSeek V4.1 Flash broadnet/deepseek-v4.1-flash
GLM 5.3 broadnet/glm-5.3
Qwen3.8 27B broadnet/qwen3.8-27b
Gemma 4 VL 26B broadnet/gemma-4-26b-a4b

モデル ID はコードではなく設定に置いてください。そうすれば、あとで切り替えるときは書き直しではなくデプロイだけで済みます。各モデルの制限と料金はそれぞれのページにあります:DeepSeek V4.1 Flash、GLM 5.3、Qwen3.8 27B、Gemma 4 VL 26B。

3. 切り替えると回答が空になるのはなぜですか?

これが最もよくある想定外の事態です。DeepSeek V4.1 Flash、GLM 5.3、Qwen3.8 27B は回答の前に推論し、推論トークンは max_tokens に算入されます。推論しないモデルでは十分だった 256 という上限が思考だけで使い切られ、回答が空で返ってくることがあります。1,000 トークン以上を確保するか、単純なタスクでは reasoning_effort を low にしてください。詳しい説明。

4. ストリーミングでも使用量は返りますか?

ストリーミングは Server-Sent Events を使い、data: [DONE] で終わります。トークン使用量は、要求した場合にだけ最後のチャンクに含まれます。

stream = client.chat.completions.create(
    model="broadnet/deepseek-v4.1-flash", messages=messages,
    stream=True, stream_options={"include_usage": True},
)

これがないと、コストのダッシュボードはゼロを示します。[DONE] の前にストリームが終わった場合は、不完全として扱ってください。ストリーミングガイド。

5. どのエラーをリトライすべきですか?

ステータス 意味 対応
401 キーが不正か失効済み、または従量課金の利用枠を使い切った 修正する。リトライしない
402 残高または予算 チャージする。リトライしない
403 モデル、ルート、IP のポリシーで拒否 不一致を修正する
413 リクエストが大きすぎる 小さくする。リトライしない
429 レート、同時実行数、支出の上限 バックオフしてリトライ
5xx サーバー側 上限付きバックオフでリトライ

公式の Python SDK は、すでに一部のエラーをリトライします。README によると、接続エラーと 408、409、429、5xx のレスポンスは、デフォルトで短い指数バックオフにより 2 回リトライされます。max_retries を明示的に設定し、この挙動をデフォルト任せではなく自分の判断にしてください。サポートが問題を追跡できるよう、すべてのレスポンスのリクエスト ID をログに残してください。全コード。

6. 新しいレート制限はどうなりますか?

トラフィックが来る前に新しい制限を把握しておいてください。BroadNet の従量課金キーは、1 分あたり 30 リクエスト、同時実行 4 件までです。無制限プランは、セッションごとに同時に 1 リクエストを実行します。ワーカープールをこれに合わせないと、初日から 429 が出ます。規模の計算はレート制限計算ツールでできます。並列エージェント向けの規模設計もご覧ください。

7. プロンプトは収まりますか?

コンテキストウィンドウを確認してください。DeepSeek V4.1 Flash と GLM 5.3 は 1,048,576 トークン、Qwen3.8 27B は 262,144、Gemma 4 VL 26B は 32,768 です。以前のモデルに収まっていたプロンプトが、小さいウィンドウには収まらないことがあります。コンテキストウィンドウ計算ツールで確認してください。キャッシュ入力の料金の恩恵を受けるには、変わらないプロンプト内容を先頭に置いてください。

8. キーとデータ保持はどうしますか?

本番キーは IP 許可リストでサーバーの IP に限定してください。新しいプロバイダーに何を保持するかを確認してください。ZDR チェックリストをご覧ください。

9. 安全に切り替えるには?

  1. 1 日分の実リクエストのコピーを両方のプロバイダーに送ります。
  2. サンプルの回答に加え、レイテンシ、エラー、リクエストあたりのコストを比べます。
  3. トラフィックの 10% を移し、1 日様子を見てから残りを移します。
  4. 以前のプロバイダーを 1 週間フォールバックとして設定したままにします。

多くのサービスを運用している場合、LiteLLM のようなプロキシを使えば、アプリごとではなく 1 か所でプロバイダーを切り替えられます。

よくある移行ミスは何ですか?

  • **ベース URL に /v1 がない。**リクエストが 404 になります。完全な URL を使ってください。
  • **設定に古いモデル名が残っている。**新しいプロバイダーはその名前を知りません。
  • **プロバイダー固有のフィールドがリクエストに残っている。**以前のプロバイダーだけが理解していたフィールドは、拒否されるか無視されることがあります。汎用クライアントからは削除してください。
  • **プロンプト 1 つしかテストしない。**ステップ 0 の一覧を使い、機能ごとにテストしてください。
  • **金曜日に切り替える。**実トラフィックを丸 1 日見守る時間を確保してください。

BroadNet Inference の位置づけ

BroadNet Inference は、OpenAI SDK 経由で chat completions と音声の文字起こしを使うアプリなら、そのまま置き換えられる移行先です。3 つの設定を変え、上のリストを順に確認してください。カタログにあるのはチャットモデルと音声認識モデルだけなので、embeddings やファイルストレージなどほかのエンドポイントに依存している場合は、それらを別のプロバイダーに残してください。新規アカウントには $5 の初回クレジットがあります。チャットモデルのうちこのクレジットで使えるのは Gemma 4 VL 26B だけなので(2 つの Transcribe モデルにも使えます)、DeepSeek、GLM、Qwen でシャドーテストをするにはチャージが必要です。

よくある質問

別の SDK が必要ですか?

いいえ。公式の OpenAI SDK(Python と Node.js)はカスタムのベース URL を受け付けます。それを土台にしたフレームワーク、たとえば LangChain の ChatOpenAI も受け付けます。

OpenAI SDK でベース URL を変えるにはどうしますか?

Python ではクライアントに base_url を、Node.js では baseURL を渡すか、環境変数 OPENAI_BASE_URL を設定します。BroadNet Inference の値は https://inference.broadnet.ai/v1 で、キーは api_key に入れます。

切り替えたら空の応答が返るのはなぜですか?

DeepSeek V4.1 Flash、GLM 5.3、Qwen3.8 27B のような推論モデルは回答の前に考え、その思考が max_tokens に算入されます。max_tokens を 1,000 以上に上げるか、reasoning_effort を low にしてください。

切り替え後に 404 や model not found エラーが出るのはなぜですか?

たいていは、モデル ID が以前のプロバイダーの名前のままか、ベース URL に /v1 のパスが欠けています。新しいプロバイダーの正確なモデル ID と完全なベース URL を使ってください。

どのエラーをリトライすべきですか?

429 と 5xx は上限付きの指数バックオフでリトライします。401、402、413 はリトライの前に原因を修正してください。このサイトのエラーガイドに全コードがあります。

OpenAI 互換は「まったく同じ」という意味ですか?

いいえ。リクエストとレスポンスの形は同じですが、モデル ID、対応パラメーター、制限、使用量フィールド、エラーの詳細は違うことがあります。アプリが使う機能はすべてテストしてください。

Markdown で読むChatGPT に聞くClaude に聞くPerplexity に聞く