アプリを OpenAI から OpenAI 互換のプロバイダーへ移すのは、Chat Completions を使っていれば小さなコード変更で、Responses API を使っていれば書き換えになります。この記事では、Python、Node、cURL での正確な差分、Responses、ツール、構造化出力、embeddings への対処、そしてトラフィックを移す前に実行するスモークテストを紹介します。例では https://inference.broadnet.ai/v1 の BroadNet Inference を使いますが、同じ手順はどのプロバイダーにも当てはまります。
この記事は移行チェックリストのコード編です。レート制限、エラー、切り替えの計画はそちらで扱っています。他のプロバイダーのベース URL は OpenAI 互換 API の base_url 一覧(確認済み)を参照してください。
クライアントの設定で何が変わるか?
ベース URL、API キー、モデル ID の 3 つです。
Python
import os
from openai import OpenAI
# before: client = OpenAI() # reads OPENAI_API_KEY, calls api.openai.com
client = OpenAI(
base_url="https://inference.broadnet.ai/v1",
api_key=os.environ["BROADNET_API_KEY"],
)
r = client.chat.completions.create(
model="broadnet/gemma-4-26b-a4b", # was e.g. "gpt-..."
messages=[{"role": "user", "content": "Reply with one short sentence."}],
)
print(r.choices[0].message.content)
Node
import OpenAI from "openai";
const client = new OpenAI({
baseURL: "https://inference.broadnet.ai/v1",
apiKey: process.env.BROADNET_API_KEY,
});
const r = await client.chat.completions.create({
model: "broadnet/gemma-4-26b-a4b",
messages: [{ role: "user", content: "Reply with one short sentence." }],
});
console.log(r.choices[0].message.content);
cURL
curl https://inference.broadnet.ai/v1/chat/completions \
-H "Authorization: Bearer $BROADNET_API_KEY" \
-H "Content-Type: application/json" \
-d '{"model":"broadnet/gemma-4-26b-a4b","messages":[{"role":"user","content":"Reply with one short sentence."}]}'
パスに注意してください。ベース URL はすでに /v1 で終わっているので、SDK は /chat/completions を付け足します。/v1 を二重にするのが、最初にいちばんよくあるミスです。
コードに触れずに切り替えられるか?
Chat Completions のコードなら可能です。Python SDK は base_url が渡されないと OPENAI_BASE_URL を読み込み、Node のクライアントは baseURL のデフォルトが process.env['OPENAI_BASE_URL'] です。どちらも OPENAI_API_KEY を読み込みます。環境変数を 2 つ設定すれば、すべての呼び出しが移ります。
それがリスクでもあります。embeddings、モデレーション、ファイルのアップロードなど、新しいプロバイダーにないかもしれないものも含めて、すべての呼び出しが移ります。環境変数での切り替えは、アプリがチャットの呼び出ししかしていない場合に限ってください。
コードが Responses API を使っている場合は?
OpenAI の SDK の README は現在、Responses API を主要 API としており、Python の README は Chat Completions を “the previous standard (supported indefinitely)”(訳:以前の標準(無期限でサポート))と呼んでいます。多くの互換プロバイダーは Chat Completions しか実装していません。BroadNet のドキュメントにあるのは POST /v1/chat/completions と POST /v1/audio/transcriptions なので、Responses の呼び出しは書き換えが必要です。対応関係は次のとおりです。
| Responses API | Chat Completions |
|---|---|
client.responses.create(...) |
client.chat.completions.create(...) |
instructions="..." |
最初のメッセージ {"role": "system", "content": "..."} |
input="..." または項目のリスト |
messages=[...] |
response.output_text |
response.choices[0].message.content |
max_output_tokens |
max_tokens(BroadNet のドキュメント)または max_completion_tokens |
text={"format": {...}} |
response_format={...} |
previous_response_id、conversations |
完全なメッセージ履歴を自分で再送する |
ツール {"type": "function", "name": ...} |
ツール {"type": "function", "function": {"name": ...}} |
出力項目 function_call、function_call_output と call_id で返す |
message.tool_calls、role が tool のメッセージと tool_call_id で返す |
| 組み込みツール(ウェブ検索、ファイル検索) | 使えない。自前のツールを動かす |
単純な呼び出しの書き換え前と後:
# Before: Responses API
r = client.responses.create(model="gpt-...", instructions="Be brief.", input="What is RAG?")
text = r.output_text
# After: Chat Completions
r = client.chat.completions.create(
model="broadnet/gemma-4-26b-a4b",
messages=[{"role": "system", "content": "Be brief."},
{"role": "user", "content": "What is RAG?"}],
)
text = r.choices[0].message.content
構造上いちばん大きな変化は状態の扱いです。Responses は previous_response_id で会話の状態を OpenAI 側に保持できます。Chat Completions にはサーバー側の状態がないので、コードがメッセージのリストを保存し、毎ターンそのすべてを送ります。その分の予算を見込んでください。呼び出しのたびに、履歴全体が入力トークンになります。
ツール呼び出しはどう変わるか?
Chat Completions では、ツール定義の関数は function キーの下にネストされ、返答は tool メッセージとして返します。
import json
tools = [{
"type": "function",
"function": {
"name": "get_order",
"description": "Look up an order by ID.",
"parameters": {"type": "object",
"properties": {"order_id": {"type": "string"}},
"required": ["order_id"]},
},
}]
messages = [{"role": "user", "content": "Where is order A-1042?"}]
r = client.chat.completions.create(model="broadnet/glm-5.3", messages=messages, tools=tools)
msg = r.choices[0].message
if msg.tool_calls:
messages.append(msg) # keep the assistant turn
for call in msg.tool_calls:
args = json.loads(call.function.arguments) # a JSON string: parse and validate it
messages.append({"role": "tool", "tool_call_id": call.id,
"content": json.dumps(lookup_order(args["order_id"]))})
r = client.chat.completions.create(model="broadnet/glm-5.3", messages=messages, tools=tools)
形よりもモデルのほうが重要です。BroadNet のドキュメントでツールが記載されているのは GLM 5.3 と Qwen3.8 27B だけです。ドキュメントにツールの記載がないモデルにツールのループを向けないでください。また、何かを実行する前に引数を検証してください。オープンモデルでのツール呼び出しに、検証付きの完全なループがあります。
構造化出力はどうなるか?
client.chat.completions.parse(..., response_format=MyPydanticModel) も Node の zodResponseFormat も、JSON スキーマ付きの response_format を送ります。これが動くのは、プロバイダーがそのモデルでその形を受け付ける場合だけです。BroadNet は GLM 5.3 と Qwen3.8 27B に構造化出力を記載していますが、リクエストのパラメーター名は書いていません。JSON モードと json_schema の 4 ステップのテストをモデルごとに一度実行し、プロバイダーが何を約束していても、パース結果の検証は続けてください。
embeddings はどうなるか?
共有のクライアントでベース URL を変更し、プロバイダーに embeddings のエンドポイントがなければ、client.embeddings.create の呼び出しはすべて失敗します。BroadNet は embeddings を提供していません。クライアントを 2 つ用意してください。
chat = OpenAI(base_url="https://inference.broadnet.ai/v1", api_key=os.environ["BROADNET_API_KEY"])
embed = OpenAI(api_key=os.environ["OPENAI_API_KEY"]) # or any embeddings provider
vec = embed.embeddings.create(model="text-embedding-3-small", input=query).data[0].embedding
answer = chat.chat.completions.create(model="broadnet/glm-5.3", messages=build_prompt(query, search(vec)))
2 つの埋め込みモデルのベクトルを 1 つのインデックスに混在させてはいけません。埋め込みのプロバイダーも変えるなら、コーパス全体を埋め込み直してください。その料金は 埋め込みコスト計算ツールで計算できます。
チャット以外のもの、つまり画像生成、音声合成、モデレーション、Batch API、ファイルストレージも同様です。BroadNet はどれも提供していません。音声認識は移行できます。client.audio.transcriptions.create は、WAV または MP3 と language フィールドで /v1/audio/transcriptions に対して動きます(アラビア語音声認識ガイド)。
ストリーミングのコードはどう変わるか?
Responses API は、response.output_text.delta や response.completed のような型付きのイベントをストリーミングします。Chat Completions はチャンクをストリーミングし、テキストは choices[0].delta.content にあります。usage は要求しない限り送られず、要求すると choices が空のリストになった最後のチャンクで届きます。
// Before (Responses): for await (const e of stream) if (e.type === "response.output_text.delta") out(e.delta);
const stream = await client.chat.completions.create({
model: "broadnet/gemma-4-26b-a4b",
messages: [{ role: "user", content: "Count from one to three." }],
stream: true,
stream_options: { include_usage: true },
});
for await (const chunk of stream) {
const text = chunk.choices[0]?.delta?.content;
if (text) process.stdout.write(text);
if (chunk.usage) console.log("\ntokens:", chunk.usage.total_tokens); // last chunk
}
切り替え後もストリームのコードを安全に保つ習慣が 2 つあります。usage のチャンクには choices がないので、choices[0] をガードすること。そして、最後の data: [DONE] 行の前に終わったストリームは不完全として扱うことです。BroadNet のドキュメントは、X-Request-ID を記録し、新しいリクエストを送っても安全かを判断するよう求めています。Python での完全なパターンはストリーミング chat completions にあります。
エラー処理とリトライは変わるか?
SDK のエラークラスは変わりません。401 は AuthenticationError、429 は RateLimitError、それ以外は APIStatusError です。変わるのは、新しいプロバイダーで各ステータスが何を意味するかです。BroadNet では、401 はキーの誤りだけでなく従量課金の利用枠の使い切りを意味することがあり、402 は購入に必要な残高が足りないことを意味します。どちらもリトライでは解消しません。429 は、レート、同時実行、トークンレート、支出のいずれの上限からも返ります。429 と 5xx はバックオフでリトライし、それ以外は修正してください。完全な表はエラーとリトライのガイドにあります。
SDK は、接続エラー、408、409、429、5xx をデフォルトで 2 回リトライします。自前のリトライループを追加するなら、二重にならないよう、クライアントで max_retries=0 を設定してください。
挙動が異なるパラメーターは?
| パラメーター | 確認すること |
|---|---|
max_tokens / max_completion_tokens |
OpenAI は max_tokens を非推奨としているが、BroadNet のドキュメントはこちらを使う。推論モデルでは思考を含むため、小さい値だと空の回答が返る(理由) |
reasoning_effort |
BroadNet のドキュメントには low がある。他の値は依存する前にテストする |
stream_options: {"include_usage": true} |
BroadNet のドキュメントに記載あり。usage は最後のチャンクで届く |
n、logprobs、seed、logit_bias |
BroadNet のドキュメントに記載なし。テストするか削除する |
store、metadata |
OpenAI の保存機能。削除する |
image_url のコンテンツパート |
画像対応と記載されたモデルのみ:DeepSeek V4.1 Flash、Qwen3.8 27B、Gemma 4 VL 26B |
切り替えをどうテストするか?
トラフィックを移す前に、新しいプロバイダーに対して短いスモークテストを実行します。次のテストは、通常のチャット、ストリーミングの usage、推論の予算、認証を確認します。ツールを使うなら、ツール呼び出しのケースも追加してください。
import os, openai
from openai import OpenAI
client = OpenAI(base_url="https://inference.broadnet.ai/v1", api_key=os.environ["BROADNET_API_KEY"], max_retries=0)
FAST, REASONING = "broadnet/gemma-4-26b-a4b", "broadnet/qwen3.8-27b"
msg = [{"role": "user", "content": "Reply with the word ok."}]
# 1. Plain chat returns text and usage
r = client.chat.completions.create(model=FAST, messages=msg)
assert r.choices[0].message.content and r.usage.prompt_tokens > 0
# 2. Streaming reports usage in the last chunk
chunks = list(client.chat.completions.create(model=FAST, messages=msg, stream=True,
stream_options={"include_usage": True}))
assert chunks[-1].usage is not None
# 3. A reasoning model needs room: a tiny budget can come back empty
r = client.chat.completions.create(model=REASONING, messages=msg, max_tokens=2000)
assert r.choices[0].finish_reason == "stop" and r.choices[0].message.content
# 4. A bad key raises AuthenticationError (401), which you should not retry
bad = OpenAI(base_url="https://inference.broadnet.ai/v1", api_key="invalid", max_retries=0)
try:
bad.chat.completions.create(model=FAST, messages=msg)
raise AssertionError("expected 401")
except openai.AuthenticationError:
pass
print("smoke test passed")
次に、形だけでなく品質を比べます。実際のプロンプトのサンプルを両方のプロバイダーで再生し、回答を採点してください。やり方は乗り換え前の LLM の評価方法で紹介しています。OpenAI から BroadNet への移行ツールは、コード片の書き換えを手伝い、使われている機能を一覧にします。
もっともよく壊れるのは?
- 全体に効くベース URL。embeddings やファイルの呼び出しまで移ってしまいます。
- Responses 専用のヘルパー。
output_textなどが、Chat Completions を呼ぶようになったコードに残っています。 - モデル ID。
gpt-...という名前はほかには存在しません。BroadNet ではbroadnet/glm-5.3のような形です。 - 空の返答。
max_tokensが小さい推論モデルで起こります。 - **レート制限。**BroadNet の従量課金キーは毎分 30 リクエスト、同時実行 4 リクエストまでです。一括ジョブにはキューが必要です(429 への対処)。
BroadNet Inference が向いているケース
BroadNet Inference は、OpenAI の使い方がチャットと文字起こし中心のアプリに向いています。アシスタント、抽出、要約、翻訳、アラビア語音声などです。エージェント向けに定額の DeepSeek V4.1 Flash プランを使いたいアプリにも向いています。Responses API のサーバー側の状態、組み込みツール、embeddings、画像生成、音声合成、リアルタイム音声、Batch API に依存しているなら、移行先として適していません。それらは提供しているプロバイダーに移すか、OpenAI に残してチャットの呼び出しだけを移してください。Gemma 4 VL 26B と 2 つの文字起こしモデルは $5 の初回クレジットで使えます。GLM 5.3、Qwen3.8 27B、DeepSeek V4.1 Flash は先にチャージが必要です。
