BroadRouter
始める

OpenAI Python SDK を BroadNet Inference で使う

更新日

openai パッケージをインストールし、base_url を https://inference.broadnet.ai/v1、api_key を BroadNet のキーにしてクライアントを作成します。chat.completions の呼び出しはそのまま動き、変えるのはモデル ID(例:broadnet/deepseek-v4.1-flash)だけです。BroadNet が提供するのはチャット補完と文字起こしで、Responses API はありません。

BroadNet Inference のアカウントと推論キーが必要です。新規アカウントは $5 のクレジット付きで始まり、カードは不要です。inference.broadnet.ai でアカウントを作成してください。コンソールにキーが表示されるのは 1 回だけで、保存されるのはハッシュのみなので、すぐに環境変数にコピーしてください。

1. インストールとキーの設定

現在の openai パッケージ(3.x)には Python 3.10 以上が必要です。

python -m pip install openai
export BROADNET_API_KEY='paste-the-key-once'

2. 最初のリクエスト

次の内容を first_request.py として保存します。

from openai import OpenAI
import os

client = OpenAI(
    base_url="https://inference.broadnet.ai/v1",
    api_key=os.environ["BROADNET_API_KEY"],
)

response = client.chat.completions.create(
    model="broadnet/gemma-4-26b-a4b",
    messages=[{"role": "user", "content": "Reply with one short sentence."}],
)
print(response.choices[0].message.content)

python first_request.py で実行します。この例で broadnet/gemma-4-26b-a4b を使っているのは、無料クレジットで動くからです。ほかのチャットモデルはチャージ後に使えます。

3. 使いたいモデルに切り替える

変えるのは model だけです。

用途 モデル ID
定額プランで無制限、コンテキスト 1M broadnet/deepseek-v4.1-flash
ツールと構造化出力、コンテキスト 1M broadnet/glm-5.3
アラビア語のテキストと画像 broadnet/qwen3.8-27b
価格が低く、無料クレジットで使える broadnet/gemma-4-26b-a4b

DeepSeek V4.1 Flash、GLM 5.3、Qwen3.8 27B は回答の前に推論し、その推論も max_tokens に数えられます。1,000 トークン以上を割り当ててください。上限が小さいと空の回答が返る理由はこちら。

4. 回答をストリーミングする

stream = client.chat.completions.create(
    model="broadnet/deepseek-v4.1-flash",
    stream=True,
    stream_options={"include_usage": True},
    messages=[{"role": "user", "content": "Count from one to three."}],
)
for chunk in stream:
    if chunk.choices and chunk.choices[0].delta.content:
        print(chunk.choices[0].delta.content, end="", flush=True)
    if chunk.usage:
        print("\n", chunk.usage)

include_usage を付けると、トークン数は最後のチャンクで届きます。このチャンクには choices がありません。接続が切れた場合の扱いはストリーミングのガイドで説明しています。

5. リクエスト ID を残す

すべてのレスポンスには X-Request-ID ヘッダーが付きます。BroadNet のサポートに求められるので、ログに残してください。パース済みのレスポンスでは response._request_id として取得できます。ほかのヘッダーと一緒に読むには次のようにします。

raw = client.chat.completions.with_raw_response.create(
    model="broadnet/gemma-4-26b-a4b",
    messages=[{"role": "user", "content": "Hi"}],
)
print(raw.headers.get("x-request-id"))
response = raw.parse()

従量課金のキーは毎分 30 リクエスト、同時実行 4 リクエストまでです。各エラーコードの意味とリトライすべき場合。

トラブルシューティング

  • AuthenticationError(401)。 キーが間違っている、期限切れ、または従量課金の利用枠を使い切っています。コードを実行するプロセスで BROADNET_API_KEY が設定されているか確認してください。
  • NotFoundError(404)。 base_url が /v1 で終わっているか、responses ではなく chat.completions を呼んでいるかを確認してください。次に、broadnet/ 接頭辞を含むモデル ID を確認してください。
  • 新しいアカウントで有料モデルが失敗する。 $5 の初回クレジットで使えるのは BroadNet Gemma 4 VL 26B(broadnet/gemma-4-26b-a4b)と 2 つの BroadNet Transcribe モデルです。ほかのチャットモデル(DeepSeek V4.1 Flash、GLM 5.3、Qwen3.8 27B)を使うにはチャージしてください。
  • content が空。 推論は max_tokens に数えられます。1,000 以上に上げてください。回答が空で返る理由。
  • RateLimitError(429)。 毎分または同時実行の上限を超えました。SDK はデフォルトで 2 回リトライします。変えるにはクライアントで max_retries を設定してください。
  • アップグレード後にカスタム HTTP クライアントでエラーが出る。 3.x の SDK は HTTPX2 を使います。独自の http_client を渡している場合は、SDK の HTTPX2 移行ガイドに従ってください。

よくある質問

別の SDK が必要ですか?

いいえ。BroadNet Inference は OpenAI の chat completions と audio transcriptions の形式に対応しているので、公式の openai パッケージを base_url だけ変えて使えます。

OPENAI_API_KEY をそのまま使えますか?

使えますが、BROADNET_API_KEY という別の変数にしておくと、あるプロバイダーのキーを誤って別のプロバイダーに送るのを防げます。

SDK は OPENAI_BASE_URL を読みますか?

はい。base_url を渡さなければ、クライアントは OPENAI_BASE_URL を使います。これを https://inference.broadnet.ai/v1 に、OPENAI_API_KEY を BroadNet のキーに設定すれば、OpenAI() に引数は不要です。

BroadNet で client.responses.create は使えますか?

いいえ。SDK の README は Responses API を先に紹介していますが、BroadNet のドキュメントにあるのはチャット補完と音声の文字起こしだけです。client.chat.completions.create を使ってください。

Markdown で読むChatGPT に聞くClaude に聞くPerplexity に聞く