BroadRouter

LiteLLM から BroadNet Inference にルーティングする(SDK とプロキシ)

更新日

LiteLLM では、BroadNet のモデル ID の前に openai/ を付け(例:openai/broadnet/glm-5.3)、api_base を https://inference.broadnet.ai/v1、api_key を BroadNet のキーにします。プロキシでは、同じ値を config.yaml の litellm_params に書き、モデルに短い model_name を付けます。

LiteLLM は、Python SDK とプロキシサーバーの両方の形で、多くの LLM プロバイダーへの共通のインターフェースを提供します。OpenAI 互換 API に接続するには、ドキュメントによると 2 つのことをします。モデル名の前に openai/ を付けることと、api_base を設定することです。BroadNet Inference にはこのルートを使います。

1. Python SDK

pip install litellm
export BROADNET_API_KEY='your-broadnet-key'
import os
import litellm

response = litellm.completion(
    model="openai/broadnet/glm-5.3",
    api_base="https://inference.broadnet.ai/v1",
    api_key=os.environ["BROADNET_API_KEY"],
    max_tokens=4000,  # reasoning counts toward this
    messages=[{"role": "user", "content": "Name three uses of a bloom filter."}],
)
print(response.choices[0].message.content)

コード内の英語のコメントは、推論もこの上限に含まれるという意味です。

openai/ はルートを選ぶためのもので、LiteLLM が BroadNet に送るのは broadnet/glm-5.3 です。ベース URL には何も付け足さないでください。エンドポイントのパスは LiteLLM の OpenAI クライアントが付けます。

LiteLLM のドキュメントによると、openai ルートは公式の OpenAI Python ライブラリを使っており、すべてのリクエストに API キーが必要です。上の例のように api_key を明示的に渡し、LiteLLM が OpenAI 本体向けの OPENAI_API_KEY を代わりに使うことがないようにしてください。レスポンスは OpenAI の形式で返るので、残りのコードは変えずに済みます。

プロキシを使う場面

1 つの Python アプリの中なら SDK で十分です。複数のアプリや言語が同じモデルを必要とする場合はプロキシが役立ちます。どのアプリも短いモデル名で 1 つの OpenAI 形式のエンドポイントを呼び、プロキシが BroadNet のキーを保持し、レート制限をかけ、使用量を記録します。アプリ側には BroadNet 固有の設定がまったく要りません。

2. プロキシサーバー

プロキシ用の追加パッケージをインストールし、config.yaml を書きます。

pip install 'litellm[proxy]'
model_list:
  - model_name: glm
    litellm_params:
      model: openai/broadnet/glm-5.3
      api_base: https://inference.broadnet.ai/v1
      api_key: os.environ/BROADNET_API_KEY_GLM
      rpm: 30
  - model_name: deepseek-flash
    litellm_params:
      model: openai/broadnet/deepseek-v4.1-flash
      api_base: https://inference.broadnet.ai/v1
      api_key: os.environ/BROADNET_API_KEY_DEEPSEEK
      rpm: 30
  - model_name: qwen
    litellm_params:
      model: openai/broadnet/qwen3.8-27b
      api_base: https://inference.broadnet.ai/v1
      api_key: os.environ/BROADNET_API_KEY_QWEN
      rpm: 30

general_settings:
  master_key: os.environ/LITELLM_MASTER_KEY

起動したら、ほかの OpenAI エンドポイントと同じように呼び出します。

litellm --config config.yaml

# in a second terminal
curl http://localhost:4000/chat/completions \
  -H "Authorization: Bearer $LITELLM_MASTER_KEY" \
  -H "Content-Type: application/json" \
  -d '{"model": "glm", "messages": [{"role": "user", "content": "Hello"}]}'

(コード内のコメントは「別のターミナルで実行」という意味です。)os.environ/BROADNET_API_KEY_GLM は、そのキーを環境変数から読むよう LiteLLM に指示します。各エントリーはそれぞれ別の BroadNet の従量課金のキーを使うので、LiteLLM のデプロイメントごとの任意のレート制限である rpm: 30 が各キーの上限に合います。複数のエントリーで 1 つのキーを共有する場合は、その 1 つの上限を共有することになるので、数値をエントリー間で分けてください。master_key を設定すると、プロキシはすべての呼び出しにキーを要求します。LiteLLM のドキュメントによると、このキーは sk- で始まる必要があります。プロキシを起動する前に LITELLM_MASTER_KEY を export してください。

モデルの選び方

model_name BroadNet のモデル 用途
glm GLM 5.3 ツール、構造化出力、100 万トークンのコンテキスト
deepseek-flash DeepSeek V4.1 Flash 長いコンテキスト。無制限プランのモデル
qwen Qwen3.8 27B 画像、ツール、アラビア語
(必要に応じて追加) Gemma 4 VL 26B トークン単価が低い。$5 のクレジットで使える

料金は料金ページにあります。別のゲートウェイから移行する場合は、移行チェックリストにテストすべき項目がまとまっています。

トラブルシューティング

  • 401。 BroadNet のキーが間違っている、期限切れ、または従量課金の利用枠を使い切っています。401 がプロキシ自体から返っている場合は、送った LiteLLM のキーを確認してください。
  • Not Found。 api_base が /v1 付きの https://inference.broadnet.ai/v1 になっているか確認してください。ベース URL が正しければ、openai/ の後のモデル ID が BroadNet のものと完全に一致しているか確認します。
  • 新しいアカウントでモデルが拒否される。 GLM 5.3、Qwen3.8 27B、DeepSeek V4.1 Flash は先にチャージが必要です。$5 のクレジットで使えるのは broadnet/gemma-4-26b-a4b と 2 つの Transcribe モデルだけです。
  • content が空。 推論は max_tokens に含まれます。値を上げるか、reasoning_effort="low" を送ってください。回答が空になる理由。
  • 429。 従量課金のキーは毎分 30 リクエスト、同時実行 4 リクエストまでです。前者には LiteLLM の rpm が役立ちます。後者については、キーごとの同時呼び出しを 4 以下に抑えてください。エラーとリトライを参照してください。
  • プランのキーでエージェントを並列に動かす場合。 1 つのプランのセッションは同時に 1 リクエストしか処理しません。プロキシ経由で 1 セッションに複数のエージェントを流すと待ち行列に入るので、並列のエージェントごとに 1 セッションを購入してください。

よくある質問

LiteLLM が Not Found エラーを返すのはなぜですか?

LiteLLM のドキュメントでは、api_base が /v1 で終わっていることを確認するよう求めています。https://inference.broadnet.ai/v1 を使い、/chat/completions は付けないでください。

モデル名が openai/broadnet/glm-5.3 になるのはなぜですか?

openai/ プレフィックスは、OpenAI 形式の /chat/completions エンドポイントを呼ぶよう LiteLLM に指示します。LiteLLM はこのプレフィックスでルートを選び、残りの broadnet/glm-5.3、つまり BroadNet のモデル ID を送ります。

BroadNet の無制限プランのキーを共有の LiteLLM プロキシの背後に置けますか?

プランのキーは共有も再販もできず、1 セッションは同時に 1 リクエストしか処理しません。ご自身のエージェントに使ってください。チームのプロキシには従量課金のキーを使ってください。

LiteLLM で BroadNet を呼ぶのに OPENAI_API_KEY は必要ですか?

openai ルートでは、すべてのリクエストに api_key か OPENAI_API_KEY のキーが必要です。BroadNet のキーを api_key として渡すか、プロキシでは os.environ/BROADNET_API_KEY と書いてください。そうすれば LiteLLM が本物の OpenAI のキーを BroadNet に送ることはありません。

Markdown で読むChatGPT に聞くClaude に聞くPerplexity に聞く