---
title: "LiteLLM で OpenAI 互換プロバイダーを使う（api_base 設定） | BroadRouter"
description: "openai/ のモデルプレフィックスと api_base を使い、LiteLLM の Python SDK またはプロキシの config.yaml から BroadNet Inference を呼び出します。レート制限の合わせ方も解説します。"
url: https://broadrouter.com/ja/guides/litellm-proxy-custom-provider/
lang: ja
updated: 2026-11-16
publisher: BroadRouter (a BroadNet site); API by BroadNet Inference, https://inference.broadnet.ai
---

このページは英語の原文を AI の支援を受けて翻訳したものです。[英語の原文を読む](https://broadrouter.com/guides/litellm-proxy-custom-provider/)（2026-11-16 更新）。

# LiteLLM から BroadNet Inference にルーティングする（SDK とプロキシ）

更新日 2026-11-16

LiteLLM では、BroadNet のモデル ID の前に openai/ を付け（例：openai/broadnet/glm-5.3）、api\_base を https://inference.broadnet.ai/v1、api\_key を BroadNet のキーにします。プロキシでは、同じ値を config.yaml の litellm\_params に書き、モデルに短い model\_name を付けます。

LiteLLM は、Python SDK とプロキシサーバーの両方の形で、多くの LLM プロバイダーへの共通のインターフェースを提供します。OpenAI 互換 API に接続するには、ドキュメントによると 2 つのことをします。モデル名の前に `openai/` を付けることと、`api_base` を設定することです。BroadNet Inference にはこのルートを使います。

## 1\. Python SDK

```bash
pip install litellm
export BROADNET_API_KEY='your-broadnet-key'
```

```python
import os
import litellm

response = litellm.completion(
    model="openai/broadnet/glm-5.3",
    api_base="https://inference.broadnet.ai/v1",
    api_key=os.environ["BROADNET_API_KEY"],
    max_tokens=4000,  # reasoning counts toward this
    messages=[{"role": "user", "content": "Name three uses of a bloom filter."}],
)
print(response.choices[0].message.content)
```

コード内の英語のコメントは、推論もこの上限に含まれるという意味です。

`openai/` はルートを選ぶためのもので、LiteLLM が BroadNet に送るのは `broadnet/glm-5.3` です。ベース URL には何も付け足さないでください。エンドポイントのパスは LiteLLM の OpenAI クライアントが付けます。

LiteLLM のドキュメントによると、`openai` ルートは公式の OpenAI Python ライブラリを使っており、すべてのリクエストに API キーが必要です。上の例のように `api_key` を明示的に渡し、LiteLLM が OpenAI 本体向けの `OPENAI_API_KEY` を代わりに使うことがないようにしてください。レスポンスは OpenAI の形式で返るので、残りのコードは変えずに済みます。

## プロキシを使う場面

1 つの Python アプリの中なら SDK で十分です。複数のアプリや言語が同じモデルを必要とする場合はプロキシが役立ちます。どのアプリも短いモデル名で 1 つの OpenAI 形式のエンドポイントを呼び、プロキシが BroadNet のキーを保持し、レート制限をかけ、使用量を記録します。アプリ側には BroadNet 固有の設定がまったく要りません。

## 2\. プロキシサーバー

プロキシ用の追加パッケージをインストールし、`config.yaml` を書きます。

```bash
pip install 'litellm[proxy]'
```

```yaml
model_list:
  - model_name: glm
    litellm_params:
      model: openai/broadnet/glm-5.3
      api_base: https://inference.broadnet.ai/v1
      api_key: os.environ/BROADNET_API_KEY_GLM
      rpm: 30
  - model_name: deepseek-flash
    litellm_params:
      model: openai/broadnet/deepseek-v4.1-flash
      api_base: https://inference.broadnet.ai/v1
      api_key: os.environ/BROADNET_API_KEY_DEEPSEEK
      rpm: 30
  - model_name: qwen
    litellm_params:
      model: openai/broadnet/qwen3.8-27b
      api_base: https://inference.broadnet.ai/v1
      api_key: os.environ/BROADNET_API_KEY_QWEN
      rpm: 30

general_settings:
  master_key: os.environ/LITELLM_MASTER_KEY
```

起動したら、ほかの OpenAI エンドポイントと同じように呼び出します。

```bash
litellm --config config.yaml

# in a second terminal
curl http://localhost:4000/chat/completions \
  -H "Authorization: Bearer $LITELLM_MASTER_KEY" \
  -H "Content-Type: application/json" \
  -d '{"model": "glm", "messages": [{"role": "user", "content": "Hello"}]}'
```

（コード内のコメントは「別のターミナルで実行」という意味です。）`os.environ/BROADNET_API_KEY_GLM` は、そのキーを環境変数から読むよう LiteLLM に指示します。各エントリーはそれぞれ別の BroadNet の従量課金のキーを使うので、LiteLLM のデプロイメントごとの任意のレート制限である `rpm: 30` が各キーの上限に合います。複数のエントリーで 1 つのキーを共有する場合は、その 1 つの上限を共有することになるので、数値をエントリー間で分けてください。`master_key` を設定すると、プロキシはすべての呼び出しにキーを要求します。LiteLLM のドキュメントによると、このキーは `sk-` で始まる必要があります。プロキシを起動する前に `LITELLM_MASTER_KEY` を export してください。

## モデルの選び方

| model\_name | BroadNet のモデル | 用途 |
| --- | --- | --- |
| `glm` | [GLM 5.3](https://broadrouter.com/ja/models/glm-5.3/) | ツール、構造化出力、100 万トークンのコンテキスト |
| `deepseek-flash` | [DeepSeek V4.1 Flash](https://broadrouter.com/ja/models/deepseek-v4.1-flash/) | 長いコンテキスト。無制限プランのモデル |
| `qwen` | [Qwen3.8 27B](https://broadrouter.com/ja/models/qwen3.8-27b/) | 画像、ツール、アラビア語 |
| （必要に応じて追加） | [Gemma 4 VL 26B](https://broadrouter.com/ja/models/gemma-4-vl-26b/) | トークン単価が低い。$5 のクレジットで使える |

料金は[料金ページ](https://broadrouter.com/ja/pricing/)にあります。別のゲートウェイから移行する場合は、[移行チェックリスト](https://broadrouter.com/ja/blog/openai-compatible-api-migration-checklist/)にテストすべき項目がまとまっています。

## トラブルシューティング

-   **401。** BroadNet のキーが間違っている、期限切れ、または従量課金の利用枠を使い切っています。401 がプロキシ自体から返っている場合は、送った LiteLLM のキーを確認してください。
-   **Not Found。** `api_base` が `/v1` 付きの `https://inference.broadnet.ai/v1` になっているか確認してください。ベース URL が正しければ、`openai/` の後のモデル ID が BroadNet のものと完全に一致しているか確認します。
-   **新しいアカウントでモデルが拒否される。** GLM 5.3、Qwen3.8 27B、DeepSeek V4.1 Flash は先にチャージが必要です。$5 のクレジットで使えるのは `broadnet/gemma-4-26b-a4b` と 2 つの Transcribe モデルだけです。
-   **content が空。** 推論は `max_tokens` に含まれます。値を上げるか、`reasoning_effort="low"` を送ってください。[回答が空になる理由](https://broadrouter.com/ja/guides/reasoning-tokens-empty-response/)。
-   **429。** 従量課金のキーは毎分 30 リクエスト、同時実行 4 リクエストまでです。前者には LiteLLM の `rpm` が役立ちます。後者については、キーごとの同時呼び出しを 4 以下に抑えてください。[エラーとリトライ](https://broadrouter.com/ja/guides/errors-and-retries/)を参照してください。
-   **プランのキーでエージェントを並列に動かす場合。** 1 つの[プランのセッション](https://broadrouter.com/ja/guides/unlimited-llm-api-sessions/)は同時に 1 リクエストしか処理しません。プロキシ経由で 1 セッションに複数のエージェントを流すと待ち行列に入るので、並列のエージェントごとに 1 セッションを購入してください。

## このガイドの用語

[AI エージェント（AI agent）](https://broadrouter.com/ja/glossary/agent/)

AI エージェントとは、言語モデルが目標に向けて自分で手順を決めるシステムです。どのツールを呼ぶかを決め、結果を読み、最終回答を出すか上限に達するまで繰り返します。決まった箇所でモデルを呼ぶ固定のスクリプトは、ふつうワークフローと呼ばれます。

[レート制限（rate limit）](https://broadrouter.com/ja/glossary/rate-limit/)

レート制限とは、1 分あたりのリクエスト数やトークン数など、一定時間内にクライアントが API を使える量に API 側が設ける上限です。上限を超えたリクエストは、使用量が下回るまで通常 HTTP 429 Too Many Requests で拒否されます。

[従量課金（pay-as-you-go）](https://broadrouter.com/ja/glossary/pay-as-you-go/)

従量課金とは、使った分だけを支払う料金体系です。トークン、リクエスト、音声の分数などの単位で計測され、サブスクリプションや最低利用額はありません。多くの LLM API はこの方式で、前払いの残高か定期的な請求書から支払います。

[同時実行数（concurrency）](https://broadrouter.com/ja/glossary/concurrency/)

同時実行数（concurrency）とは、クライアントが同時に処理中にしているリクエストの数です。開いているリクエストは応答が終わるまで GPU の容量を占有するため、LLM API は毎分リクエスト数とは別に、キーやプランごとにこれを制限することがよくあります。

[OpenAI 互換 API（OpenAI-compatible API）](https://broadrouter.com/ja/glossary/openai-compatible-api/)

OpenAI 互換 API とは、POST /v1/chat/completions など OpenAI API と同じリクエスト形式とレスポンス形式を受け付ける HTTP API です。OpenAI の SDK やツールは、ベース URL、API キー、モデル名を変えるだけで利用できます。

[トークン（token）](https://broadrouter.com/ja/glossary/token/)

トークンとは、言語モデルが読み書きするテキストの単位です。モデルのトークナイザーが作る単語、単語の一部、句読点、バイト列のいずれかにあたります。LLM API は利用量をトークンで数え、上限を設け、通常はトークン単位で課金します。

[ベース URL（base URL）](https://broadrouter.com/ja/glossary/base-url/)

ベース URL とは、https://api.example.com/v1 のような API の固定のルートアドレスで、クライアントが /chat/completions などのエンドポイントパスの前に付けます。OpenAI 互換の SDK では、API キーとモデル ID と一緒にベース URL を変えるだけで、同じコードを別のプロバイダーに向けられます。

[API キー（API key）](https://broadrouter.com/ja/glossary/api-key/)

API キーとは、API を呼び出すクライアントを識別し、認可するための秘密の文字列です。LLM API では通常 Authorization: Bearer ヘッダーで送り、キーを持つ人は誰でも、そのキーの所有アカウントに課金されるリクエストを送れます。

## よくある質問

### LiteLLM が Not Found エラーを返すのはなぜですか？

LiteLLM のドキュメントでは、api\_base が /v1 で終わっていることを確認するよう求めています。https://inference.broadnet.ai/v1 を使い、/chat/completions は付けないでください。

### モデル名が openai/broadnet/glm-5.3 になるのはなぜですか？

openai/ プレフィックスは、OpenAI 形式の /chat/completions エンドポイントを呼ぶよう LiteLLM に指示します。LiteLLM はこのプレフィックスでルートを選び、残りの broadnet/glm-5.3、つまり BroadNet のモデル ID を送ります。

### BroadNet の無制限プランのキーを共有の LiteLLM プロキシの背後に置けますか？

プランのキーは共有も再販もできず、1 セッションは同時に 1 リクエストしか処理しません。ご自身のエージェントに使ってください。チームのプロキシには従量課金のキーを使ってください。

### LiteLLM で BroadNet を呼ぶのに OPENAI\_API\_KEY は必要ですか？

openai ルートでは、すべてのリクエストに api\_key か OPENAI\_API\_KEY のキーが必要です。BroadNet のキーを api\_key として渡すか、プロキシでは os.environ/BROADNET\_API\_KEY と書いてください。そうすれば LiteLLM が本物の OpenAI のキーを BroadNet に送ることはありません。

## 関連ガイド

-   [OpenAI Python SDK を BroadNet Inference で使う](https://broadrouter.com/ja/guides/openai-python-sdk/)
-   [BroadNet Inference のエラーコードとリトライすべき場合](https://broadrouter.com/ja/guides/errors-and-retries/)
-   [推論モデルが空の回答を返す理由](https://broadrouter.com/ja/guides/reasoning-tokens-empty-response/)
-   [LangChain で BroadNet Inference を使う](https://broadrouter.com/ja/guides/langchain-openai-base-url/)
-   [BroadNet Inference で使えるすべてのツール（英語）](https://broadrouter.com/integrations/)：SDK、コーディングエージェント、チャット UI、自動化ツールと、それぞれの正確な設定

実際のワークロードで試してください。新規アカウントには US$5 の初回クレジットがあり、Gemma、文字起こし に使えます。DeepSeek、GLM、Qwen3.8 はチャージが必要です。

[始める](https://inference.broadnet.ai/account/?utm_source=broadrouter&utm_medium=referral&utm_campaign=ja-guides-litellm-proxy-custom-provider&utm_content=page-cta) ·

**出典**

-   [LiteLLM ドキュメント、OpenAI 互換エンドポイント（2026-11-14 確認）](https://docs.litellm.ai/docs/providers/openai_compatible)
-   [LiteLLM ドキュメント、プロキシの config.yaml（2026-11-14 確認）](https://docs.litellm.ai/docs/proxy/configs)
-   [BroadNet Inference API リファレンス（英語）](https://inference.broadnet.ai/docs?utm_source=broadrouter&utm_medium=referral&utm_campaign=ja-guides-litellm-proxy-custom-provider&utm_content=sources)
