オープンウェイトのモデルが公開されても、誰かがそれを動かさなければなりません。それを担うのが推論プロバイダーです。
仕組み
プロバイダーはモデルの重みを GPU に読み込み、リクエストをバッチ処理してメモリを管理するサービング用ソフトウェアを動かし、その前に API を置きます。多くは OpenAI 互換 API を提供しているため、ベース URL、キー、モデル ID を変えるだけでプロバイダーを乗り換えられます。
この言葉は、いくつかの事業形態を指します。
- 自社のモデルを提供するモデル開発元。
- 多くの開発元のオープンウェイトモデルを提供する独立系のホスト。
- GPU やマネージドエンドポイントを貸し出すクラウド。GPU 時間単位で課金されることもあります。
- アグリゲーター。 Hugging Face の Inference Providers は、1 つのトークンで “hundreds of machine learning models, powered by world-class inference providers”(訳:世界トップクラスの推論プロバイダーが動かす、数百の機械学習モデル)にアクセスできます。LLM ルーターも同じ仕組みです。
API の形が共通なので、同じコードがどのプロバイダーでも動きます。変わるのは 3 つの値だけです。
import os
from openai import OpenAI
msgs = [{"role": "user", "content": "Hello"}]
client = OpenAI(
base_url="https://inference.broadnet.ai/v1", # the provider
api_key=os.environ["BROADNET_API_KEY"], # its key
)
client.chat.completions.create(model="broadnet/deepseek-v4.1-flash", messages=msgs) # its model ID
コード中のコメントは、それぞれプロバイダー、そのキー、そのモデル ID を指しています。料金の形も異なり、トークン単位、音声 1 分単位、時間単位、セッションごとの定額があります。
なぜ重要か
プロバイダー選びは、モデル名からは見えないトレードオフを選ぶことでもあります。
- データの扱い。 保持、ログ記録、学習への利用はさまざまです。文書化されたゼロデータ保持の方針があるかを確認してください。
- 動かす場所。 リージョンと再委託先は、コンプライアンスに関わります。
- 上限。 同時実行数、レート制限、コンテキスト長が、モデル本来の最大値より低いことがあります。
- サービングの選択。 精度やサービングの設定は、速度に、場合によっては出力にも影響します。
- 料金の形。 最適な形はトラフィックによって決まります。プロバイダーの料金比較を参照してください。
- 料金の水準。 同じオープンモデルでも、プロバイダーによって何倍も料金が違うことがあります。同じモデル、異なるホストを参照してください。
BroadNet Inference の場合
BroadNet Inference は推論プロバイダーです。同社のプライバシー声明によると、自社モデルと自社でホストするオープンウェイトモデルは “run on BroadNet-owned or leased hardware in the United States, with partner capacity as backup”(訳:BroadNet が所有またはリースする米国内のハードウェアで動き、パートナーのキャパシティを予備とする)とされ、パートナーが提供するモデルは、米国の推論パートナーとのゼロデータ保持の条件のもとで動きます。リクエストとレスポンスの内容は保持されません。
DeepSeek V4.1 Flash や GLM 5.3 などのチャットモデルと、2 つの音声認識モデルを、https://inference.broadnet.ai/v1 の OpenAI 互換 API で提供しています。課金は、トークン単位または音声 1 分単位の従量課金、時間制キー、DeepSeek V4.1 Flash の定額プランです。自社の基準でほかのプロバイダーと比べるには、プロバイダー選びのチェックリストを使ってください。