BroadRouter

推論プロバイダー(inference provider)

更新日

推論プロバイダーとは、機械学習モデル(多くはオープンウェイトの LLM)を、所有、リース、レンタルした GPU で動かし、API 経由で利用を販売する企業です。料金は通常、トークン、リクエスト、時間単位です。サービングやスケーリング、ハードウェアも担います。

別名: LLM 推論プロバイダー、LLM API プロバイダー、モデルホスティング、AI 推論サービス、inference provider、LLM inference provider、LLM API provider、model hosting provider、AI inference provider

オープンウェイトのモデルが公開されても、誰かがそれを動かさなければなりません。それを担うのが推論プロバイダーです。

仕組み

プロバイダーはモデルの重みを GPU に読み込み、リクエストをバッチ処理してメモリを管理するサービング用ソフトウェアを動かし、その前に API を置きます。多くは OpenAI 互換 API を提供しているため、ベース URL、キー、モデル ID を変えるだけでプロバイダーを乗り換えられます。

この言葉は、いくつかの事業形態を指します。

  • 自社のモデルを提供するモデル開発元。
  • 多くの開発元のオープンウェイトモデルを提供する独立系のホスト。
  • GPU やマネージドエンドポイントを貸し出すクラウド。GPU 時間単位で課金されることもあります。
  • アグリゲーター。 Hugging Face の Inference Providers は、1 つのトークンで “hundreds of machine learning models, powered by world-class inference providers”(訳:世界トップクラスの推論プロバイダーが動かす、数百の機械学習モデル)にアクセスできます。LLM ルーターも同じ仕組みです。

API の形が共通なので、同じコードがどのプロバイダーでも動きます。変わるのは 3 つの値だけです。

import os
from openai import OpenAI

msgs = [{"role": "user", "content": "Hello"}]
client = OpenAI(
    base_url="https://inference.broadnet.ai/v1",          # the provider
    api_key=os.environ["BROADNET_API_KEY"],  # its key
)
client.chat.completions.create(model="broadnet/deepseek-v4.1-flash", messages=msgs)  # its model ID

コード中のコメントは、それぞれプロバイダー、そのキー、そのモデル ID を指しています。料金の形も異なり、トークン単位、音声 1 分単位、時間単位、セッションごとの定額があります。

なぜ重要か

プロバイダー選びは、モデル名からは見えないトレードオフを選ぶことでもあります。

  • データの扱い。 保持、ログ記録、学習への利用はさまざまです。文書化されたゼロデータ保持の方針があるかを確認してください。
  • 動かす場所。 リージョンと再委託先は、コンプライアンスに関わります。
  • 上限。 同時実行数、レート制限、コンテキスト長が、モデル本来の最大値より低いことがあります。
  • サービングの選択。 精度やサービングの設定は、速度に、場合によっては出力にも影響します。
  • 料金の形。 最適な形はトラフィックによって決まります。プロバイダーの料金比較を参照してください。
  • 料金の水準。 同じオープンモデルでも、プロバイダーによって何倍も料金が違うことがあります。同じモデル、異なるホストを参照してください。

BroadNet Inference の場合

BroadNet Inference は推論プロバイダーです。同社のプライバシー声明によると、自社モデルと自社でホストするオープンウェイトモデルは “run on BroadNet-owned or leased hardware in the United States, with partner capacity as backup”(訳:BroadNet が所有またはリースする米国内のハードウェアで動き、パートナーのキャパシティを予備とする)とされ、パートナーが提供するモデルは、米国の推論パートナーとのゼロデータ保持の条件のもとで動きます。リクエストとレスポンスの内容は保持されません。

DeepSeek V4.1 Flash や GLM 5.3 などのチャットモデルと、2 つの音声認識モデルを、https://inference.broadnet.ai/v1 の OpenAI 互換 API で提供しています。課金は、トークン単位または音声 1 分単位の従量課金、時間制キー、DeepSeek V4.1 Flash の定額プランです。自社の基準でほかのプロバイダーと比べるには、プロバイダー選びのチェックリストを使ってください。

よくある質問

推論プロバイダーと LLM ルーターの違いは何ですか?

プロバイダーは、所有、リース、レンタルしたハードウェアで自らモデルを動かします。ルーターは、1 つの API と 1 つの請求書で、リクエストを複数のプロバイダーのいずれかに転送します。両方を手がける企業もあります。

同じオープンモデルなら、どのプロバイダーでも同じ回答になりますか?

必ずしもそうではありません。精度、コンテキストの上限、既定の設定、サービングのソフトウェアが異なることがあり、出力も変わりえます。乗り換える前に、自分のプロンプトでテストしてください。

推論プロバイダーを乗り換えるにはどうすればいいですか?

OpenAI 互換 API なら、ベース URL、API キー、モデル ID の 3 つの値を変えます。そのうえで評価をやり直してください。同じモデルでも、プロバイダーが変わると挙動が変わることがあるからです。

Markdown で読むChatGPT に聞くClaude に聞くPerplexity に聞く