BroadRouter
始める

サーバーレス推論(serverless inference)

更新日

サーバーレス推論とは、エンドポイント背後の計算資源をプラットフォームが自動で起動・拡縮・停止し、アイドル時はゼロまで縮小することも多く、予約マシンでなく使用量で課金するモデルの実行方式です。コールドスタートの遅延が起こりうるのが難点です。

別名: サーバーレス LLM、サーバーレス GPU、ゼロスケール、スケール・トゥ・ゼロ、serverless inference、serverless LLM、serverless model endpoint、scale to zero、serverless GPU inference

サーバーレスはサーバーがないという意味ではありません。サーバーが見えず、リクエストを送るのをやめれば支払いも止まる、という意味です。

仕組み

AWS の SageMaker のガイドが、わかりやすい基準を示しています。サーバーレスのエンドポイントは “automatically launch compute resources and scale them in and out depending on traffic”(訳:トラフィックに応じて計算資源を自動で起動し、スケールイン・スケールアウトする)もので、リクエストがないとサービスは “scales your endpoint down to 0”(訳:エンドポイントを 0 まで縮小する)。支払いはインスタンス単位ではなく使用量単位です。

ゼロまで縮小する代償がコールドスタートです。エンドポイントがアイドルだったところにリクエストが届くと、“it can take some time for your endpoint to spin up the compute resources”(訳:エンドポイントが計算資源を立ち上げるまでに時間がかかることがある)。大規模言語モデルでは、数十 GB の重みの読み込みでこの遅延がさらに大きくなります。一般的な対策は、料金を払って一部の容量を温めておくことです。AWS はこれをプロビジョニングされた同時実行(provisioned concurrency)と呼び、メモリ、時間、同時実行数で課金します。

機能はプラットフォームによって異なります。AWS 自身が挙げる SageMaker Serverless Inference の非対応機能には GPU が含まれるため、LLM 規模のサーバーレスホスティングは通常ほかのプラットフォームが提供しています。Hugging Face は Inference Providers を、1 つのアクセストークンで複数のプロバイダーの “serverless inference of models”(訳:モデルのサーバーレス推論)を使える仕組みと説明しています。

なぜ重要か

サーバーレスのエンドポイント GPU のレンタル(GPU 時間) 共有のトークン課金 API
アイドル時の支払い なし(温めておく場合を除く) あり なし
コールドスタート ありうる 起動後はなし 掲載モデルではまれ
自社のモデル 使える 使える プロバイダーの掲載分のみ
スケールの作業 プラットフォーム 自分 プロバイダー

サーバーレスは、自社のモデルをムラのある、または少ないトラフィックで動かす用途に向いています。安定した重い負荷は、通常は予約したハードウェアのほうが安くなります。コールドスタートは平均ではなくレイテンシの裾野に現れるので、p95 を確認してください。

BroadNet Inference の場合

BroadNet は自社の API をサーバーレスとは呼んでおらず、ドキュメントにもコールドスタートの記述はありません。実際には、従量課金のキーは、呼び出す側にとって大事なサーバーレスの性質を備えています。選ぶインスタンスも、スケールさせるものもなく、課金はトークン単位か音声の分単位です。上限はマシン単位ではなくキー単位で、毎分 30 リクエスト、同時実行 4 です。呼び出せるのは Qwen3.8 27B など BroadNet が掲載しているモデルだけで、プライベートエンドポイントやほかのモデルは要相談です。curl での最初のリクエストなら 1 分で試せます。

よくある質問

サーバーレス推論のコールドスタートとは何ですか?

縮小済みのエンドポイントがリクエストを受けたとき、先に計算資源を起動してモデルを読み込む必要があるために生じる遅延です。AWS の SageMaker のドキュメントはこれを説明し、有料で容量を温めておくプロビジョニングされた同時実行(provisioned concurrency)を用意しています。

トークン課金の LLM API はサーバーレスですか?

呼び出す側から見れば、ほぼそうです。リクエストを送り、トークン単位で支払い、サーバーは管理しません。違いは、共有 API では人気のモデルが多くの顧客のために常に読み込まれているので、通常は自分のモデルの起動を待たないことです。

サーバーレス推論は専用 GPU より安いですか?

トラフィックにムラがあるか少ない場合は、たいてい安くなります。アイドル時に支払いが止まるからです。重い負荷が続く場合は、予約した GPU のほうが 1 リクエストあたり安くなることが多いです。自社のトラフィックの形を両方の料金と比べてください。

Markdown で読むChatGPT に聞くClaude に聞くPerplexity に聞く