サーバーレスはサーバーがないという意味ではありません。サーバーが見えず、リクエストを送るのをやめれば支払いも止まる、という意味です。
仕組み
AWS の SageMaker のガイドが、わかりやすい基準を示しています。サーバーレスのエンドポイントは “automatically launch compute resources and scale them in and out depending on traffic”(訳:トラフィックに応じて計算資源を自動で起動し、スケールイン・スケールアウトする)もので、リクエストがないとサービスは “scales your endpoint down to 0”(訳:エンドポイントを 0 まで縮小する)。支払いはインスタンス単位ではなく使用量単位です。
ゼロまで縮小する代償がコールドスタートです。エンドポイントがアイドルだったところにリクエストが届くと、“it can take some time for your endpoint to spin up the compute resources”(訳:エンドポイントが計算資源を立ち上げるまでに時間がかかることがある)。大規模言語モデルでは、数十 GB の重みの読み込みでこの遅延がさらに大きくなります。一般的な対策は、料金を払って一部の容量を温めておくことです。AWS はこれをプロビジョニングされた同時実行(provisioned concurrency)と呼び、メモリ、時間、同時実行数で課金します。
機能はプラットフォームによって異なります。AWS 自身が挙げる SageMaker Serverless Inference の非対応機能には GPU が含まれるため、LLM 規模のサーバーレスホスティングは通常ほかのプラットフォームが提供しています。Hugging Face は Inference Providers を、1 つのアクセストークンで複数のプロバイダーの “serverless inference of models”(訳:モデルのサーバーレス推論)を使える仕組みと説明しています。
なぜ重要か
| サーバーレスのエンドポイント | GPU のレンタル(GPU 時間) | 共有のトークン課金 API | |
|---|---|---|---|
| アイドル時の支払い | なし(温めておく場合を除く) | あり | なし |
| コールドスタート | ありうる | 起動後はなし | 掲載モデルではまれ |
| 自社のモデル | 使える | 使える | プロバイダーの掲載分のみ |
| スケールの作業 | プラットフォーム | 自分 | プロバイダー |
サーバーレスは、自社のモデルをムラのある、または少ないトラフィックで動かす用途に向いています。安定した重い負荷は、通常は予約したハードウェアのほうが安くなります。コールドスタートは平均ではなくレイテンシの裾野に現れるので、p95 を確認してください。
BroadNet Inference の場合
BroadNet は自社の API をサーバーレスとは呼んでおらず、ドキュメントにもコールドスタートの記述はありません。実際には、従量課金のキーは、呼び出す側にとって大事なサーバーレスの性質を備えています。選ぶインスタンスも、スケールさせるものもなく、課金はトークン単位か音声の分単位です。上限はマシン単位ではなくキー単位で、毎分 30 リクエスト、同時実行 4 です。呼び出せるのは Qwen3.8 27B など BroadNet が掲載しているモデルだけで、プライベートエンドポイントやほかのモデルは要相談です。curl での最初のリクエストなら 1 分で試せます。