GPU 時間は、ハードウェアを借りるときに支払う単位です。トークン課金の API ではそれが見えませんが、セルフホストのモデルではそれが請求のすべてになります。
仕組み
クラウド事業者は GPU インスタンスの料金を時間単位で示し、実際にはより細かく計測します。AWS のオンデマンド料金ページによると、料金は “per instance-hour consumed”(訳:消費したインスタンス時間ごと)で、Linux では 1 時間未満の部分は最低 60 秒のあと秒単位で課金されます。Google Cloud は “all vCPUs, GPUs, and GB of memory”(訳:すべての vCPU、GPU、メモリ GB)に最低 1 分の料金をかけ、その後は 1 秒単位で課金します。GPU 8 基のインスタンスを 3 時間動かせば 24 GPU 時間です。
メーターが動くのは、インスタンスが役に立っている間ではなく、起動している間です。午前 3 時にアイドル状態の GPU も、忙しく動いている GPU と同じ料金がかかります。
研究者も計算量を同じ単位で表します。たとえば GPTQ の論文は、175B パラメーターのモデルを “in approximately four GPU hours”(訳:約 4 GPU 時間で)量子化しています。
なぜ重要か
GPU 時間とトークン課金を比べるには、スループットを介して換算します。
cost per 1M output tokens = hourly GPU cost ÷ (tokens per second × 3,600 ÷ 1,000,000)
ポイントは分母です。スループットは、モデル、精度、バッチサイズ、そして GPU をどれだけ忙しく保てるかで決まります。負荷 20% で借りている GPU は、同じ GPU をフル稼働させた場合に比べてトークンあたり 5 倍のコストになります。トラフィックにムラのあるチームが API を使う主な理由はここにあります。セルフホストと API のコスト比較を参照してください。
BroadNet Inference では
BroadNet は GPU を時間貸ししていません。販売しているのは自社モデルへの API アクセスで、利用規約によると、それらのモデルは米国内の BroadNet 所有またはリースのハードウェア、あるいは米国の推論パートナーのもとで動いています。時間単位の料金になっている選択肢が 2 つありますが、どちらも GPU 時間ではありません。
| GPU 時間(クラウドのレンタル) | BroadNet 時間制キー | Meteor プラン | |
|---|---|---|---|
| 得られるもの | GPU 1 基丸ごとと、それを載せたマシン | 共有モデル上の 1 本のストリーム | 共有モデル上の 1 つのセッション |
| モデル | 載るものなら何でも | BroadNet Gemma 4 VL 26B のみ | DeepSeek V4.1 Flash のみ |
| 制限(BroadNet のドキュメントによる) | ハードウェア次第 | 毎分 120 リクエスト、毎分 300,000 トークン、ストリーム 1 本 | 同時に 1 リクエスト、トークン計量なし |
| 料金 | クラウド事業者が設定 | 1 時間あたり $0.50 | 1 セッション 1 時間あたり $1 |
どちらの BroadNet の選択肢でも、ドライバー、スケーリング、アイドル時間を管理する必要はありませんが、ハードウェアを選んだり別のモデルを読み込んだりすることもできません。時間制キーを 1 か月動かし続けると、$0.50 × 24 × 30 = $360.00 になります。詳しくはLLM API の時間制キーとはと、定額プランの項目を参照してください。