BroadRouter
始める

GPU 時間(GPU-hour)

更新日

GPU 時間とは、GPU 1 基を 1 時間使うことです。クラウド事業者はレンタルした GPU インスタンスを時間単位や秒単位で課金し、研究者はジョブに使った計算量を GPU 時間で表します。稼働しているかどうかに関係なく、マシンの時間に料金がかかります。

別名: GPU 時間、GPU アワー、GPU 使用時間、GPU レンタル時間、GPU インスタンス時間、GPU-hour、GPU hours、GPU-hours、GPU instance hour、GPU rental hour

GPU 時間は、ハードウェアを借りるときに支払う単位です。トークン課金の API ではそれが見えませんが、セルフホストのモデルではそれが請求のすべてになります。

仕組み

クラウド事業者は GPU インスタンスの料金を時間単位で示し、実際にはより細かく計測します。AWS のオンデマンド料金ページによると、料金は “per instance-hour consumed”(訳:消費したインスタンス時間ごと)で、Linux では 1 時間未満の部分は最低 60 秒のあと秒単位で課金されます。Google Cloud は “all vCPUs, GPUs, and GB of memory”(訳:すべての vCPU、GPU、メモリ GB)に最低 1 分の料金をかけ、その後は 1 秒単位で課金します。GPU 8 基のインスタンスを 3 時間動かせば 24 GPU 時間です。

メーターが動くのは、インスタンスが役に立っている間ではなく、起動している間です。午前 3 時にアイドル状態の GPU も、忙しく動いている GPU と同じ料金がかかります。

研究者も計算量を同じ単位で表します。たとえば GPTQ の論文は、175B パラメーターのモデルを “in approximately four GPU hours”(訳:約 4 GPU 時間で)量子化しています。

なぜ重要か

GPU 時間とトークン課金を比べるには、スループットを介して換算します。

cost per 1M output tokens = hourly GPU cost ÷ (tokens per second × 3,600 ÷ 1,000,000)

ポイントは分母です。スループットは、モデル、精度、バッチサイズ、そして GPU をどれだけ忙しく保てるかで決まります。負荷 20% で借りている GPU は、同じ GPU をフル稼働させた場合に比べてトークンあたり 5 倍のコストになります。トラフィックにムラのあるチームが API を使う主な理由はここにあります。セルフホストと API のコスト比較を参照してください。

BroadNet Inference では

BroadNet は GPU を時間貸ししていません。販売しているのは自社モデルへの API アクセスで、利用規約によると、それらのモデルは米国内の BroadNet 所有またはリースのハードウェア、あるいは米国の推論パートナーのもとで動いています。時間単位の料金になっている選択肢が 2 つありますが、どちらも GPU 時間ではありません。

GPU 時間(クラウドのレンタル) BroadNet 時間制キー Meteor プラン
得られるもの GPU 1 基丸ごとと、それを載せたマシン 共有モデル上の 1 本のストリーム 共有モデル上の 1 つのセッション
モデル 載るものなら何でも BroadNet Gemma 4 VL 26B のみ DeepSeek V4.1 Flash のみ
制限(BroadNet のドキュメントによる) ハードウェア次第 毎分 120 リクエスト、毎分 300,000 トークン、ストリーム 1 本 同時に 1 リクエスト、トークン計量なし
料金 クラウド事業者が設定 1 時間あたり $0.50 1 セッション 1 時間あたり $1

どちらの BroadNet の選択肢でも、ドライバー、スケーリング、アイドル時間を管理する必要はありませんが、ハードウェアを選んだり別のモデルを読み込んだりすることもできません。時間制キーを 1 か月動かし続けると、$0.50 × 24 × 30 = $360.00 になります。詳しくはLLM API の時間制キーとはと、定額プランの項目を参照してください。

よくある質問

BroadNet の時間制キーは GPU 時間のことですか?

いいえ。時間制キーで買えるのは、共有モデル BroadNet Gemma 4 VL 26B 上の 1 本のリクエストストリームを 1 時間使う権利で、制限は固定です。GPU が手に入るわけでも、モデルを選べるわけでも、サーバーを制御できるわけでもありません。

GPU 時間は 1 時間単位で課金されますか?

多くの場合、そうではありません。AWS は多くの Linux インスタンスを最低 60 秒のあと秒単位で課金し、Google Cloud は GPU に最低 1 分の料金をかけたあと秒単位で課金します。インスタンスタイプと OS を確認してください。

GPU 時間の料金をトークン単価に換算するには?

1 時間あたりの費用を、その GPU が 1 時間に生成する 100 万トークン単位の量(毎秒トークン数 × 3,600 ÷ 1,000,000)で割ります。アイドル時間にも料金がかかるので、スループットは実際の負荷で測ってください。

Markdown で読むChatGPT に聞くClaude に聞くPerplexity に聞く