BroadRouter
Magsimula

GPU-hour

Na-update

Ang GPU-hour ay isang graphics processor na ginamit nang isang oras. Sinisingil ng mga cloud provider ang mga inuupahang GPU instance kada oras o kada segundo, at ginagamit ng mga researcher ang GPU-hours para sabihin kung gaano karaming compute ang nagamit ng isang job. Binabayaran mo ang oras ng makina, abala man ito o hindi.

Tinatawag ding: GPU hours, GPU-hours, GPU instance hour, GPU rental hour, oras ng GPU, upa ng GPU kada oras

Ang GPU-hour ang unit na binabayaran mo kapag umuupa ka ng hardware. Itinatago ito ng per-token na API; sa self-hosted na model, ito na ang buong bill.

Paano ito gumagana

Kada oras ang presyo ng mga cloud provider sa mga GPU instance, tapos mas pino pa ang pagsukat. Sinasabi ng on-demand page ng AWS na ang presyo ay “per instance-hour consumed” (kada instance-hour na nagamit), at sa Linux, kada segundo sinisingil ang bahagi ng oras na may 60-segundong minimum. Naniningil ang Google Cloud ng 1-minutong minimum para sa “all vCPUs, GPUs, and GB of memory” (lahat ng vCPU, GPU at GB ng memory), tapos 1-segundong increment. Ang isang instance na may 8 GPU na tumakbo nang 3 oras ay 24 GPU-hours.

Tumatakbo ang metro habang naka-on ang instance, hindi habang may silbi ito. Pareho ang gastos ng idle na GPU nang alas-tres ng madaling-araw at ng abalang GPU.

Ginagamit din ng mga researcher ang parehong unit para sa compute. Halimbawa, kina-quantize ng GPTQ paper ang isang model na may 175B parameter “in approximately four GPU hours” (sa mga apat na GPU hour).

Bakit ito mahalaga

Para ikumpara ang GPU-hour sa per-token na presyo, i-convert gamit ang throughput:

cost per 1M output tokens = hourly GPU cost ÷ (tokens per second × 3,600 ÷ 1,000,000)

Ang problema ay nasa denominator. Nakadepende ang throughput sa model, precision, batch size at kung gaano kaabala ang GPU. Ang inuupahang GPU na nasa 20% load ay limang beses ang gastos kada token kumpara sa parehong GPU na nasa full load. Iyan ang pangunahing dahilan kung bakit gumagamit ng API ang mga team na hindi pantay ang traffic; tingnan ang gastos ng self-hosting vs API.

Sa BroadNet Inference

Hindi umuupa ng GPU kada oras ang BroadNet. Nagbebenta ito ng API access sa mga model nito; ayon sa Terms nito, tumatakbo ang mga ito sa hardware na pag-aari o inuupahan ng BroadNet sa United States, o kasama ang mga US inference partner. Dalawa sa mga opsyon nito ang may presyo kada oras, at hindi GPU-hour ang alinman sa dalawa:

GPU-hour (cloud rental) Hourly key ng BroadNet Meteor plan
Ano ang makukuha mo Isang buong GPU at ang makinang nakapaligid dito Isang stream sa isang shared na model Isang session sa isang shared na model
Model Kahit anong kasya BroadNet Gemma 4 VL 26B lang DeepSeek V4.1 Flash lang
Mga limit (ayon sa docs ng BroadNet) Ang hardware 120 request/min, 300,000 token/min, 1 stream Isang request sa isang pagkakataon, walang token meter
Presyo Itinatakda ng cloud $0.50 kada oras $1 kada oras kada session

Hindi mo kailangang asikasuhin ang mga driver, scaling o idle time sa alinmang opsyon ng BroadNet, pero hindi mo rin mapipili ang hardware o makakapag-load ng ibang model. Kung patatakbuhin ang hourly key buong buwan, $0.50 × 24 × 30 = $360.00 iyon. Para sa mga detalye, tingnan ang paliwanag sa mga hourly LLM API key at ang entry ng flat-rate plan.

Mga tanong

GPU-hour ba ang hourly key ng BroadNet?

Hindi. Ang binibili ng hourly key ay isang oras ng iisang request stream sa isang shared na model, ang BroadNet Gemma 4 VL 26B, na may fixed na mga limit. Wala kang makukuhang GPU, pagpili ng model o anumang kontrol sa server.

Sinisingil ba ang GPU-hours para sa buong oras?

Kadalasan, hindi. Kada segundo sinisingil ng AWS ang maraming Linux instance pagkatapos ng 60-segundong minimum, at naniningil ang Google Cloud ng 1-minutong minimum para sa mga GPU, tapos kada segundo na. Tingnan ang instance type at operating system.

Paano ko gagawing per-token na presyo ang presyo ng GPU-hour?

Hatiin ang gastos kada oras sa milyun-milyong token na nagagawa ng GPU sa isang oras, na tokens per second × 3,600 ÷ 1,000,000. Sukatin ang throughput sa totoong load mo, dahil sinisingil din ang idle time.

Basahin bilang MarkdownTanungin ang ChatGPTTanungin ang ClaudeTanungin ang Perplexity