L’ora GPU è l’unità con cui paghi quando noleggi hardware. Un’API a token la nasconde; un modello self-hosted la trasforma nell’intera bolletta.
Come funziona
I provider cloud prezzano le istanze GPU all’ora, poi misurano in modo più fine. La pagina on-demand di AWS dice che il prezzo è “per instance-hour consumed” (traduzione: per ora di istanza consumata), con le ore parziali su Linux fatturate al secondo e un minimo di 60 secondi. Google Cloud applica a “all vCPUs, GPUs, and GB of memory” (traduzione: tutte le vCPU, le GPU e i GB di memoria) un minimo di 1 minuto, poi incrementi di 1 secondo. Un’istanza con 8 GPU accesa per 3 ore fa 24 ore GPU.
Il contatore gira finché l’istanza è accesa, non finché è utile. Una GPU inattiva alle 3 di notte costa quanto una occupata.
I ricercatori usano la stessa unità per il calcolo. L’articolo su GPTQ, per esempio, quantizza un modello da 175B parametri “in approximately four GPU hours” (traduzione: in circa quattro ore GPU).
Perché è importante
Per confrontare un’ora GPU con un prezzo per token, passa dal throughput:
cost per 1M output tokens = hourly GPU cost ÷ (tokens per second × 3,600 ÷ 1,000,000)
Il punto critico è il denominatore. Il throughput dipende da modello, precisione, dimensione del batch e da quanto tieni occupata la GPU. Una GPU noleggiata al 20% di carico costa per token cinque volte la stessa GPU a pieno carico. È il motivo principale per cui chi ha traffico irregolare usa le API; vedi costi del self-hosting rispetto all’API.
Su BroadNet Inference
BroadNet non noleggia GPU a ore. Vende accesso via API ai suoi modelli; i suoi Termini dicono che girano su hardware di proprietà di BroadNet o in leasing negli Stati Uniti, oppure presso partner di inferenza statunitensi. Due delle sue opzioni hanno un prezzo orario, e nessuna delle due è un’ora GPU:
| Ora GPU (noleggio cloud) | Chiave oraria BroadNet | Piano Meteor | |
|---|---|---|---|
| Cosa ottieni | Una GPU intera e la macchina che la ospita | Uno stream su un modello condiviso | Una sessione su un modello condiviso |
| Modello | Qualunque cosa ci stia | Solo BroadNet Gemma 4 VL 26B | Solo DeepSeek V4.1 Flash |
| Limiti (secondo la documentazione di BroadNet) | L’hardware | 120 richieste/min, 300,000 token/min, 1 stream | Una richiesta alla volta, nessun contatore di token |
| Prezzo | Lo decide il cloud | $0.50 all’ora | $1 all’ora per sessione |
Con nessuna delle due opzioni di BroadNet gestisci driver, scalabilità o tempi morti, ma non puoi nemmeno scegliere l’hardware o caricare un altro modello. Tenere la chiave oraria accesa per un mese intero costerebbe $0.50 × 24 × 30 = $360.00. Per i dettagli vedi le chiavi API LLM orarie spiegate e la voce sul piano flat.