BroadNet descrive il suo hardware di inferenza con un livello di dettaglio insolito. Il suo catalogo dei modelli elenca le GPU che dice di usare, il throughput misurato per scheda e cosa ha imparato eseguendo gli stessi modelli su schede diverse. Questa pagina riassume ciò che dice BroadNet, con le sue parole dove conta. Non abbiamo ispezionato l’hardware, e le misure sono di BroadNet, di settembre 2026.
Che hardware dice di usare BroadNet?
BroadNet dichiara di avere «one fleet, three tiers, one stack» (una flotta, tre livelli, un solo stack): gli stessi motori, le stesse quantizzazioni e lo stesso gateway, dagli acceleratori da data center fino alle appliance nelle sedi dei clienti.
| Livello | GPU elencate da BroadNet | Uso secondo BroadNet |
|---|---|---|
| Data center | B300, B200, H200, H100, A100 80 GB | Serving dei modelli di punta, quantizzazione e calibrazione, fine-tuning, endpoint privati dedicati, collocazioni per la residenza dei dati |
| Workstation | RTX PRO 6000 Blackwell, RTX 5090, RTX 3090, DGX Spark GB10, Radeon AI PRO R9700 | L’API pubblica sempre attiva, benchmark tra CUDA e ROCm, sviluppo dei modelli |
| Sede del cliente | DGX Spark GB10, appliance AMD compatte | Installazioni on-premise e air-gapped sullo stesso identico stack |
In totale BroadNet riporta circa 270 modelli eseguiti, circa 200 checkpoint caricati, circa 40 famiglie di modelli, 12 o più formati di quantizzazione e 13 famiglie di GPU. Dice anche che «a single H100 serves the entire current public catalogue with headroom» (una sola H100 serve l’intero catalogo pubblico attuale con margine).
Quali modelli dell’API ci girano sopra?
Non tutti. L’informativa privacy di BroadNet dice che i suoi modelli e i modelli open-weight che ospita girano su hardware di proprietà di BroadNet o in leasing negli Stati Uniti, con capacità dei partner come riserva, e che i modelli serviti da partner girano presso partner di inferenza statunitensi con condizioni di zero data retention. I suoi Termini di servizio indicano DeepSeek V4.1 Flash come ospitato da un partner.
Ecco cosa dicono le pagine di BroadNet modello per modello:
| Modello sull’API | Hardware indicato da BroadNet |
|---|---|
| Gemma 4 VL 26B | GPU NVIDIA di classe Blackwell con un hot backup |
| Transcribe Arabic e Transcribe | GPU NVIDIA gestite da BroadNet negli Stati Uniti |
| DeepSeek V4.1 Flash | Ospitato da un partner (Termini di servizio §7.3) |
| GLM 5.3, Qwen3.8 27B | Non indicato per il traffico API |
Se ti interessa dove vengono elaborati i tuoi dati, chiedi a BroadNet prima di inviarli. La sua pagina sull’inferenza dice che l’elaborazione regionale in MENA o in Europa è disponibile su richiesta.
Quanto è veloce ogni GPU?
BroadNet pubblica il throughput di output aggregato per GPU su un modello, Qwen3-VL 30B A3B Instruct con 32 richieste concorrenti:
| GPU | Livello | Banda di memoria | Token/s aggregati |
|---|---|---|---|
| B300 | Data center | 8.000 GB/s | 14.500 |
| B200 | Data center | 8.000 GB/s | 14.000 |
| H200 | Data center | 4.800 GB/s | 8.400 |
| H100 | Data center | 3.350 GB/s | 5.800 |
| A100 80 GB | Data center | 2.039 GB/s | 3.500 |
| RTX PRO 6000 Blackwell | Workstation | 1.792 GB/s | 3.100 |
| RTX 3090 | Workstation | 936 GB/s | 1.630 |
| DGX Spark GB10 | Workstation | 273 GB/s | 1.597 |
| Radeon AI PRO R9700 | Workstation | 640 GB/s | 1.087 |
BroadNet precisa che i valori per il data center sono «planning numbers from our measured per-GPU curve» (valori di pianificazione ricavati dalla nostra curva misurata per GPU), non misure dirette su ogni scheda. La maggior parte delle righe cresce con la banda di memoria, che di solito è il limite nella fase di decodifica, ma non tutte: la DGX Spark GB10 (273 GB/s) quasi eguaglia la RTX 3090 (936 GB/s), e la Radeon AI PRO R9700 (640 GB/s) resta dietro a entrambe.
Cosa dice BroadNet di aver imparato dal suo hardware?
Il catalogo elenca otto risultati, ciascuno marcato «measured on our own hardware» (misurato sul nostro hardware). Quelli che contano di più per chi compra API:
- CUDA o ROCm. Eseguendo gli stessi modelli su NVIDIA CUDA e AMD ROCm, CUDA ha trasformato in token circa il doppio della banda di memoria, quindi BroadNet colloca i carichi di lavoro di conseguenza.
- Speculative decoding sotto carico. EAGLE3 è costato il 69% del throughput con 32 richieste concorrenti, quindi BroadNet ha mantenuto i drafter multi-token prediction. Il suo studio sul serving di Uno misura lo stesso effetto per un altro metodo.
- Il serving conta quanto i pesi. Gli stessi pesi di Gemma 4 26B serviti da un provider hosted hanno ottenuto in media 0,13 in meno rispetto a quello che BroadNet chiama «our own serving» (il nostro serving). La regola di BroadNet: tenere un modello sfidante e la sua baseline sullo stesso serving prima di confrontarli.
- Un modello con meno parametri attivi può vincere. Il mixture of experts da 26B ha battuto il Gemma 4 31B denso in 5 passaggi della pipeline su 6, con circa un ottavo dei parametri attivi.
- Parità con i modelli di frontiera su una pipeline. In una valutazione alla cieca di 240 trace, il Gemma 4 servito da BroadNet ha eguagliato Claude Sonnet in cinque dei sei passaggi misurati, con risposte da 1,2 a 6,5 volte più veloci per passaggio.
- Velocità per richiesta. Qwen3-VL 30B A3B ha girato a 36,5–110 token al secondo per richiesta su quello che BroadNet descrive come il proprio serving, secondo le misure di BroadNet, contro 7–19 presso quattro provider di OpenRouter misurati da BroadNet.
- L’architettura conta più della scelta del modello. Su un insieme difficile in cui due modelli vision locali erano in disaccordo, passare la decisione a un arbitro hosted ha portato l’accuratezza da 1 su 12 a 11 su 12.
Il confronto con Sonnet è l’affermazione più forte, ed è circoscritta: la pipeline di chatbot di una sola azienda, giudicata alla cieca da tre giudici, su 240 conversazioni di produzione di 11 tenant, secondo la pagina di Gemma 4 di BroadNet. Non significa che Gemma 4 eguagli Sonnet in generale. BroadNet non ha pubblicato un resoconto completo di quella valutazione nella sua pagina di ricerca.
Come viene servito il modello Gemma 4?
Il Gemma 4 VL 26B di BroadNet è l’esempio più chiaro delle sue scelte di serving, secondo la pagina del modello:
- Pesi: Gemma 4 26B A4B di Google, quantizzato da BroadNet in AWQ a 4 bit. BroadNet ha testato NVFP4 e l’ha abbandonato dopo un confronto diretto.
- Decodifica: speculative decoding multi-token prediction con due token proposti (k=2), e una KV cache in fp8.
- Template: un chat template che BroadNet ha messo a punto per il suo flusso conversazionale.
- Resilienza: un hot backup con failover automatico.
- Risultato: circa 136 token al secondo su un singolo stream, e 90,86 nella batteria di qualità interna di BroadNet.
Per i termini vedi quantizzazione e speculative decoding.
Cosa significa per te?
Per chi usa il pagamento a consumo, le scelte di serving di BroadNet si vedono nella velocità pubblicata, circa 100 token al secondo tipici sul modello dei piani, e nei limiti: 30 richieste al minuto e 4 in corso per chiave. I termini di BroadNet dicono che il self-service non ha alcun impegno di disponibilità; i livelli di servizio arrivano solo con un accordo scritto. Come si confrontano gli SLA degli altri provider.
Per esigenze più grandi, BroadNet offre endpoint privati su GPU riservate, con il tuo modello, la tua chiave, i tuoi limiti e la tua regione, e appliance on-premise sullo stesso stack. Se stai valutando questa opzione rispetto al noleggio di GPU tue, la nostra guida ai costi del self-hosting rispetto all’API fa i conti, e i modelli scartati da BroadNet mostra come ha scelto cosa servire.
