BroadRouter

Hardware GPU e serving di BroadNet, come li descrive BroadNet

A cura del team di BroadNet Inference · 5 min di lettura · Pubblicato · Aggiornato

BroadNet dichiara di usare un unico stack di serving su tre livelli di hardware: GPU da data center dalla A100 alla B300, un livello workstation con schede RTX e DGX Spark che regge l’API pubblica sempre attiva, e appliance presso i clienti. Riporta circa 270 modelli eseguiti su 13 famiglie di GPU, NVIDIA e AMD. Alcuni modelli dell’API sono invece serviti da partner di inferenza statunitensi.

BroadNet descrive il suo hardware di inferenza con un livello di dettaglio insolito. Il suo catalogo dei modelli elenca le GPU che dice di usare, il throughput misurato per scheda e cosa ha imparato eseguendo gli stessi modelli su schede diverse. Questa pagina riassume ciò che dice BroadNet, con le sue parole dove conta. Non abbiamo ispezionato l’hardware, e le misure sono di BroadNet, di settembre 2026.

Che hardware dice di usare BroadNet?

BroadNet dichiara di avere «one fleet, three tiers, one stack» (una flotta, tre livelli, un solo stack): gli stessi motori, le stesse quantizzazioni e lo stesso gateway, dagli acceleratori da data center fino alle appliance nelle sedi dei clienti.

Livello GPU elencate da BroadNet Uso secondo BroadNet
Data center B300, B200, H200, H100, A100 80 GB Serving dei modelli di punta, quantizzazione e calibrazione, fine-tuning, endpoint privati dedicati, collocazioni per la residenza dei dati
Workstation RTX PRO 6000 Blackwell, RTX 5090, RTX 3090, DGX Spark GB10, Radeon AI PRO R9700 L’API pubblica sempre attiva, benchmark tra CUDA e ROCm, sviluppo dei modelli
Sede del cliente DGX Spark GB10, appliance AMD compatte Installazioni on-premise e air-gapped sullo stesso identico stack

In totale BroadNet riporta circa 270 modelli eseguiti, circa 200 checkpoint caricati, circa 40 famiglie di modelli, 12 o più formati di quantizzazione e 13 famiglie di GPU. Dice anche che «a single H100 serves the entire current public catalogue with headroom» (una sola H100 serve l’intero catalogo pubblico attuale con margine).

Quali modelli dell’API ci girano sopra?

Non tutti. L’informativa privacy di BroadNet dice che i suoi modelli e i modelli open-weight che ospita girano su hardware di proprietà di BroadNet o in leasing negli Stati Uniti, con capacità dei partner come riserva, e che i modelli serviti da partner girano presso partner di inferenza statunitensi con condizioni di zero data retention. I suoi Termini di servizio indicano DeepSeek V4.1 Flash come ospitato da un partner.

Ecco cosa dicono le pagine di BroadNet modello per modello:

Modello sull’API Hardware indicato da BroadNet
Gemma 4 VL 26B GPU NVIDIA di classe Blackwell con un hot backup
Transcribe Arabic e Transcribe GPU NVIDIA gestite da BroadNet negli Stati Uniti
DeepSeek V4.1 Flash Ospitato da un partner (Termini di servizio §7.3)
GLM 5.3, Qwen3.8 27B Non indicato per il traffico API

Se ti interessa dove vengono elaborati i tuoi dati, chiedi a BroadNet prima di inviarli. La sua pagina sull’inferenza dice che l’elaborazione regionale in MENA o in Europa è disponibile su richiesta.

Quanto è veloce ogni GPU?

BroadNet pubblica il throughput di output aggregato per GPU su un modello, Qwen3-VL 30B A3B Instruct con 32 richieste concorrenti:

GPU Livello Banda di memoria Token/s aggregati
B300 Data center 8.000 GB/s 14.500
B200 Data center 8.000 GB/s 14.000
H200 Data center 4.800 GB/s 8.400
H100 Data center 3.350 GB/s 5.800
A100 80 GB Data center 2.039 GB/s 3.500
RTX PRO 6000 Blackwell Workstation 1.792 GB/s 3.100
RTX 3090 Workstation 936 GB/s 1.630
DGX Spark GB10 Workstation 273 GB/s 1.597
Radeon AI PRO R9700 Workstation 640 GB/s 1.087

BroadNet precisa che i valori per il data center sono «planning numbers from our measured per-GPU curve» (valori di pianificazione ricavati dalla nostra curva misurata per GPU), non misure dirette su ogni scheda. La maggior parte delle righe cresce con la banda di memoria, che di solito è il limite nella fase di decodifica, ma non tutte: la DGX Spark GB10 (273 GB/s) quasi eguaglia la RTX 3090 (936 GB/s), e la Radeon AI PRO R9700 (640 GB/s) resta dietro a entrambe.

Cosa dice BroadNet di aver imparato dal suo hardware?

Il catalogo elenca otto risultati, ciascuno marcato «measured on our own hardware» (misurato sul nostro hardware). Quelli che contano di più per chi compra API:

  • CUDA o ROCm. Eseguendo gli stessi modelli su NVIDIA CUDA e AMD ROCm, CUDA ha trasformato in token circa il doppio della banda di memoria, quindi BroadNet colloca i carichi di lavoro di conseguenza.
  • Speculative decoding sotto carico. EAGLE3 è costato il 69% del throughput con 32 richieste concorrenti, quindi BroadNet ha mantenuto i drafter multi-token prediction. Il suo studio sul serving di Uno misura lo stesso effetto per un altro metodo.
  • Il serving conta quanto i pesi. Gli stessi pesi di Gemma 4 26B serviti da un provider hosted hanno ottenuto in media 0,13 in meno rispetto a quello che BroadNet chiama «our own serving» (il nostro serving). La regola di BroadNet: tenere un modello sfidante e la sua baseline sullo stesso serving prima di confrontarli.
  • Un modello con meno parametri attivi può vincere. Il mixture of experts da 26B ha battuto il Gemma 4 31B denso in 5 passaggi della pipeline su 6, con circa un ottavo dei parametri attivi.
  • Parità con i modelli di frontiera su una pipeline. In una valutazione alla cieca di 240 trace, il Gemma 4 servito da BroadNet ha eguagliato Claude Sonnet in cinque dei sei passaggi misurati, con risposte da 1,2 a 6,5 volte più veloci per passaggio.
  • Velocità per richiesta. Qwen3-VL 30B A3B ha girato a 36,5–110 token al secondo per richiesta su quello che BroadNet descrive come il proprio serving, secondo le misure di BroadNet, contro 7–19 presso quattro provider di OpenRouter misurati da BroadNet.
  • L’architettura conta più della scelta del modello. Su un insieme difficile in cui due modelli vision locali erano in disaccordo, passare la decisione a un arbitro hosted ha portato l’accuratezza da 1 su 12 a 11 su 12.

Il confronto con Sonnet è l’affermazione più forte, ed è circoscritta: la pipeline di chatbot di una sola azienda, giudicata alla cieca da tre giudici, su 240 conversazioni di produzione di 11 tenant, secondo la pagina di Gemma 4 di BroadNet. Non significa che Gemma 4 eguagli Sonnet in generale. BroadNet non ha pubblicato un resoconto completo di quella valutazione nella sua pagina di ricerca.

Come viene servito il modello Gemma 4?

Il Gemma 4 VL 26B di BroadNet è l’esempio più chiaro delle sue scelte di serving, secondo la pagina del modello:

  • Pesi: Gemma 4 26B A4B di Google, quantizzato da BroadNet in AWQ a 4 bit. BroadNet ha testato NVFP4 e l’ha abbandonato dopo un confronto diretto.
  • Decodifica: speculative decoding multi-token prediction con due token proposti (k=2), e una KV cache in fp8.
  • Template: un chat template che BroadNet ha messo a punto per il suo flusso conversazionale.
  • Resilienza: un hot backup con failover automatico.
  • Risultato: circa 136 token al secondo su un singolo stream, e 90,86 nella batteria di qualità interna di BroadNet.

Per i termini vedi quantizzazione e speculative decoding.

Cosa significa per te?

Per chi usa il pagamento a consumo, le scelte di serving di BroadNet si vedono nella velocità pubblicata, circa 100 token al secondo tipici sul modello dei piani, e nei limiti: 30 richieste al minuto e 4 in corso per chiave. I termini di BroadNet dicono che il self-service non ha alcun impegno di disponibilità; i livelli di servizio arrivano solo con un accordo scritto. Come si confrontano gli SLA degli altri provider.

Per esigenze più grandi, BroadNet offre endpoint privati su GPU riservate, con il tuo modello, la tua chiave, i tuoi limiti e la tua regione, e appliance on-premise sullo stesso stack. Se stai valutando questa opzione rispetto al noleggio di GPU tue, la nostra guida ai costi del self-hosting rispetto all’API fa i conti, e i modelli scartati da BroadNet mostra come ha scelto cosa servire.

Domande frequenti

BroadNet usa GPU proprie?

BroadNet dichiara di gestire una propria flotta di GPU NVIDIA e AMD. La sua informativa privacy dice che i suoi modelli e i modelli open-weight che ospita girano su hardware di proprietà di BroadNet o in leasing negli Stati Uniti, con capacità dei partner come riserva. I modelli serviti da partner, come DeepSeek V4.1 Flash, girano presso partner di inferenza statunitensi.

Quale GPU serve l’API pubblica?

Il catalogo di BroadNet colloca «the always-on public API» (l’API pubblica sempre attiva) sul livello workstation (RTX PRO 6000 Blackwell, RTX 5090, RTX 3090, DGX Spark GB10, Radeon AI PRO R9700). La sua pagina di Gemma 4 indica GPU NVIDIA di classe Blackwell con un hot backup.

Esiste uno SLA di uptime pubblicato?

Per il self-service no. I Termini di servizio di BroadNet dicono che il self-service non ha alcun impegno di disponibilità, e che i livelli di servizio esistono solo in un accordo scritto separato, per esempio per un endpoint privato.

Posso avere una GPU dedicata?

Sì. BroadNet offre endpoint privati su una GPU o un nodo riservati, con il modello che scegli, una tua chiave e tuoi limiti, e la regione che ti serve. Il prezzo è calcolato su richiesta in base al tuo traffico.

BroadNet può eseguire modelli nella mia sede?

BroadNet dichiara che il suo livello presso il cliente esegue lo stesso stack su DGX Spark GB10 e su appliance AMD compatte, per installazioni on-premise e air-gapped.

Leggi in MarkdownChiedi a ChatGPTChiedi a ClaudeChiedi a Perplexity