---
title: "GPU e serving di BroadNet, secondo BroadNet | BroadRouter"
description: "Cosa dice BroadNet dell’hardware di BroadNet Inference: tre livelli di GPU, dalle B300 alle appliance dai clienti, throughput per GPU e cosa ha imparato dai test."
url: https://broadrouter.com/it/blog/broadnet-gpu-fleet-and-serving/
lang: it
updated: 2026-11-15
publisher: BroadRouter (a BroadNet site); API by BroadNet Inference, https://inference.broadnet.ai
---

Tradotto dall’inglese con l’aiuto dell’IA. [Leggi l’originale in inglese](https://broadrouter.com/blog/broadnet-gpu-fleet-and-serving/) (aggiornato il 2026-11-16).

# Hardware GPU e serving di BroadNet, come li descrive BroadNet

A cura del team di BroadNet Inference · 5 min di lettura · Pubblicato 2026-11-15 · Aggiornato 2026-11-16

BroadNet dichiara di usare un unico stack di serving su tre livelli di hardware: GPU da data center dalla A100 alla B300, un livello workstation con schede RTX e DGX Spark che regge l’API pubblica sempre attiva, e appliance presso i clienti. Riporta circa 270 modelli eseguiti su 13 famiglie di GPU, NVIDIA e AMD. Alcuni modelli dell’API sono invece serviti da partner di inferenza statunitensi.

## Punti chiave

-   Tre livelli, un solo stack: data center (B300, B200, H200, H100, A100), workstation (RTX PRO 6000, RTX 5090, RTX 3090, DGX Spark GB10, Radeon AI PRO R9700) e sede del cliente.
-   Secondo BroadNet il livello workstation regge l’API pubblica sempre attiva; le GPU da data center gestiscono il serving dei modelli di punta, il fine-tuning e gli endpoint privati.
-   Il suo risultato misurato: NVIDIA CUDA trasforma in token circa il doppio della banda di memoria rispetto ad AMD ROCm, sugli stessi modelli.
-   Il serving conta quanto i pesi: secondo BroadNet, gli stessi pesi di Gemma 4 26B hanno ottenuto 0,13 in meno presso un provider hosted rispetto a quello che chiama il proprio serving.
-   Non tutti i modelli dell’API girano su hardware che BroadNet dice essere suo: i termini di BroadNet indicano DeepSeek V4.1 Flash come ospitato da un partner.

**In questa pagina**

1.  Che hardware dice di usare BroadNet?
2.  Quali modelli dell’API ci girano sopra?
3.  Quanto è veloce ogni GPU?
4.  Cosa dice BroadNet di aver imparato dal suo hardware?
5.  Come viene servito il modello Gemma 4?
6.  Cosa significa per te?

BroadNet descrive il suo hardware di inferenza con un livello di dettaglio insolito. Il suo [catalogo dei modelli](https://www.broadnet.ai/inference/models) elenca le GPU che dice di usare, il throughput misurato per scheda e cosa ha imparato eseguendo gli stessi modelli su schede diverse. Questa pagina riassume ciò che dice BroadNet, con le sue parole dove conta. Non abbiamo ispezionato l’hardware, e le misure sono di BroadNet, di settembre 2026.

## Che hardware dice di usare BroadNet?

BroadNet dichiara di avere «one fleet, three tiers, one stack» (una flotta, tre livelli, un solo stack): gli stessi motori, le stesse quantizzazioni e lo stesso gateway, dagli acceleratori da data center fino alle appliance nelle sedi dei clienti.

| Livello | GPU elencate da BroadNet | Uso secondo BroadNet |
| --- | --- | --- |
| Data center | B300, B200, H200, H100, A100 80 GB | Serving dei modelli di punta, quantizzazione e calibrazione, fine-tuning, endpoint privati dedicati, collocazioni per la residenza dei dati |
| Workstation | RTX PRO 6000 Blackwell, RTX 5090, RTX 3090, DGX Spark GB10, Radeon AI PRO R9700 | L’API pubblica sempre attiva, benchmark tra CUDA e ROCm, sviluppo dei modelli |
| Sede del cliente | DGX Spark GB10, appliance AMD compatte | Installazioni on-premise e air-gapped sullo stesso identico stack |

In totale BroadNet riporta circa 270 modelli eseguiti, circa 200 checkpoint caricati, circa 40 famiglie di modelli, 12 o più formati di quantizzazione e 13 famiglie di GPU. Dice anche che «a single H100 serves the entire current public catalogue with headroom» (una sola H100 serve l’intero catalogo pubblico attuale con margine).

## Quali modelli dell’API ci girano sopra?

Non tutti. L’[informativa privacy](https://www.broadnet.ai/inference-privacy) di BroadNet dice che i suoi modelli e i modelli open-weight che ospita girano su hardware di proprietà di BroadNet o in leasing negli Stati Uniti, con capacità dei partner come riserva, e che i modelli serviti da partner girano presso partner di inferenza statunitensi con condizioni di zero data retention. I suoi [Termini di servizio](https://www.broadnet.ai/terms) indicano [DeepSeek V4.1 Flash](https://broadrouter.com/it/models/deepseek-v4.1-flash/) come ospitato da un partner.

Ecco cosa dicono le pagine di BroadNet modello per modello:

| Modello sull’API | Hardware indicato da BroadNet |
| --- | --- |
| [Gemma 4 VL 26B](https://broadrouter.com/it/models/gemma-4-vl-26b/) | GPU NVIDIA di classe Blackwell con un hot backup |
| [Transcribe Arabic](https://broadrouter.com/it/models/cohere-transcribe-arabic/) e [Transcribe](https://broadrouter.com/it/models/cohere-transcribe/) | GPU NVIDIA gestite da BroadNet negli Stati Uniti |
| DeepSeek V4.1 Flash | Ospitato da un partner (Termini di servizio §7.3) |
| GLM 5.3, Qwen3.8 27B | Non indicato per il traffico API |

Se ti interessa dove vengono elaborati i tuoi dati, chiedi a BroadNet prima di inviarli. La sua pagina sull’inferenza dice che l’elaborazione regionale in MENA o in Europa è disponibile su richiesta.

## Quanto è veloce ogni GPU?

BroadNet pubblica il throughput di output aggregato per GPU su un modello, Qwen3-VL 30B A3B Instruct con 32 richieste concorrenti:

| GPU | Livello | Banda di memoria | Token/s aggregati |
| --- | --- | --- | --- |
| B300 | Data center | 8.000 GB/s | 14.500 |
| B200 | Data center | 8.000 GB/s | 14.000 |
| H200 | Data center | 4.800 GB/s | 8.400 |
| H100 | Data center | 3.350 GB/s | 5.800 |
| A100 80 GB | Data center | 2.039 GB/s | 3.500 |
| RTX PRO 6000 Blackwell | Workstation | 1.792 GB/s | 3.100 |
| RTX 3090 | Workstation | 936 GB/s | 1.630 |
| DGX Spark GB10 | Workstation | 273 GB/s | 1.597 |
| Radeon AI PRO R9700 | Workstation | 640 GB/s | 1.087 |

BroadNet precisa che i valori per il data center sono «planning numbers from our measured per-GPU curve» (valori di pianificazione ricavati dalla nostra curva misurata per GPU), non misure dirette su ogni scheda. La maggior parte delle righe cresce con la banda di memoria, che di solito è il limite nella fase di decodifica, ma non tutte: la DGX Spark GB10 (273 GB/s) quasi eguaglia la RTX 3090 (936 GB/s), e la Radeon AI PRO R9700 (640 GB/s) resta dietro a entrambe.

## Cosa dice BroadNet di aver imparato dal suo hardware?

Il catalogo elenca otto risultati, ciascuno marcato «measured on our own hardware» (misurato sul nostro hardware). Quelli che contano di più per chi compra API:

-   **CUDA o ROCm.** Eseguendo gli stessi modelli su NVIDIA CUDA e AMD ROCm, CUDA ha trasformato in token circa il doppio della banda di memoria, quindi BroadNet colloca i carichi di lavoro di conseguenza.
-   **Speculative decoding sotto carico.** EAGLE3 è costato il 69% del throughput con 32 richieste concorrenti, quindi BroadNet ha mantenuto i drafter multi-token prediction. Il suo [studio sul serving di Uno](https://broadrouter.com/it/blog/uno-in-vllm-serving-study/) misura lo stesso effetto per un altro metodo.
-   **Il serving conta quanto i pesi.** Gli stessi pesi di Gemma 4 26B serviti da un provider hosted hanno ottenuto in media 0,13 in meno rispetto a quello che BroadNet chiama «our own serving» (il nostro serving). La regola di BroadNet: tenere un modello sfidante e la sua baseline sullo stesso serving prima di confrontarli.
-   **Un modello con meno parametri attivi può vincere.** Il mixture of experts da 26B ha battuto il Gemma 4 31B denso in 5 passaggi della pipeline su 6, con circa un ottavo dei parametri attivi.
-   **Parità con i modelli di frontiera su una pipeline.** In una valutazione alla cieca di 240 trace, il Gemma 4 servito da BroadNet ha eguagliato Claude Sonnet in cinque dei sei passaggi misurati, con risposte da 1,2 a 6,5 volte più veloci per passaggio.
-   **Velocità per richiesta.** Qwen3-VL 30B A3B ha girato a 36,5–110 token al secondo per richiesta su quello che BroadNet descrive come il proprio serving, secondo le misure di BroadNet, contro 7–19 presso quattro provider di OpenRouter misurati da BroadNet.
-   **L’architettura conta più della scelta del modello.** Su un insieme difficile in cui due modelli vision locali erano in disaccordo, passare la decisione a un arbitro hosted ha portato l’accuratezza da 1 su 12 a 11 su 12.

Il confronto con Sonnet è l’affermazione più forte, ed è circoscritta: la pipeline di chatbot di una sola azienda, giudicata alla cieca da tre giudici, su 240 conversazioni di produzione di 11 tenant, secondo la [pagina di Gemma 4](https://www.broadnet.ai/inference/models/gemma-4-vl-26b) di BroadNet. Non significa che Gemma 4 eguagli Sonnet in generale. BroadNet non ha pubblicato un resoconto completo di quella valutazione nella sua pagina di ricerca.

## Come viene servito il modello Gemma 4?

Il Gemma 4 VL 26B di BroadNet è l’esempio più chiaro delle sue scelte di serving, secondo la pagina del modello:

-   **Pesi:** Gemma 4 26B A4B di Google, quantizzato da BroadNet in AWQ a 4 bit. BroadNet ha testato NVFP4 e l’ha abbandonato dopo un confronto diretto.
-   **Decodifica:** speculative decoding multi-token prediction con due token proposti (k=2), e una [KV cache](https://broadrouter.com/it/glossary/kv-cache/) in fp8.
-   **Template:** un chat template che BroadNet ha messo a punto per il suo flusso conversazionale.
-   **Resilienza:** un hot backup con failover automatico.
-   **Risultato:** circa 136 token al secondo su un singolo stream, e 90,86 nella batteria di qualità interna di BroadNet.

Per i termini vedi [quantizzazione](https://broadrouter.com/it/glossary/quantization/) e [speculative decoding](https://broadrouter.com/it/glossary/speculative-decoding/).

## Cosa significa per te?

Per chi usa il pagamento a consumo, le scelte di serving di BroadNet si vedono nella velocità pubblicata, circa 100 token al secondo tipici sul modello dei piani, e nei limiti: 30 richieste al minuto e 4 in corso per chiave. I termini di BroadNet dicono che il self-service non ha alcun impegno di disponibilità; i livelli di servizio arrivano solo con un accordo scritto. [Come si confrontano gli SLA degli altri provider](https://broadrouter.com/it/blog/llm-api-sla-uptime-compared/).

Per esigenze più grandi, BroadNet offre endpoint privati su GPU riservate, con il tuo modello, la tua chiave, i tuoi limiti e la tua regione, e appliance on-premise sullo stesso stack. Se stai valutando questa opzione rispetto al noleggio di GPU tue, la nostra [guida ai costi del self-hosting rispetto all’API](https://broadrouter.com/it/blog/self-hosting-llm-vs-api-cost/) fa i conti, e [i modelli scartati da BroadNet](https://broadrouter.com/it/blog/models-broadnet-ruled-out/) mostra come ha scelto cosa servire.

Strumenti gratuiti sul tema (in inglese)

-   [OpenAI to BroadNet migration helper](https://broadrouter.com/tools/openai-to-broadnet-migration/) Paste OpenAI SDK code; get base URL, key and model edits, a diff and the checks that remain.
-   [max\_tokens calculator for reasoning models](https://broadrouter.com/tools/reasoning-token-budget/) Answer length + reasoning budget + margin = a max\_tokens that does not cut the answer off.
-   [JSON schema generator for LLM structured output](https://broadrouter.com/tools/json-schema-generator/) Sample JSON to strict schema, Pydantic, Zod and a ready request.
-   [LLM JSON output validator](https://broadrouter.com/tools/llm-json-output-validator/) Parse errors by line and column, safe repairs, cut-off detection and JSON Schema checks for model output.

[Strumenti gratuiti (in inglese)](https://broadrouter.com/tools/)

## Termini in questo articolo

[Token](https://broadrouter.com/it/glossary/token/)

Un token è l’unità di testo che un modello linguistico legge e scrive: una parola, una parte di parola, un segno di punteggiatura o una sequenza di byte prodotta dal tokenizer del modello. Le API LLM contano, limitano e di solito fatturano l’uso in token.

[Throughput](https://broadrouter.com/it/glossary/throughput/)

Il throughput, nel serving di LLM, è la quantità totale di lavoro che un sistema completa per unità di tempo su tutte le richieste concorrenti, di solito misurata in token di output al secondo o richieste al secondo. È diverso dalla velocità per stream, cioè quanto rapidamente una singola richiesta riceve i suoi token.

[Quantizzazione (quantization)](https://broadrouter.com/it/glossary/quantization/)

La quantizzazione è il processo con cui si memorizzano i numeri di una rete neurale, soprattutto i pesi, in un formato a precisione ridotta come 8 o 4 bit invece di 16 bit, così il modello usa meno memoria e spesso gira più veloce. I metodi validi mantengono piccola la perdita di accuratezza.

[Concorrenza (concurrency)](https://broadrouter.com/it/glossary/concurrency/)

La concorrenza è il numero di richieste che un client ha in corso nello stesso momento. Le API LLM spesso la limitano per chiave o per piano, separatamente dalle richieste al minuto, perché ogni richiesta aperta occupa capacità GPU finché la sua risposta non è terminata.

[Pagamento a consumo (pay-as-you-go)](https://broadrouter.com/it/glossary/pay-as-you-go/)

Il pagamento a consumo è un modello di prezzo in cui paghi solo ciò che usi, misurato per unità come token, richieste o minuti di audio, senza abbonamento né impegno minimo. La maggior parte delle API LLM fattura così, da un saldo prepagato o con una fattura periodica.

[Mixture of experts (MoE)](https://broadrouter.com/it/glossary/mixture-of-experts/)

La mixture of experts (MoE) è un’architettura di rete neurale in cui un layer contiene molte sotto-reti esperte e un router appreso manda ogni token solo ad alcune di esse. Un modello linguistico MoE ha un numero totale di parametri elevato, ma per ogni token ne usa un piccolo sottoinsieme attivo.

[Speculative decoding (decodifica speculativa)](https://broadrouter.com/it/glossary/speculative-decoding/)

Lo speculative decoding (decodifica speculativa) è una tecnica di inferenza in cui un modello draft piccolo e veloce propone diversi token successivi e il modello target, più grande, li verifica in un solo forward pass, tenendo quelli accettati. Accelera la generazione senza cambiare la distribuzione dell’output.

[Prefill e decode](https://broadrouter.com/it/glossary/prefill-and-decode/)

Prefill e decode sono le due fasi dell’inferenza di un LLM. Nel prefill il modello elabora tutto il prompt in parallelo e riempie la sua KV cache; nel decode genera la risposta un token alla volta, riusando quella cache. Il prefill determina soprattutto il tempo al primo token; il decode la velocità di output.

## Domande frequenti

### BroadNet usa GPU proprie?

BroadNet dichiara di gestire una propria flotta di GPU NVIDIA e AMD. La sua informativa privacy dice che i suoi modelli e i modelli open-weight che ospita girano su hardware di proprietà di BroadNet o in leasing negli Stati Uniti, con capacità dei partner come riserva. I modelli serviti da partner, come DeepSeek V4.1 Flash, girano presso partner di inferenza statunitensi.

### Quale GPU serve l’API pubblica?

Il catalogo di BroadNet colloca «the always-on public API» (l’API pubblica sempre attiva) sul livello workstation (RTX PRO 6000 Blackwell, RTX 5090, RTX 3090, DGX Spark GB10, Radeon AI PRO R9700). La sua pagina di Gemma 4 indica GPU NVIDIA di classe Blackwell con un hot backup.

### Esiste uno SLA di uptime pubblicato?

Per il self-service no. I Termini di servizio di BroadNet dicono che il self-service non ha alcun impegno di disponibilità, e che i livelli di servizio esistono solo in un accordo scritto separato, per esempio per un endpoint privato.

### Posso avere una GPU dedicata?

Sì. BroadNet offre endpoint privati su una GPU o un nodo riservati, con il modello che scegli, una tua chiave e tuoi limiti, e la regione che ti serve. Il prezzo è calcolato su richiesta in base al tuo traffico.

### BroadNet può eseguire modelli nella mia sede?

BroadNet dichiara che il suo livello presso il cliente esegue lo stesso stack su DGX Spark GB10 e su appliance AMD compatte, per installazioni on-premise e air-gapped.

## Continua a leggere

-   [I modelli che BroadNet ha valutato e scartato, e perché](https://broadrouter.com/it/blog/models-broadnet-ruled-out/)
-   [Uno in vLLM: che cosa ha misurato lo studio di BroadNet](https://broadrouter.com/it/blog/uno-in-vllm-serving-study/)
-   [Uno su Gemma 4 26B: lo studio di BroadNet sul mixture of experts](https://broadrouter.com/it/blog/uno-mixture-of-experts-gemma-4-study/)
-   [LLM in self-hosting o via API: costo reale e punto di pareggio](https://broadrouter.com/it/blog/self-hosting-llm-vs-api-cost/)
-   [Latenza degli LLM: TTFT, token al secondo e tempo end-to-end](https://broadrouter.com/it/blog/llm-latency-ttft-throughput/)
-   [Cache delle risposte delle API LLM: una cache esatta in Python](https://broadrouter.com/it/blog/cache-llm-responses-cut-cost/)
-   [Revisione umana nel flusso di document AI: regole e code](https://broadrouter.com/it/blog/document-review-queues/)
-   [Guida: Provare BroadNet Inference nel browser, senza account](https://broadrouter.com/it/guides/try-broadnet-inference-playground/)

Provalo sul tuo carico di lavoro reale. I nuovi account partono con USD 5 di credito per Gemma e trascrizione. DeepSeek, GLM e Qwen3.8 richiedono una ricarica.

[Inizia](https://inference.broadnet.ai/account/?utm_source=broadrouter&utm_medium=referral&utm_campaign=it-blog-broadnet-gpu-fleet-and-serving&utm_content=page-cta) ·

**Fonti**

-   [Catalogo dei modelli di BroadNet: capacità, throughput per GPU e risultati sull’hardware (misure di settembre 2026; consultato il 2026-11-15) (in inglese)](https://www.broadnet.ai/inference/models)
-   [Pagina del modello Gemma 4 VL 26B di BroadNet: configurazione di serving e valutazione alla cieca (consultata il 2026-11-15) (in inglese)](https://www.broadnet.ai/inference/models/gemma-4-vl-26b)
-   [Informativa privacy di BroadNet Inference: dove avviene l’elaborazione (consultata il 2026-11-15) (in inglese)](https://www.broadnet.ai/inference-privacy)
-   [Termini di servizio di BroadNet, §7.3 e §7.4: hosting presso partner e disponibilità (consultati il 2026-11-15) (in inglese)](https://www.broadnet.ai/terms)
-   [BroadNet Research: risultati aperti del suo laboratorio (consultata il 2026-11-15) (in inglese)](https://www.broadnet.ai/research)
