---
title: "GPUs e serving da BroadNet, segundo a BroadNet | BroadRouter"
description: "O que a BroadNet diz sobre o hardware da BroadNet Inference: três camadas de GPU, das B300 aos appliances no cliente, throughput por GPU e o que aprendeu nos testes."
url: https://broadrouter.com/pt/blog/broadnet-gpu-fleet-and-serving/
lang: pt-BR
updated: 2026-11-15
publisher: BroadRouter (a BroadNet site); API by BroadNet Inference, https://inference.broadnet.ai
---

Traduzido do inglês com ajuda de IA. [Leia o original em inglês](https://broadrouter.com/blog/broadnet-gpu-fleet-and-serving/) (atualizado em 2026-11-16).

# Hardware de GPU e serving da BroadNet, segundo a própria BroadNet

Pela equipe da BroadNet Inference · 5 min de leitura · Publicado em 2026-11-15 · Atualizado em 2026-11-16

A BroadNet diz que roda uma única stack de serving em três camadas de hardware: GPUs de data center da A100 à B300, uma camada de workstations com placas RTX e DGX Spark que sustenta a API pública sempre ativa, e appliances nas instalações dos clientes. Ela relata cerca de 270 modelos executados em 13 famílias de GPU, NVIDIA e AMD. Alguns modelos da API são servidos por parceiros de inferência nos EUA.

## Pontos principais

-   Três camadas, uma stack: data center (B300, B200, H200, H100, A100), workstation (RTX PRO 6000, RTX 5090, RTX 3090, DGX Spark GB10, Radeon AI PRO R9700) e instalação do cliente.
-   Segundo a BroadNet, a camada de workstations sustenta a API pública sempre ativa; as GPUs de data center cuidam do serving dos modelos carro-chefe, do fine-tuning e dos endpoints privados.
-   O resultado medido por ela: NVIDIA CUDA transforma em tokens cerca do dobro da largura de banda de memória que AMD ROCm, nos mesmos modelos.
-   O serving importa tanto quanto os pesos: a BroadNet relata que os mesmos pesos do Gemma 4 26B tiveram nota 0,13 menor num provedor hospedado do que no que ela chama de serving próprio.
-   Nem todo modelo da API roda em hardware que a BroadNet diz ser dela: os termos da BroadNet dizem que o DeepSeek V4.1 Flash é hospedado por parceiro.

**Nesta página**

1.  Que hardware a BroadNet diz usar?
2.  Quais modelos da API rodam nele?
3.  Qual a velocidade de cada GPU?
4.  O que a BroadNet diz que aprendeu com o hardware?
5.  Como o modelo Gemma 4 é servido?
6.  O que isso significa para você?

A BroadNet descreve o seu hardware de inferência com um nível de detalhe incomum. O [catálogo de modelos](https://www.broadnet.ai/inference/models) lista as GPUs que ela diz usar, o throughput medido por placa e o que aprendeu rodando os mesmos modelos em placas diferentes. Esta página resume o que a BroadNet diz, com as palavras dela quando isso importa. Não inspecionamos o hardware, e as medições são da própria BroadNet, de setembro de 2026.

## Que hardware a BroadNet diz usar?

A BroadNet diz que roda “one fleet, three tiers, one stack” (uma frota, três camadas, uma stack): os mesmos motores, quantizações e gateway, dos aceleradores de data center até os appliances nas instalações dos clientes.

| Camada | GPUs que a BroadNet lista | Para que a BroadNet usa |
| --- | --- | --- |
| Data center | B300, B200, H200, H100, A100 80 GB | Serving dos modelos carro-chefe, quantização e calibração, fine-tuning, endpoints privados dedicados, alocações por residência de dados |
| Workstation | RTX PRO 6000 Blackwell, RTX 5090, RTX 3090, DGX Spark GB10, Radeon AI PRO R9700 | A API pública sempre ativa, benchmarks entre CUDA e ROCm, desenvolvimento de modelos |
| Instalação do cliente | DGX Spark GB10, appliances AMD compactos | Implantações on-premise e air-gapped na mesma stack |

No total, a BroadNet relata cerca de 270 modelos executados, cerca de 200 checkpoints carregados, cerca de 40 famílias de modelos, 12 ou mais formatos de quantização e 13 famílias de GPU. Ela também diz que “a single H100 serves the entire current public catalogue with headroom” (uma única H100 serve todo o catálogo público atual com folga).

## Quais modelos da API rodam nele?

Nem todos. A [declaração de privacidade](https://www.broadnet.ai/inference-privacy) da BroadNet diz que os modelos próprios e os modelos open-weight que ela hospeda rodam em hardware próprio ou alugado da BroadNet nos Estados Unidos, com capacidade de parceiros como reserva, e que modelos servidos por parceiros rodam com parceiros de inferência nos EUA sob termos de retenção zero de dados. Os [Termos de Serviço](https://www.broadnet.ai/terms) citam o [DeepSeek V4.1 Flash](https://broadrouter.com/pt/models/deepseek-v4.1-flash/) como hospedado por parceiro.

O que as páginas da própria BroadNet dizem por modelo:

| Modelo na API | Hardware citado pela BroadNet |
| --- | --- |
| [Gemma 4 VL 26B](https://broadrouter.com/pt/models/gemma-4-vl-26b/) | GPUs NVIDIA da classe Blackwell com hot backup |
| [Transcribe Arabic](https://broadrouter.com/pt/models/cohere-transcribe-arabic/) e [Transcribe](https://broadrouter.com/pt/models/cohere-transcribe/) | GPUs NVIDIA operadas pela BroadNet nos Estados Unidos |
| DeepSeek V4.1 Flash | Hospedado por parceiro (Termos de Serviço §7.3) |
| GLM 5.3, Qwen3.8 27B | Não informado para o tráfego da API |

Se importa onde os seus dados são processados, pergunte à BroadNet antes de enviá-los. A página de inferência dela diz que o processamento regional no MENA ou na Europa está disponível sob consulta.

## Qual a velocidade de cada GPU?

A BroadNet publica o throughput agregado de saída por GPU em um modelo, o Qwen3-VL 30B A3B Instruct com 32 requisições simultâneas:

| GPU | Camada | Largura de banda de memória | Tokens/s agregados |
| --- | --- | --- | --- |
| B300 | Data center | 8.000 GB/s | 14.500 |
| B200 | Data center | 8.000 GB/s | 14.000 |
| H200 | Data center | 4.800 GB/s | 8.400 |
| H100 | Data center | 3.350 GB/s | 5.800 |
| A100 80 GB | Data center | 2.039 GB/s | 3.500 |
| RTX PRO 6000 Blackwell | Workstation | 1.792 GB/s | 3.100 |
| RTX 3090 | Workstation | 936 GB/s | 1.630 |
| DGX Spark GB10 | Workstation | 273 GB/s | 1.597 |
| Radeon AI PRO R9700 | Workstation | 640 GB/s | 1.087 |

A BroadNet observa que os números de data center são “planning numbers from our measured per-GPU curve” (números de planejamento a partir da nossa curva medida por GPU), não medições diretas em cada placa. A maioria das linhas sobe com a largura de banda de memória, que costuma ser o limite na decodificação, mas não todas: o DGX Spark GB10 (273 GB/s) quase empata com a RTX 3090 (936 GB/s), e a Radeon AI PRO R9700 (640 GB/s) fica atrás das duas.

## O que a BroadNet diz que aprendeu com o hardware?

O catálogo lista oito resultados, cada um marcado como “measured on our own hardware” (medido no nosso próprio hardware). Os que mais importam para quem compra API:

-   **CUDA vs ROCm.** Rodando os mesmos modelos em NVIDIA CUDA e AMD ROCm, o CUDA transformou em tokens cerca do dobro da largura de banda de memória, então a BroadNet distribui as cargas de trabalho de acordo.
-   **Speculative decoding sob carga.** O EAGLE3 custou 69% do throughput com 32 requisições simultâneas, então a BroadNet manteve os drafters de multi-token prediction. O [estudo de serving do Uno](https://broadrouter.com/pt/blog/uno-in-vllm-serving-study/) mede o mesmo efeito para outro método.
-   **O serving importa tanto quanto os pesos.** Os mesmos pesos do Gemma 4 26B servidos por um provedor hospedado tiveram, em média, nota 0,13 menor do que no que a BroadNet chama de “our own serving” (nosso próprio serving). A regra da BroadNet: manter um desafiante e a sua baseline no mesmo serving antes de compará-los.
-   **Um modelo com menos parâmetros ativos pode vencer.** O mixture of experts de 26B venceu o Gemma 4 31B denso em 5 de 6 etapas do pipeline, com cerca de um oitavo dos parâmetros ativos.
-   **Paridade com a fronteira em um pipeline.** Numa avaliação às cegas de 240 traces, o Gemma 4 servido pela BroadNet igualou o Claude Sonnet em cinco das seis etapas medidas, com respostas de 1,2 a 6,5 vezes mais rápidas por etapa.
-   **Velocidade por requisição.** O Qwen3-VL 30B A3B rodou a 36,5 a 110 tokens por segundo por requisição no que a BroadNet descreve como seu serving próprio, pela medição da BroadNet, contra 7 a 19 em quatro provedores do OpenRouter medidos pela BroadNet.
-   **Arquitetura vale mais que a escolha do modelo.** Num conjunto difícil em que dois modelos de visão locais discordavam, escalar para um árbitro hospedado levou a precisão de 1 em 12 para 11 em 12.

A comparação com o Sonnet é a afirmação mais forte, e é restrita: o pipeline de chatbot de uma única empresa, julgado às cegas por três juízes, em 240 conversas de produção de 11 tenants, segundo a [página do Gemma 4](https://www.broadnet.ai/inference/models/gemma-4-vl-26b) da BroadNet. Isso não significa que o Gemma 4 se iguale ao Sonnet em geral. A BroadNet não publicou um relatório completo dessa avaliação na página de pesquisa.

## Como o modelo Gemma 4 é servido?

O Gemma 4 VL 26B da BroadNet é o exemplo mais claro das escolhas de serving dela, segundo a página do modelo:

-   **Pesos:** o Gemma 4 26B A4B do Google, quantizado pela BroadNet em AWQ de 4 bits. A BroadNet testou o NVFP4 e o aposentou depois de um confronto direto.
-   **Decodificação:** speculative decoding com multi-token prediction e dois tokens rascunhados (k=2), e um [KV cache](https://broadrouter.com/pt/glossary/kv-cache/) em fp8.
-   **Template:** um chat template que a BroadNet ajustou para o seu fluxo conversacional.
-   **Resiliência:** um hot backup com failover automático.
-   **Resultado:** cerca de 136 tokens por segundo em um único stream, e 90,86 na bateria interna de qualidade da BroadNet.

Veja [quantização](https://broadrouter.com/pt/glossary/quantization/) e [speculative decoding](https://broadrouter.com/pt/glossary/speculative-decoding/) para os termos.

## O que isso significa para você?

Para quem usa pagamento por uso, as escolhas de serving da BroadNet aparecem na velocidade publicada, cerca de 100 tokens por segundo típicos no modelo dos planos, e nos limites: 30 requisições por minuto e 4 em andamento por chave. Os termos da BroadNet dizem que o autoatendimento não tem compromisso de disponibilidade; níveis de serviço só vêm com um acordo escrito. [Como se comparam os SLAs de outros provedores](https://broadrouter.com/pt/blog/llm-api-sla-uptime-compared/).

Para necessidades maiores, a BroadNet oferece endpoints privados em GPUs reservadas, com o seu modelo, chave, limites e região, e appliances on-premise na mesma stack. Se você está comparando isso com alugar GPUs próprias, o nosso [guia de custo de self-hosting versus API](https://broadrouter.com/pt/blog/self-hosting-llm-vs-api-cost/) faz as contas, e [os modelos que a BroadNet descartou](https://broadrouter.com/pt/blog/models-broadnet-ruled-out/) mostra como ela escolheu o que servir.

Ferramentas gratuitas sobre o tema (em inglês)

-   [OpenAI to BroadNet migration helper](https://broadrouter.com/tools/openai-to-broadnet-migration/) Paste OpenAI SDK code; get base URL, key and model edits, a diff and the checks that remain.
-   [max\_tokens calculator for reasoning models](https://broadrouter.com/tools/reasoning-token-budget/) Answer length + reasoning budget + margin = a max\_tokens that does not cut the answer off.
-   [JSON schema generator for LLM structured output](https://broadrouter.com/tools/json-schema-generator/) Sample JSON to strict schema, Pydantic, Zod and a ready request.
-   [LLM JSON output validator](https://broadrouter.com/tools/llm-json-output-validator/) Parse errors by line and column, safe repairs, cut-off detection and JSON Schema checks for model output.

[Ferramentas gratuitas (em inglês)](https://broadrouter.com/tools/)

## Termos neste artigo

[Token](https://broadrouter.com/pt/glossary/token/)

Um token é a unidade de texto que um modelo de linguagem lê e escreve: uma palavra, parte de uma palavra, um sinal de pontuação ou uma sequência de bytes gerada pelo tokenizador do modelo. As APIs de LLM contam, limitam e normalmente cobram o uso em tokens.

[Throughput (vazão)](https://broadrouter.com/pt/glossary/throughput/)

Throughput, ou vazão, no serving de LLMs, é a quantidade total de trabalho que um sistema conclui por unidade de tempo em todas as requisições simultâneas, geralmente medida em tokens de saída ou requisições por segundo. É diferente da velocidade por stream, que é a rapidez com que uma única requisição recebe seus tokens.

[Quantização (quantization)](https://broadrouter.com/pt/glossary/quantization/)

Quantização é o processo de armazenar os números de uma rede neural, principalmente os pesos, em um formato de menor precisão, como 8 ou 4 bits em vez de 16 bits, para que o modelo use menos memória e muitas vezes rode mais rápido. Bons métodos mantêm pequena a perda de precisão.

[Concorrência (concurrency)](https://broadrouter.com/pt/glossary/concurrency/)

Concorrência é o número de requisições que um cliente tem em andamento ao mesmo tempo. APIs de LLM muitas vezes a limitam por chave ou por plano, separadamente das requisições por minuto, porque cada requisição aberta ocupa capacidade de GPU até a resposta terminar.

[Mixture of experts (MoE)](https://broadrouter.com/pt/glossary/mixture-of-experts/)

Mixture of experts (MoE) é uma arquitetura de rede neural em que uma camada contém muitas sub-redes especialistas e um roteador aprendido envia cada token para apenas algumas delas. Um modelo de linguagem MoE tem um número total de parâmetros grande, mas usa um pequeno subconjunto ativo para cada token.

[Pagamento por uso (pay-as-you-go)](https://broadrouter.com/pt/glossary/pay-as-you-go/)

Pagamento por uso é um modelo de preço em que você paga só pelo que usa, medido por unidade, como tokens, requisições ou minutos de áudio, sem assinatura nem compromisso mínimo. A maioria das APIs de LLM cobra assim, a partir de um saldo pré-pago ou de uma fatura periódica.

[Speculative decoding (decodificação especulativa)](https://broadrouter.com/pt/glossary/speculative-decoding/)

Speculative decoding (decodificação especulativa) é uma técnica de inferência em que um modelo draft pequeno e rápido propõe vários próximos tokens e o modelo alvo, maior, os verifica em um único forward pass, mantendo os aceitos. Ela acelera a geração sem mudar a distribuição da saída.

[Prefill e decode](https://broadrouter.com/pt/glossary/prefill-and-decode/)

Prefill e decode são as duas fases da inferência de um LLM. No prefill, o modelo processa o prompt inteiro em paralelo e preenche o KV cache; no decode, gera a resposta um token por vez, reaproveitando esse cache. O prefill define principalmente o tempo até o primeiro token; o decode, a velocidade de saída.

## Perguntas frequentes

### A BroadNet roda GPUs próprias?

A BroadNet diz que opera uma frota própria de GPUs NVIDIA e AMD. A declaração de privacidade diz que os modelos próprios e os modelos open-weight que ela hospeda rodam em hardware próprio ou alugado da BroadNet nos Estados Unidos, com capacidade de parceiros como reserva. Modelos servidos por parceiros, como o DeepSeek V4.1 Flash, rodam com parceiros de inferência nos EUA.

### Qual GPU serve a API pública?

O catálogo da BroadNet coloca "the always-on public API" (a API pública sempre ativa) na camada de workstations (RTX PRO 6000 Blackwell, RTX 5090, RTX 3090, DGX Spark GB10, Radeon AI PRO R9700). A página do Gemma 4 cita GPUs NVIDIA da classe Blackwell com hot backup.

### Existe um SLA de uptime publicado?

Não para o autoatendimento. Os Termos de Serviço da BroadNet dizem que o autoatendimento não tem compromisso de disponibilidade, e que níveis de serviço só existem em um acordo escrito à parte, por exemplo para um endpoint privado.

### Posso ter uma GPU dedicada?

Sim. A BroadNet oferece endpoints privados em uma GPU ou nó reservado, com o modelo que você escolher, chave e limites próprios e a região de que você precisa. O preço é definido sob consulta, conforme o seu tráfego.

### A BroadNet pode rodar modelos nas minhas instalações?

A BroadNet diz que a camada de instalação no cliente roda a mesma stack em DGX Spark GB10 e em appliances AMD compactos, para implantações on-premise e air-gapped.

## Continue lendo

-   [Os modelos que a BroadNet avaliou e descartou, e por quê](https://broadrouter.com/pt/blog/models-broadnet-ruled-out/)
-   [Uno no vLLM: o que o estudo de serving da BroadNet mediu](https://broadrouter.com/pt/blog/uno-in-vllm-serving-study/)
-   [Uno no Gemma 4 26B: o estudo da BroadNet com mixture of experts](https://broadrouter.com/pt/blog/uno-mixture-of-experts-gemma-4-study/)
-   [Hospedar um LLM próprio ou usar API: custo real e ponto de equilíbrio](https://broadrouter.com/pt/blog/self-hosting-llm-vs-api-cost/)
-   [Latência de LLM: TTFT, tokens por segundo e tempo de ponta a ponta](https://broadrouter.com/pt/blog/llm-latency-ttft-throughput/)
-   [Cache de respostas de LLM para cortar custo: um cache exato em Python](https://broadrouter.com/pt/blog/cache-llm-responses-cut-cost/)
-   [Revisão humana no seu fluxo de IA para documentos](https://broadrouter.com/pt/blog/document-review-queues/)
-   [Guia: Teste a BroadNet Inference no navegador, sem conta](https://broadrouter.com/pt/guides/try-broadnet-inference-playground/)

Teste com a sua carga de trabalho real. Contas novas começam com US$ 5 de crédito para Gemma e transcrição. DeepSeek, GLM e Qwen3.8 exigem uma recarga.

[Começar](https://inference.broadnet.ai/account/?utm_source=broadrouter&utm_medium=referral&utm_campaign=pt-blog-broadnet-gpu-fleet-and-serving&utm_content=page-cta) ·

**Fontes**

-   [Catálogo de modelos da BroadNet: capacidade, throughput por GPU e resultados de hardware (medições de setembro de 2026; consultado em 2026-11-15) (em inglês)](https://www.broadnet.ai/inference/models)
-   [Página do modelo Gemma 4 VL 26B da BroadNet: configuração de serving e avaliação às cegas (consultada em 2026-11-15) (em inglês)](https://www.broadnet.ai/inference/models/gemma-4-vl-26b)
-   [Declaração de privacidade da BroadNet Inference: onde o processamento acontece (consultada em 2026-11-15) (em inglês)](https://www.broadnet.ai/inference-privacy)
-   [Termos de Serviço da BroadNet, §7.3 e §7.4: hospedagem por parceiros e disponibilidade (consultados em 2026-11-15) (em inglês)](https://www.broadnet.ai/terms)
-   [BroadNet Research: resultados abertos do laboratório (consultada em 2026-11-15) (em inglês)](https://www.broadnet.ai/research)
