BroadRouter

Matériel GPU et serving de BroadNet, tels que BroadNet les décrit

Par l’équipe BroadNet Inference · 5 min de lecture · Publié · Mis à jour

BroadNet indique faire tourner une seule pile de serving sur trois niveaux de matériel : des GPU de data center de l’A100 au B300, un niveau station de travail avec des cartes RTX et DGX Spark qui porte l’API publique toujours active, et des appliances sur les sites clients. Elle annonce environ 270 modèles exécutés sur 13 familles de GPU, NVIDIA et AMD. Certains modèles de l’API sont plutôt servis par des partenaires d’inférence américains.

BroadNet décrit son matériel d’inférence avec un niveau de détail inhabituel. Son catalogue de modèles liste les GPU qu’elle dit exploiter, le débit mesuré par carte, et ce qu’elle a appris en faisant tourner les mêmes modèles sur chacune. Cette page résume ce que dit BroadNet, avec ses propres mots quand cela compte. Nous n’avons pas inspecté le matériel, et les mesures sont celles de BroadNet, de septembre 2026.

Quel matériel BroadNet dit-elle exploiter ?

BroadNet décrit « one fleet, three tiers, one stack » (traduction : « une flotte, trois niveaux, une pile ») : les mêmes moteurs, quantifications et passerelle, des accélérateurs de data center jusqu’aux appliances sur les sites clients.

Niveau GPU listés par BroadNet Usage selon BroadNet
Data center B300, B200, H200, H100, A100 80 Go Serving des modèles phares, quantification et calibration, fine-tuning, endpoints privés dédiés, placements pour la résidence des données
Station de travail RTX PRO 6000 Blackwell, RTX 5090, RTX 3090, DGX Spark GB10, Radeon AI PRO R9700 L’API publique toujours active, benchmarks CUDA et ROCm, développement de modèles
Site client DGX Spark GB10, appliances AMD compactes Déploiements sur site et isolés du réseau sur la même pile

Au total, BroadNet annonce environ 270 modèles exécutés, environ 200 checkpoints chargés, environ 40 familles de modèles, 12 formats de quantification ou plus et 13 familles de GPU. Elle affirme aussi que « a single H100 serves the entire current public catalogue with headroom » (traduction : « un seul H100 sert l’ensemble du catalogue public actuel avec de la marge »).

Quels modèles de l’API y tournent ?

Pas tous. La déclaration de confidentialité de BroadNet indique que ses propres modèles et les modèles open-weight qu’elle héberge tournent sur du matériel détenu ou loué par BroadNet aux États-Unis, avec de la capacité partenaire en secours, et que les modèles servis par des partenaires fonctionnent sous des conditions de conservation zéro des données chez des partenaires d’inférence américains. Ses Conditions d’utilisation désignent DeepSeek V4.1 Flash comme hébergé par un partenaire.

Ce que disent les pages de BroadNet, modèle par modèle :

Modèle de l’API Matériel cité par BroadNet
Gemma 4 VL 26B GPU NVIDIA de classe Blackwell avec un secours à chaud
Transcribe Arabic et Transcribe GPU NVIDIA exploités par BroadNet aux États-Unis
DeepSeek V4.1 Flash Hébergé par un partenaire (Conditions d’utilisation §7.3)
GLM 5.3, Qwen3.8 27B Non précisé pour le trafic de l’API

Si le lieu de traitement de vos données compte, interrogez BroadNet avant de les envoyer. Sa page sur l’inférence indique qu’un traitement régional en MENA ou en Europe est possible sur demande.

Quelle est la vitesse de chaque GPU ?

BroadNet publie le débit de sortie agrégé par GPU pour un modèle, Qwen3-VL 30B A3B Instruct, avec 32 requêtes simultanées :

GPU Niveau Bande passante mémoire Tokens/s agrégés
B300 Data center 8 000 Go/s 14 500
B200 Data center 8 000 Go/s 14 000
H200 Data center 4 800 Go/s 8 400
H100 Data center 3 350 Go/s 5 800
A100 80 Go Data center 2 039 Go/s 3 500
RTX PRO 6000 Blackwell Station de travail 1 792 Go/s 3 100
RTX 3090 Station de travail 936 Go/s 1 630
DGX Spark GB10 Station de travail 273 Go/s 1 597
Radeon AI PRO R9700 Station de travail 640 Go/s 1 087

BroadNet précise que les chiffres du data center sont des « planning numbers from our measured per-GPU curve » (traduction : « chiffres de planification issus de notre courbe mesurée par GPU »), et non des mesures directes sur chaque carte. La plupart des lignes augmentent avec la bande passante mémoire, la limite habituelle du décodage, mais pas toutes : le DGX Spark GB10 (273 Go/s) égale presque la RTX 3090 (936 Go/s), et la Radeon AI PRO R9700 (640 Go/s) arrive derrière les deux.

Qu’est-ce que son matériel a appris à BroadNet, selon elle ?

Le catalogue liste huit constats, chacun marqué « measured on our own hardware » (traduction : « mesuré sur notre propre matériel »). Ceux qui comptent le plus pour les acheteurs d’API :

  • CUDA ou ROCm. Avec les mêmes modèles sur NVIDIA CUDA et AMD ROCm, CUDA a transformé en tokens environ deux fois plus de bande passante mémoire ; BroadNet répartit donc les charges de travail en conséquence.
  • Décodage spéculatif sous charge. EAGLE3 a coûté 69 % du débit à 32 requêtes simultanées ; BroadNet a donc gardé les drafters à prédiction multi-tokens. Son étude de serving d’Uno mesure le même effet pour une autre méthode.
  • Le serving compte autant que les poids. Les mêmes poids de Gemma 4 26B servis par un fournisseur hébergé ont obtenu en moyenne 0,13 de moins que sur ce que BroadNet appelle « our own serving » (traduction : « notre propre serving »). La règle de BroadNet : placer un challenger et sa référence sur le même serving avant de les comparer.
  • Un modèle à moins de paramètres actifs peut gagner. Le mixture of experts 26B a battu le Gemma 4 31B dense sur 5 des 6 étapes du pipeline, avec environ un huitième des paramètres actifs.
  • Parité avec les modèles de pointe sur un pipeline. Dans une évaluation à l’aveugle de 240 traces, le Gemma 4 servi par BroadNet a égalé Claude Sonnet sur cinq des six étapes mesurées, avec des réponses 1,2 à 6,5 fois plus rapides par étape.
  • Vitesse par requête. Qwen3-VL 30B A3B a tourné à 36,5 à 110 tokens par seconde par requête sur ce que BroadNet décrit comme son propre serving, selon les mesures de BroadNet, contre 7 à 19 chez quatre fournisseurs OpenRouter mesurés par BroadNet.
  • L’architecture compte plus que le choix du modèle. Sur un jeu difficile où deux modèles de vision locaux n’étaient pas d’accord, l’escalade vers un arbitre hébergé a fait passer la précision de 1 sur 12 à 11 sur 12.

La comparaison avec Sonnet est l’affirmation la plus forte, et elle est étroite : le pipeline de chatbot d’une seule entreprise, jugé à l’aveugle par trois juges, sur 240 conversations de production de 11 clients, selon la page Gemma 4 de BroadNet. Cela ne signifie pas que Gemma 4 égale Sonnet en général. BroadNet n’a pas publié de compte rendu complet de cette évaluation sur sa page de recherche.

Comment le modèle Gemma 4 est-il servi ?

Le Gemma 4 VL 26B de BroadNet est l’exemple le plus clair de ses choix de serving, selon sa page de modèle :

  • Poids : Gemma 4 26B A4B de Google, quantifié par BroadNet en AWQ 4 bits. BroadNet a testé NVFP4 et l’a abandonné après une comparaison directe.
  • Décodage : décodage spéculatif par prédiction multi-tokens avec deux tokens proposés (k=2), et un cache KV en fp8.
  • Template : un template de chat que BroadNet a ajusté pour son flux conversationnel.
  • Résilience : un secours à chaud avec basculement automatique.
  • Résultat : environ 136 tokens par seconde sur un flux unique, et 90,86 sur la batterie de qualité interne de BroadNet.

Voir quantification et décodage spéculatif pour les termes.

Qu’est-ce que cela change pour vous ?

Pour un utilisateur en paiement à l’usage, les choix de serving de BroadNet se traduisent par la vitesse publiée, environ 100 tokens par seconde en général sur le modèle du forfait, et par les limites : 30 requêtes par minute et 4 en cours par clé. Les conditions de BroadNet indiquent que le libre-service n’a aucun engagement de disponibilité ; les niveaux de service ne viennent qu’avec un accord écrit. Comparaison des SLA des autres fournisseurs.

Pour des besoins plus importants, BroadNet propose des endpoints privés sur GPU réservés, avec votre modèle, votre clé, vos limites et votre région, ainsi que des appliances sur site avec la même pile. Si vous comparez cela à la location de vos propres GPU, notre guide auto-hébergement ou API détaille le calcul, et les modèles écartés par BroadNet montre comment elle a choisi ce qu’elle sert.

Questions fréquentes

BroadNet exploite-t-elle ses propres GPU ?

BroadNet indique exploiter sa propre flotte de GPU NVIDIA et AMD. Sa déclaration de confidentialité précise que ses propres modèles et les modèles open-weight qu’elle héberge tournent sur du matériel détenu ou loué par BroadNet aux États-Unis, avec de la capacité partenaire en secours. Les modèles servis par des partenaires, comme DeepSeek V4.1 Flash, tournent chez des partenaires d’inférence américains.

Quel GPU sert l’API publique ?

Le catalogue de BroadNet place « the always-on public API » (traduction : « l’API publique toujours active ») sur son niveau station de travail (RTX PRO 6000 Blackwell, RTX 5090, RTX 3090, DGX Spark GB10, Radeon AI PRO R9700). Sa page Gemma 4 cite des GPU NVIDIA de classe Blackwell avec un secours à chaud.

Existe-t-il un SLA de disponibilité publié ?

Pas en libre-service. Les Conditions d’utilisation de BroadNet indiquent que le libre-service n’a aucun engagement de disponibilité, et que des niveaux de service n’existent que dans un accord écrit séparé, par exemple pour un endpoint privé.

Puis-je obtenir un GPU dédié ?

Oui. BroadNet propose des endpoints privés sur un GPU ou un nœud réservé, avec le modèle de votre choix, votre propre clé et vos limites, et la région dont vous avez besoin. Le prix est établi sur demande selon votre trafic.

BroadNet peut-elle faire tourner des modèles dans mes locaux ?

BroadNet indique que son niveau site client fait tourner la même pile sur DGX Spark GB10 et sur des appliances AMD compactes, pour des déploiements sur site et isolés du réseau (air-gapped).

Lire en MarkdownDemander à ChatGPTDemander à ClaudeDemander à Perplexity