BroadRouter

GPU-Hardware und Serving von BroadNet, wie BroadNet sie beschreibt

Vom Team von BroadNet Inference · 5 Min. Lesezeit · Veröffentlicht · Aktualisiert

Laut BroadNet läuft ein einziger Serving-Stack auf drei Hardware-Stufen: Rechenzentrums-GPUs von A100 bis B300, eine Workstation-Stufe mit RTX- und DGX-Spark-Karten, die die ständig verfügbare öffentliche API trägt, und Appliances beim Kunden. BroadNet meldet rund 270 betriebene Modelle auf 13 GPU-Familien, NVIDIA und AMD. Manche API-Modelle werden stattdessen von US-Inferenzpartnern bereitgestellt.

BroadNet beschreibt seine Inferenz-Hardware ungewöhnlich detailliert. Der Modellkatalog listet die GPUs, die BroadNet nach eigenen Angaben betreibt, den gemessenen Durchsatz pro Karte und was das Unternehmen daraus gelernt hat, dieselben Modelle auf allen Karten zu betreiben. Diese Seite fasst zusammen, was BroadNet sagt, an den wichtigen Stellen in seinen eigenen Worten. Wir haben die Hardware nicht selbst begutachtet, und die Messungen stammen von BroadNet selbst, aus dem September 2026.

Welche Hardware betreibt BroadNet nach eigenen Angaben?

Laut BroadNet gilt „one fleet, three tiers, one stack“ (Übersetzung: eine Flotte, drei Stufen, ein Stack): dieselben Engines, Quantisierungen und dasselbe Gateway, von Rechenzentrums-Beschleunigern bis hinunter zu Appliances beim Kunden.

Stufe Von BroadNet genannte GPUs Wofür BroadNet sie nutzt
Rechenzentrum B300, B200, H200, H100, A100 80 GB Flaggschiff-Serving, Quantisierung und Kalibrierung, Fine-Tuning, dedizierte private Endpoints, Platzierungen für Datenresidenz
Workstation RTX PRO 6000 Blackwell, RTX 5090, RTX 3090, DGX Spark GB10, Radeon AI PRO R9700 Die ständig verfügbare öffentliche API, Benchmarks über CUDA und ROCm, Modellentwicklung
Kundenstandort DGX Spark GB10, kompakte AMD-Appliances On-Premise- und Air-Gapped-Installationen auf identischem Stack

Insgesamt meldet BroadNet rund 270 betriebene Modelle, rund 200 geladene Checkpoints, rund 40 Modellfamilien, 12 oder mehr Quantisierungsformate und 13 GPU-Familien. Außerdem heißt es: „a single H100 serves the entire current public catalogue with headroom“ (Übersetzung: eine einzige H100 bedient den gesamten aktuellen öffentlichen Katalog mit Reserve).

Welche API-Modelle laufen darauf?

Nicht alle. Die Datenschutzerklärung von BroadNet sagt, dass die eigenen Modelle und die gehosteten Open-Weight-Modelle auf Hardware in den USA laufen, die BroadNet gehört oder gemietet ist, mit Partnerkapazität als Reserve, und dass von Partnern bereitgestellte Modelle unter Zero-Data-Retention-Bedingungen bei US-Inferenzpartnern laufen. Die Nutzungsbedingungen nennen DeepSeek V4.1 Flash als von einem Partner gehostet.

Was die Seiten von BroadNet pro Modell sagen:

Modell in der API Von BroadNet genannte Hardware
Gemma 4 VL 26B GPUs der NVIDIA-Blackwell-Klasse mit Hot Backup
Transcribe Arabic und Transcribe NVIDIA-GPUs, von BroadNet in den USA betrieben
DeepSeek V4.1 Flash Von einem Partner gehostet (Nutzungsbedingungen §7.3)
GLM 5.3, Qwen3.8 27B Für API-Traffic nicht angegeben

Wenn es für Sie zählt, wo Ihre Daten verarbeitet werden, fragen Sie BroadNet, bevor Sie sie senden. Laut der Inferenzseite ist regionale Verarbeitung in MENA oder Europa auf Anfrage möglich.

Wie schnell ist jede GPU?

BroadNet veröffentlicht den aggregierten Output-Durchsatz pro GPU für ein Modell, Qwen3-VL 30B A3B Instruct bei 32 gleichzeitigen Anfragen:

GPU Stufe Speicherbandbreite Aggregierte Tokens/s
B300 Rechenzentrum 8.000 GB/s 14.500
B200 Rechenzentrum 8.000 GB/s 14.000
H200 Rechenzentrum 4.800 GB/s 8.400
H100 Rechenzentrum 3.350 GB/s 5.800
A100 80 GB Rechenzentrum 2.039 GB/s 3.500
RTX PRO 6000 Blackwell Workstation 1.792 GB/s 3.100
RTX 3090 Workstation 936 GB/s 1.630
DGX Spark GB10 Workstation 273 GB/s 1.597
Radeon AI PRO R9700 Workstation 640 GB/s 1.087

BroadNet merkt an, dass die Werte fürs Rechenzentrum „planning numbers from our measured per-GPU curve“ (Übersetzung: Planungszahlen aus unserer gemessenen Kurve pro GPU) sind, keine direkten Messungen auf jeder Karte. Die meisten Zeilen steigen mit der Speicherbandbreite, die beim Decoding meist die Grenze setzt, aber nicht alle: DGX Spark GB10 (273 GB/s) liegt fast gleichauf mit der RTX 3090 (936 GB/s), und die Radeon AI PRO R9700 (640 GB/s) liegt hinter beiden.

Was hat BroadNet nach eigenen Angaben von seiner Hardware gelernt?

Der Katalog listet acht Erkenntnisse, jede mit dem Vermerk „measured on our own hardware“ (Übersetzung: auf unserer eigenen Hardware gemessen). Die für API-Käufer wichtigsten:

  • CUDA vs. ROCm. Mit denselben Modellen auf NVIDIA CUDA und AMD ROCm machte CUDA aus etwa doppelt so viel Speicherbandbreite Tokens; BroadNet verteilt Workloads entsprechend.
  • Speculative Decoding unter Last. EAGLE3 kostete bei 32 gleichzeitigen Anfragen 69 % des Durchsatzes, daher blieb BroadNet bei Multi-Token-Prediction-Draftern. Die Uno-Serving-Studie misst denselben Effekt für eine andere Methode.
  • Serving zählt so viel wie die Gewichte. Dieselben Gewichte von Gemma 4 26B schnitten bei einem gehosteten Anbieter im Schnitt um 0,13 schlechter ab als in dem, was BroadNet „our own serving“ (Übersetzung: unser eigenes Serving) nennt. Die Regel von BroadNet: Einen Herausforderer und seine Baseline auf demselben Serving betreiben, bevor man sie vergleicht.
  • Ein kleineres aktives Modell kann gewinnen. Das 26B-Mixture-of-Experts-Modell schlug das dichte Gemma 4 31B in 5 von 6 Pipeline-Schritten, mit etwa einem Achtel der aktiven Parameter.
  • Gleichstand mit Frontier-Modellen in einer Pipeline. In einer Blind-Evaluierung von 240 Traces erreichte das von BroadNet bereitgestellte Gemma 4 in fünf von sechs gemessenen Schritten das Niveau von Claude Sonnet, mit 1,2- bis 6,5-mal schnelleren Antworten pro Schritt.
  • Geschwindigkeit pro Anfrage. Qwen3-VL 30B A3B lief nach Messung von BroadNet in dem, was BroadNet als sein eigenes Serving beschreibt, mit 36,5 bis 110 Tokens pro Sekunde pro Anfrage, gegenüber 7 bis 19 bei vier von BroadNet gemessenen OpenRouter-Anbietern.
  • Architektur schlägt Modellwahl. Bei einem schwierigen Set, bei dem sich zwei lokale Vision-Modelle uneinig waren, hob die Eskalation an einen gehosteten Schiedsrichter die Genauigkeit von 1 von 12 auf 11 von 12.

Der Vergleich mit Sonnet ist die stärkste Behauptung, und sie ist eng gefasst: die Chatbot-Pipeline eines einzigen Unternehmens, blind von drei Juroren bewertet, an 240 Produktionsgesprächen von 11 Mandanten, laut der Gemma-4-Seite von BroadNet. Das heißt nicht, dass Gemma 4 allgemein mit Sonnet mithält. BroadNet hat auf seiner Forschungsseite keine vollständige Beschreibung dieser Evaluierung veröffentlicht.

Wie wird das Gemma-4-Modell bereitgestellt?

Gemma 4 VL 26B von BroadNet ist laut Modellseite das deutlichste Beispiel für die Serving-Entscheidungen des Unternehmens:

  • Gewichte: Gemma 4 26B A4B von Google, von BroadNet auf 4-Bit-AWQ quantisiert. BroadNet hat NVFP4 getestet und nach einem direkten Vergleich ausgemustert.
  • Decoding: Speculative Decoding per Multi-Token-Prediction mit zwei vorgeschlagenen Tokens (k=2) und einem KV-Cache in fp8.
  • Template: ein Chat-Template, das BroadNet für seinen Konversations-Workflow abgestimmt hat.
  • Ausfallsicherheit: ein Hot Backup mit automatischem Failover.
  • Ergebnis: etwa 136 Tokens pro Sekunde bei einem einzelnen Stream und 90,86 in der internen Qualitäts-Testbatterie von BroadNet.

Die Begriffe erklären Quantisierung und Speculative Decoding.

Was bedeutet das für Sie?

Für Pay-as-you-go-Nutzer zeigen sich die Serving-Entscheidungen von BroadNet in der veröffentlichten Geschwindigkeit, typisch etwa 100 Tokens pro Sekunde beim Planmodell, und in den Limits: 30 Anfragen pro Minute und 4 gleichzeitig pro Schlüssel. Laut den Bedingungen von BroadNet gibt es für Self-Service keine Verfügbarkeitszusage; Service-Levels gibt es nur mit schriftlicher Vereinbarung. Wie die SLAs anderer Anbieter im Vergleich aussehen.

Für größere Anforderungen bietet BroadNet private Endpoints auf reservierten GPUs, mit Ihrem Modell, Schlüssel, Ihren Limits und Ihrer Region, sowie On-Premise-Appliances auf demselben Stack. Wenn Sie das gegen eigene gemietete GPUs abwägen, rechnet unser Leitfaden Self-Hosting vs. API-Kosten das durch, und die Modelle, die BroadNet ausgeschlossen hat zeigt, wie das Unternehmen ausgewählt hat, was es bereitstellt.

Häufige Fragen

Betreibt BroadNet eigene GPUs?

Laut BroadNet betreibt das Unternehmen eine eigene GPU-Flotte von NVIDIA und AMD. Die Datenschutzerklärung sagt, dass die eigenen Modelle und die gehosteten Open-Weight-Modelle auf Hardware in den USA laufen, die BroadNet gehört oder gemietet ist, mit Partnerkapazität als Reserve. Von Partnern bereitgestellte Modelle wie DeepSeek V4.1 Flash laufen bei US-Inferenzpartnern.

Welche GPU bedient die öffentliche API?

Der Katalog von BroadNet ordnet „the always-on public API“ (Übersetzung: die ständig verfügbare öffentliche API) der Workstation-Stufe zu (RTX PRO 6000 Blackwell, RTX 5090, RTX 3090, DGX Spark GB10, Radeon AI PRO R9700). Die Seite zu Gemma 4 nennt GPUs der NVIDIA-Blackwell-Klasse mit Hot Backup.

Gibt es ein veröffentlichtes Uptime-SLA?

Für Self-Service nicht. Laut den Nutzungsbedingungen von BroadNet gibt es für Self-Service keine Verfügbarkeitszusage; Service-Levels gibt es nur in einer separaten schriftlichen Vereinbarung, etwa für einen privaten Endpoint.

Kann ich eine dedizierte GPU bekommen?

Ja. BroadNet bietet private Endpoints auf einer reservierten GPU oder einem reservierten Node, mit Modell Ihrer Wahl, eigenem Schlüssel und Limits sowie der benötigten Region. Der Preis richtet sich auf Anfrage nach Ihrem Traffic.

Kann BroadNet Modelle bei mir vor Ort betreiben?

Laut BroadNet läuft auf der Stufe am Kundenstandort derselbe Stack auf DGX Spark GB10 und kompakten AMD-Appliances, für On-Premise- und Air-Gapped-Installationen.

Als Markdown lesenChatGPT fragenClaude fragenPerplexity fragen