BroadNet beschreibt seine Inferenz-Hardware ungewöhnlich detailliert. Der Modellkatalog listet die GPUs, die BroadNet nach eigenen Angaben betreibt, den gemessenen Durchsatz pro Karte und was das Unternehmen daraus gelernt hat, dieselben Modelle auf allen Karten zu betreiben. Diese Seite fasst zusammen, was BroadNet sagt, an den wichtigen Stellen in seinen eigenen Worten. Wir haben die Hardware nicht selbst begutachtet, und die Messungen stammen von BroadNet selbst, aus dem September 2026.
Welche Hardware betreibt BroadNet nach eigenen Angaben?
Laut BroadNet gilt „one fleet, three tiers, one stack“ (Übersetzung: eine Flotte, drei Stufen, ein Stack): dieselben Engines, Quantisierungen und dasselbe Gateway, von Rechenzentrums-Beschleunigern bis hinunter zu Appliances beim Kunden.
| Stufe | Von BroadNet genannte GPUs | Wofür BroadNet sie nutzt |
|---|---|---|
| Rechenzentrum | B300, B200, H200, H100, A100 80 GB | Flaggschiff-Serving, Quantisierung und Kalibrierung, Fine-Tuning, dedizierte private Endpoints, Platzierungen für Datenresidenz |
| Workstation | RTX PRO 6000 Blackwell, RTX 5090, RTX 3090, DGX Spark GB10, Radeon AI PRO R9700 | Die ständig verfügbare öffentliche API, Benchmarks über CUDA und ROCm, Modellentwicklung |
| Kundenstandort | DGX Spark GB10, kompakte AMD-Appliances | On-Premise- und Air-Gapped-Installationen auf identischem Stack |
Insgesamt meldet BroadNet rund 270 betriebene Modelle, rund 200 geladene Checkpoints, rund 40 Modellfamilien, 12 oder mehr Quantisierungsformate und 13 GPU-Familien. Außerdem heißt es: „a single H100 serves the entire current public catalogue with headroom“ (Übersetzung: eine einzige H100 bedient den gesamten aktuellen öffentlichen Katalog mit Reserve).
Welche API-Modelle laufen darauf?
Nicht alle. Die Datenschutzerklärung von BroadNet sagt, dass die eigenen Modelle und die gehosteten Open-Weight-Modelle auf Hardware in den USA laufen, die BroadNet gehört oder gemietet ist, mit Partnerkapazität als Reserve, und dass von Partnern bereitgestellte Modelle unter Zero-Data-Retention-Bedingungen bei US-Inferenzpartnern laufen. Die Nutzungsbedingungen nennen DeepSeek V4.1 Flash als von einem Partner gehostet.
Was die Seiten von BroadNet pro Modell sagen:
| Modell in der API | Von BroadNet genannte Hardware |
|---|---|
| Gemma 4 VL 26B | GPUs der NVIDIA-Blackwell-Klasse mit Hot Backup |
| Transcribe Arabic und Transcribe | NVIDIA-GPUs, von BroadNet in den USA betrieben |
| DeepSeek V4.1 Flash | Von einem Partner gehostet (Nutzungsbedingungen §7.3) |
| GLM 5.3, Qwen3.8 27B | Für API-Traffic nicht angegeben |
Wenn es für Sie zählt, wo Ihre Daten verarbeitet werden, fragen Sie BroadNet, bevor Sie sie senden. Laut der Inferenzseite ist regionale Verarbeitung in MENA oder Europa auf Anfrage möglich.
Wie schnell ist jede GPU?
BroadNet veröffentlicht den aggregierten Output-Durchsatz pro GPU für ein Modell, Qwen3-VL 30B A3B Instruct bei 32 gleichzeitigen Anfragen:
| GPU | Stufe | Speicherbandbreite | Aggregierte Tokens/s |
|---|---|---|---|
| B300 | Rechenzentrum | 8.000 GB/s | 14.500 |
| B200 | Rechenzentrum | 8.000 GB/s | 14.000 |
| H200 | Rechenzentrum | 4.800 GB/s | 8.400 |
| H100 | Rechenzentrum | 3.350 GB/s | 5.800 |
| A100 80 GB | Rechenzentrum | 2.039 GB/s | 3.500 |
| RTX PRO 6000 Blackwell | Workstation | 1.792 GB/s | 3.100 |
| RTX 3090 | Workstation | 936 GB/s | 1.630 |
| DGX Spark GB10 | Workstation | 273 GB/s | 1.597 |
| Radeon AI PRO R9700 | Workstation | 640 GB/s | 1.087 |
BroadNet merkt an, dass die Werte fürs Rechenzentrum „planning numbers from our measured per-GPU curve“ (Übersetzung: Planungszahlen aus unserer gemessenen Kurve pro GPU) sind, keine direkten Messungen auf jeder Karte. Die meisten Zeilen steigen mit der Speicherbandbreite, die beim Decoding meist die Grenze setzt, aber nicht alle: DGX Spark GB10 (273 GB/s) liegt fast gleichauf mit der RTX 3090 (936 GB/s), und die Radeon AI PRO R9700 (640 GB/s) liegt hinter beiden.
Was hat BroadNet nach eigenen Angaben von seiner Hardware gelernt?
Der Katalog listet acht Erkenntnisse, jede mit dem Vermerk „measured on our own hardware“ (Übersetzung: auf unserer eigenen Hardware gemessen). Die für API-Käufer wichtigsten:
- CUDA vs. ROCm. Mit denselben Modellen auf NVIDIA CUDA und AMD ROCm machte CUDA aus etwa doppelt so viel Speicherbandbreite Tokens; BroadNet verteilt Workloads entsprechend.
- Speculative Decoding unter Last. EAGLE3 kostete bei 32 gleichzeitigen Anfragen 69 % des Durchsatzes, daher blieb BroadNet bei Multi-Token-Prediction-Draftern. Die Uno-Serving-Studie misst denselben Effekt für eine andere Methode.
- Serving zählt so viel wie die Gewichte. Dieselben Gewichte von Gemma 4 26B schnitten bei einem gehosteten Anbieter im Schnitt um 0,13 schlechter ab als in dem, was BroadNet „our own serving“ (Übersetzung: unser eigenes Serving) nennt. Die Regel von BroadNet: Einen Herausforderer und seine Baseline auf demselben Serving betreiben, bevor man sie vergleicht.
- Ein kleineres aktives Modell kann gewinnen. Das 26B-Mixture-of-Experts-Modell schlug das dichte Gemma 4 31B in 5 von 6 Pipeline-Schritten, mit etwa einem Achtel der aktiven Parameter.
- Gleichstand mit Frontier-Modellen in einer Pipeline. In einer Blind-Evaluierung von 240 Traces erreichte das von BroadNet bereitgestellte Gemma 4 in fünf von sechs gemessenen Schritten das Niveau von Claude Sonnet, mit 1,2- bis 6,5-mal schnelleren Antworten pro Schritt.
- Geschwindigkeit pro Anfrage. Qwen3-VL 30B A3B lief nach Messung von BroadNet in dem, was BroadNet als sein eigenes Serving beschreibt, mit 36,5 bis 110 Tokens pro Sekunde pro Anfrage, gegenüber 7 bis 19 bei vier von BroadNet gemessenen OpenRouter-Anbietern.
- Architektur schlägt Modellwahl. Bei einem schwierigen Set, bei dem sich zwei lokale Vision-Modelle uneinig waren, hob die Eskalation an einen gehosteten Schiedsrichter die Genauigkeit von 1 von 12 auf 11 von 12.
Der Vergleich mit Sonnet ist die stärkste Behauptung, und sie ist eng gefasst: die Chatbot-Pipeline eines einzigen Unternehmens, blind von drei Juroren bewertet, an 240 Produktionsgesprächen von 11 Mandanten, laut der Gemma-4-Seite von BroadNet. Das heißt nicht, dass Gemma 4 allgemein mit Sonnet mithält. BroadNet hat auf seiner Forschungsseite keine vollständige Beschreibung dieser Evaluierung veröffentlicht.
Wie wird das Gemma-4-Modell bereitgestellt?
Gemma 4 VL 26B von BroadNet ist laut Modellseite das deutlichste Beispiel für die Serving-Entscheidungen des Unternehmens:
- Gewichte: Gemma 4 26B A4B von Google, von BroadNet auf 4-Bit-AWQ quantisiert. BroadNet hat NVFP4 getestet und nach einem direkten Vergleich ausgemustert.
- Decoding: Speculative Decoding per Multi-Token-Prediction mit zwei vorgeschlagenen Tokens (k=2) und einem KV-Cache in fp8.
- Template: ein Chat-Template, das BroadNet für seinen Konversations-Workflow abgestimmt hat.
- Ausfallsicherheit: ein Hot Backup mit automatischem Failover.
- Ergebnis: etwa 136 Tokens pro Sekunde bei einem einzelnen Stream und 90,86 in der internen Qualitäts-Testbatterie von BroadNet.
Die Begriffe erklären Quantisierung und Speculative Decoding.
Was bedeutet das für Sie?
Für Pay-as-you-go-Nutzer zeigen sich die Serving-Entscheidungen von BroadNet in der veröffentlichten Geschwindigkeit, typisch etwa 100 Tokens pro Sekunde beim Planmodell, und in den Limits: 30 Anfragen pro Minute und 4 gleichzeitig pro Schlüssel. Laut den Bedingungen von BroadNet gibt es für Self-Service keine Verfügbarkeitszusage; Service-Levels gibt es nur mit schriftlicher Vereinbarung. Wie die SLAs anderer Anbieter im Vergleich aussehen.
Für größere Anforderungen bietet BroadNet private Endpoints auf reservierten GPUs, mit Ihrem Modell, Schlüssel, Ihren Limits und Ihrer Region, sowie On-Premise-Appliances auf demselben Stack. Wenn Sie das gegen eigene gemietete GPUs abwägen, rechnet unser Leitfaden Self-Hosting vs. API-Kosten das durch, und die Modelle, die BroadNet ausgeschlossen hat zeigt, wie das Unternehmen ausgewählt hat, was es bereitstellt.
