---
title: "BroadNet: GPU-Hardware und Serving laut BroadNet | BroadRouter"
description: "Was BroadNet über die Hardware hinter BroadNet Inference sagt: drei GPU-Stufen von B300 bis Kunden-Appliance, Durchsatz pro GPU und Erkenntnisse aus den Tests."
url: https://broadrouter.com/de/blog/broadnet-gpu-fleet-and-serving/
lang: de
updated: 2026-11-15
publisher: BroadRouter (a BroadNet site); API by BroadNet Inference, https://inference.broadnet.ai
---

Mit KI-Unterstützung aus dem Englischen übersetzt. [Englisches Original lesen](https://broadrouter.com/blog/broadnet-gpu-fleet-and-serving/) (aktualisiert am 2026-11-16).

# GPU-Hardware und Serving von BroadNet, wie BroadNet sie beschreibt

Vom Team von BroadNet Inference · 5 Min. Lesezeit · Veröffentlicht 2026-11-15 · Aktualisiert 2026-11-16

Laut BroadNet läuft ein einziger Serving-Stack auf drei Hardware-Stufen: Rechenzentrums-GPUs von A100 bis B300, eine Workstation-Stufe mit RTX- und DGX-Spark-Karten, die die ständig verfügbare öffentliche API trägt, und Appliances beim Kunden. BroadNet meldet rund 270 betriebene Modelle auf 13 GPU-Familien, NVIDIA und AMD. Manche API-Modelle werden stattdessen von US-Inferenzpartnern bereitgestellt.

## Das Wichtigste in Kürze

-   Drei Stufen, ein Stack: Rechenzentrum (B300, B200, H200, H100, A100), Workstation (RTX PRO 6000, RTX 5090, RTX 3090, DGX Spark GB10, Radeon AI PRO R9700) und Kundenstandort.
-   Laut BroadNet trägt die Workstation-Stufe die ständig verfügbare öffentliche API; Rechenzentrums-GPUs übernehmen Flaggschiff-Serving, Fine-Tuning und private Endpoints.
-   Ihr gemessenes Ergebnis: NVIDIA CUDA macht bei denselben Modellen aus etwa doppelt so viel Speicherbandbreite Tokens wie AMD ROCm.
-   Serving zählt so viel wie die Gewichte: Laut BroadNet schnitten dieselben Gewichte von Gemma 4 26B bei einem gehosteten Anbieter um 0,13 schlechter ab als in dem, was BroadNet sein eigenes Serving nennt.
-   Nicht jedes API-Modell läuft auf Hardware, die BroadNet als eigene bezeichnet: Laut den Bedingungen von BroadNet wird DeepSeek V4.1 Flash von einem Partner gehostet.

**Auf dieser Seite**

1.  Welche Hardware betreibt BroadNet nach eigenen Angaben?
2.  Welche API-Modelle laufen darauf?
3.  Wie schnell ist jede GPU?
4.  Was hat BroadNet nach eigenen Angaben von seiner Hardware gelernt?
5.  Wie wird das Gemma-4-Modell bereitgestellt?
6.  Was bedeutet das für Sie?

BroadNet beschreibt seine Inferenz-Hardware ungewöhnlich detailliert. Der [Modellkatalog](https://www.broadnet.ai/inference/models) listet die GPUs, die BroadNet nach eigenen Angaben betreibt, den gemessenen Durchsatz pro Karte und was das Unternehmen daraus gelernt hat, dieselben Modelle auf allen Karten zu betreiben. Diese Seite fasst zusammen, was BroadNet sagt, an den wichtigen Stellen in seinen eigenen Worten. Wir haben die Hardware nicht selbst begutachtet, und die Messungen stammen von BroadNet selbst, aus dem September 2026.

## Welche Hardware betreibt BroadNet nach eigenen Angaben?

Laut BroadNet gilt „one fleet, three tiers, one stack“ (Übersetzung: eine Flotte, drei Stufen, ein Stack): dieselben Engines, Quantisierungen und dasselbe Gateway, von Rechenzentrums-Beschleunigern bis hinunter zu Appliances beim Kunden.

| Stufe | Von BroadNet genannte GPUs | Wofür BroadNet sie nutzt |
| --- | --- | --- |
| Rechenzentrum | B300, B200, H200, H100, A100 80 GB | Flaggschiff-Serving, Quantisierung und Kalibrierung, Fine-Tuning, dedizierte private Endpoints, Platzierungen für Datenresidenz |
| Workstation | RTX PRO 6000 Blackwell, RTX 5090, RTX 3090, DGX Spark GB10, Radeon AI PRO R9700 | Die ständig verfügbare öffentliche API, Benchmarks über CUDA und ROCm, Modellentwicklung |
| Kundenstandort | DGX Spark GB10, kompakte AMD-Appliances | On-Premise- und Air-Gapped-Installationen auf identischem Stack |

Insgesamt meldet BroadNet rund 270 betriebene Modelle, rund 200 geladene Checkpoints, rund 40 Modellfamilien, 12 oder mehr Quantisierungsformate und 13 GPU-Familien. Außerdem heißt es: „a single H100 serves the entire current public catalogue with headroom“ (Übersetzung: eine einzige H100 bedient den gesamten aktuellen öffentlichen Katalog mit Reserve).

## Welche API-Modelle laufen darauf?

Nicht alle. Die [Datenschutzerklärung](https://www.broadnet.ai/inference-privacy) von BroadNet sagt, dass die eigenen Modelle und die gehosteten Open-Weight-Modelle auf Hardware in den USA laufen, die BroadNet gehört oder gemietet ist, mit Partnerkapazität als Reserve, und dass von Partnern bereitgestellte Modelle unter Zero-Data-Retention-Bedingungen bei US-Inferenzpartnern laufen. Die [Nutzungsbedingungen](https://www.broadnet.ai/terms) nennen [DeepSeek V4.1 Flash](https://broadrouter.com/de/models/deepseek-v4.1-flash/) als von einem Partner gehostet.

Was die Seiten von BroadNet pro Modell sagen:

| Modell in der API | Von BroadNet genannte Hardware |
| --- | --- |
| [Gemma 4 VL 26B](https://broadrouter.com/de/models/gemma-4-vl-26b/) | GPUs der NVIDIA-Blackwell-Klasse mit Hot Backup |
| [Transcribe Arabic](https://broadrouter.com/de/models/cohere-transcribe-arabic/) und [Transcribe](https://broadrouter.com/de/models/cohere-transcribe/) | NVIDIA-GPUs, von BroadNet in den USA betrieben |
| DeepSeek V4.1 Flash | Von einem Partner gehostet (Nutzungsbedingungen §7.3) |
| GLM 5.3, Qwen3.8 27B | Für API-Traffic nicht angegeben |

Wenn es für Sie zählt, wo Ihre Daten verarbeitet werden, fragen Sie BroadNet, bevor Sie sie senden. Laut der Inferenzseite ist regionale Verarbeitung in MENA oder Europa auf Anfrage möglich.

## Wie schnell ist jede GPU?

BroadNet veröffentlicht den aggregierten Output-Durchsatz pro GPU für ein Modell, Qwen3-VL 30B A3B Instruct bei 32 gleichzeitigen Anfragen:

| GPU | Stufe | Speicherbandbreite | Aggregierte Tokens/s |
| --- | --- | --- | --- |
| B300 | Rechenzentrum | 8.000 GB/s | 14.500 |
| B200 | Rechenzentrum | 8.000 GB/s | 14.000 |
| H200 | Rechenzentrum | 4.800 GB/s | 8.400 |
| H100 | Rechenzentrum | 3.350 GB/s | 5.800 |
| A100 80 GB | Rechenzentrum | 2.039 GB/s | 3.500 |
| RTX PRO 6000 Blackwell | Workstation | 1.792 GB/s | 3.100 |
| RTX 3090 | Workstation | 936 GB/s | 1.630 |
| DGX Spark GB10 | Workstation | 273 GB/s | 1.597 |
| Radeon AI PRO R9700 | Workstation | 640 GB/s | 1.087 |

BroadNet merkt an, dass die Werte fürs Rechenzentrum „planning numbers from our measured per-GPU curve“ (Übersetzung: Planungszahlen aus unserer gemessenen Kurve pro GPU) sind, keine direkten Messungen auf jeder Karte. Die meisten Zeilen steigen mit der Speicherbandbreite, die beim Decoding meist die Grenze setzt, aber nicht alle: DGX Spark GB10 (273 GB/s) liegt fast gleichauf mit der RTX 3090 (936 GB/s), und die Radeon AI PRO R9700 (640 GB/s) liegt hinter beiden.

## Was hat BroadNet nach eigenen Angaben von seiner Hardware gelernt?

Der Katalog listet acht Erkenntnisse, jede mit dem Vermerk „measured on our own hardware“ (Übersetzung: auf unserer eigenen Hardware gemessen). Die für API-Käufer wichtigsten:

-   **CUDA vs. ROCm.** Mit denselben Modellen auf NVIDIA CUDA und AMD ROCm machte CUDA aus etwa doppelt so viel Speicherbandbreite Tokens; BroadNet verteilt Workloads entsprechend.
-   **Speculative Decoding unter Last.** EAGLE3 kostete bei 32 gleichzeitigen Anfragen 69 % des Durchsatzes, daher blieb BroadNet bei Multi-Token-Prediction-Draftern. Die [Uno-Serving-Studie](https://broadrouter.com/de/blog/uno-in-vllm-serving-study/) misst denselben Effekt für eine andere Methode.
-   **Serving zählt so viel wie die Gewichte.** Dieselben Gewichte von Gemma 4 26B schnitten bei einem gehosteten Anbieter im Schnitt um 0,13 schlechter ab als in dem, was BroadNet „our own serving“ (Übersetzung: unser eigenes Serving) nennt. Die Regel von BroadNet: Einen Herausforderer und seine Baseline auf demselben Serving betreiben, bevor man sie vergleicht.
-   **Ein kleineres aktives Modell kann gewinnen.** Das 26B-Mixture-of-Experts-Modell schlug das dichte Gemma 4 31B in 5 von 6 Pipeline-Schritten, mit etwa einem Achtel der aktiven Parameter.
-   **Gleichstand mit Frontier-Modellen in einer Pipeline.** In einer Blind-Evaluierung von 240 Traces erreichte das von BroadNet bereitgestellte Gemma 4 in fünf von sechs gemessenen Schritten das Niveau von Claude Sonnet, mit 1,2- bis 6,5-mal schnelleren Antworten pro Schritt.
-   **Geschwindigkeit pro Anfrage.** Qwen3-VL 30B A3B lief nach Messung von BroadNet in dem, was BroadNet als sein eigenes Serving beschreibt, mit 36,5 bis 110 Tokens pro Sekunde pro Anfrage, gegenüber 7 bis 19 bei vier von BroadNet gemessenen OpenRouter-Anbietern.
-   **Architektur schlägt Modellwahl.** Bei einem schwierigen Set, bei dem sich zwei lokale Vision-Modelle uneinig waren, hob die Eskalation an einen gehosteten Schiedsrichter die Genauigkeit von 1 von 12 auf 11 von 12.

Der Vergleich mit Sonnet ist die stärkste Behauptung, und sie ist eng gefasst: die Chatbot-Pipeline eines einzigen Unternehmens, blind von drei Juroren bewertet, an 240 Produktionsgesprächen von 11 Mandanten, laut der [Gemma-4-Seite](https://www.broadnet.ai/inference/models/gemma-4-vl-26b) von BroadNet. Das heißt nicht, dass Gemma 4 allgemein mit Sonnet mithält. BroadNet hat auf seiner Forschungsseite keine vollständige Beschreibung dieser Evaluierung veröffentlicht.

## Wie wird das Gemma-4-Modell bereitgestellt?

Gemma 4 VL 26B von BroadNet ist laut Modellseite das deutlichste Beispiel für die Serving-Entscheidungen des Unternehmens:

-   **Gewichte:** Gemma 4 26B A4B von Google, von BroadNet auf 4-Bit-AWQ quantisiert. BroadNet hat NVFP4 getestet und nach einem direkten Vergleich ausgemustert.
-   **Decoding:** Speculative Decoding per Multi-Token-Prediction mit zwei vorgeschlagenen Tokens (k=2) und einem [KV-Cache](https://broadrouter.com/de/glossary/kv-cache/) in fp8.
-   **Template:** ein Chat-Template, das BroadNet für seinen Konversations-Workflow abgestimmt hat.
-   **Ausfallsicherheit:** ein Hot Backup mit automatischem Failover.
-   **Ergebnis:** etwa 136 Tokens pro Sekunde bei einem einzelnen Stream und 90,86 in der internen Qualitäts-Testbatterie von BroadNet.

Die Begriffe erklären [Quantisierung](https://broadrouter.com/de/glossary/quantization/) und [Speculative Decoding](https://broadrouter.com/de/glossary/speculative-decoding/).

## Was bedeutet das für Sie?

Für Pay-as-you-go-Nutzer zeigen sich die Serving-Entscheidungen von BroadNet in der veröffentlichten Geschwindigkeit, typisch etwa 100 Tokens pro Sekunde beim Planmodell, und in den Limits: 30 Anfragen pro Minute und 4 gleichzeitig pro Schlüssel. Laut den Bedingungen von BroadNet gibt es für Self-Service keine Verfügbarkeitszusage; Service-Levels gibt es nur mit schriftlicher Vereinbarung. [Wie die SLAs anderer Anbieter im Vergleich aussehen](https://broadrouter.com/de/blog/llm-api-sla-uptime-compared/).

Für größere Anforderungen bietet BroadNet private Endpoints auf reservierten GPUs, mit Ihrem Modell, Schlüssel, Ihren Limits und Ihrer Region, sowie On-Premise-Appliances auf demselben Stack. Wenn Sie das gegen eigene gemietete GPUs abwägen, rechnet unser [Leitfaden Self-Hosting vs. API-Kosten](https://broadrouter.com/de/blog/self-hosting-llm-vs-api-cost/) das durch, und [die Modelle, die BroadNet ausgeschlossen hat](https://broadrouter.com/de/blog/models-broadnet-ruled-out/) zeigt, wie das Unternehmen ausgewählt hat, was es bereitstellt.

Kostenlose Tools zum Thema (auf Englisch)

-   [OpenAI to BroadNet migration helper](https://broadrouter.com/tools/openai-to-broadnet-migration/) Paste OpenAI SDK code; get base URL, key and model edits, a diff and the checks that remain.
-   [max\_tokens calculator for reasoning models](https://broadrouter.com/tools/reasoning-token-budget/) Answer length + reasoning budget + margin = a max\_tokens that does not cut the answer off.
-   [JSON schema generator for LLM structured output](https://broadrouter.com/tools/json-schema-generator/) Sample JSON to strict schema, Pydantic, Zod and a ready request.
-   [LLM JSON output validator](https://broadrouter.com/tools/llm-json-output-validator/) Parse errors by line and column, safe repairs, cut-off detection and JSON Schema checks for model output.

[Kostenlose Tools (auf Englisch)](https://broadrouter.com/tools/)

## Begriffe in diesem Artikel

[Token](https://broadrouter.com/de/glossary/token/)

Ein Token ist die Texteinheit, die ein Sprachmodell liest und schreibt: ein Wort, ein Wortteil, ein Satzzeichen oder eine Bytefolge, die der Tokenizer des Modells erzeugt. LLM-APIs zählen, begrenzen und berechnen die Nutzung meist in Tokens.

[Speculative Decoding (spekulatives Dekodieren)](https://broadrouter.com/de/glossary/speculative-decoding/)

Speculative Decoding ist eine Inferenztechnik, bei der ein kleines, schnelles Draft-Modell mehrere nächste Tokens vorschlägt und das große Zielmodell sie in einem einzigen Forward Pass prüft und die akzeptierten behält. Das beschleunigt die Generierung, ohne die Verteilung der Ausgabe zu verändern.

[Quantisierung (Quantization)](https://broadrouter.com/de/glossary/quantization/)

Quantisierung bedeutet, die Zahlen eines neuronalen Netzes, vor allem seine Gewichte, in einem Format mit geringerer Präzision wie 8 oder 4 Bit statt 16 Bit zu speichern, damit das Modell weniger Speicher braucht und oft schneller läuft. Gute Verfahren halten den Genauigkeitsverlust klein.

[Fine-Tuning (Feinabstimmung)](https://broadrouter.com/de/glossary/fine-tuning/)

Fine-Tuning ist das Weitertrainieren eines vortrainierten Sprachmodells mit einem kleineren, aufgabenspezifischen Datensatz, etwa Beispielgesprächen, sodass sich seine Gewichte ändern und es diese Aufgabe oder diesen Stil zuverlässiger beherrscht, ohne lange Anweisungen oder Beispiele in jedem Prompt.

[KV-Cache](https://broadrouter.com/de/glossary/kv-cache/)

Ein KV-Cache ist der Speicher, in dem ein Transformer-Sprachmodell die Attention-Keys und -Values aller bereits verarbeiteten Tokens ablegt, damit jedes neue Token sie wiederverwendet, statt die ganze Sequenz neu zu berechnen. Er wächst mit der Kontextlänge und begrenzt oft, wie viele Anfragen eine GPU bedienen kann.

[Pay-as-you-go](https://broadrouter.com/de/glossary/pay-as-you-go/)

Pay-as-you-go ist ein Preismodell, bei dem Sie nur für tatsächliche Nutzung zahlen, gemessen pro Einheit wie Tokens, Anfragen oder Audiominuten, ohne Abonnement oder Mindestabnahme. Die meisten LLM-APIs rechnen so ab, aus einem vorausbezahlten Guthaben oder per regelmäßiger Rechnung.

[Rate Limit (Ratenbegrenzung)](https://broadrouter.com/de/glossary/rate-limit/)

Ein Rate Limit ist eine Obergrenze, die eine API festlegt, wie stark ein Client sie in einem Zeitfenster nutzen darf, etwa Anfragen pro Minute oder Tokens pro Minute. Anfragen über dem Limit werden abgelehnt, meist mit HTTP 429 Too Many Requests, bis die Nutzung wieder darunter liegt.

[Tokens pro Sekunde (TPS)](https://broadrouter.com/de/glossary/tokens-per-second/)

Tokens pro Sekunde (TPS) sind die Rate, mit der ein Sprachmodell Output-Tokens erzeugt, meist gemessen für eine Anfrage nach Ankunft ihres ersten Tokens. Sie bestimmen, wie schnell eine Antwort streamt, sobald sie begonnen hat. Über alle gleichzeitigen Anfragen addiert ergibt sich der Systemdurchsatz; die Wartezeit bis zum ersten Token wird getrennt gemessen.

## Häufige Fragen

### Betreibt BroadNet eigene GPUs?

Laut BroadNet betreibt das Unternehmen eine eigene GPU-Flotte von NVIDIA und AMD. Die Datenschutzerklärung sagt, dass die eigenen Modelle und die gehosteten Open-Weight-Modelle auf Hardware in den USA laufen, die BroadNet gehört oder gemietet ist, mit Partnerkapazität als Reserve. Von Partnern bereitgestellte Modelle wie DeepSeek V4.1 Flash laufen bei US-Inferenzpartnern.

### Welche GPU bedient die öffentliche API?

Der Katalog von BroadNet ordnet „the always-on public API“ (Übersetzung: die ständig verfügbare öffentliche API) der Workstation-Stufe zu (RTX PRO 6000 Blackwell, RTX 5090, RTX 3090, DGX Spark GB10, Radeon AI PRO R9700). Die Seite zu Gemma 4 nennt GPUs der NVIDIA-Blackwell-Klasse mit Hot Backup.

### Gibt es ein veröffentlichtes Uptime-SLA?

Für Self-Service nicht. Laut den Nutzungsbedingungen von BroadNet gibt es für Self-Service keine Verfügbarkeitszusage; Service-Levels gibt es nur in einer separaten schriftlichen Vereinbarung, etwa für einen privaten Endpoint.

### Kann ich eine dedizierte GPU bekommen?

Ja. BroadNet bietet private Endpoints auf einer reservierten GPU oder einem reservierten Node, mit Modell Ihrer Wahl, eigenem Schlüssel und Limits sowie der benötigten Region. Der Preis richtet sich auf Anfrage nach Ihrem Traffic.

### Kann BroadNet Modelle bei mir vor Ort betreiben?

Laut BroadNet läuft auf der Stufe am Kundenstandort derselbe Stack auf DGX Spark GB10 und kompakten AMD-Appliances, für On-Premise- und Air-Gapped-Installationen.

## Weiterlesen

-   [Welche Modelle BroadNet getestet und aussortiert hat, und warum](https://broadrouter.com/de/blog/models-broadnet-ruled-out/)
-   [Uno in vLLM: was die Serving-Studie von BroadNet gemessen hat](https://broadrouter.com/de/blog/uno-in-vllm-serving-study/)
-   [Uno auf Gemma 4 26B: die Mixture-of-Experts-Studie von BroadNet](https://broadrouter.com/de/blog/uno-mixture-of-experts-gemma-4-study/)
-   [LLM selbst hosten oder API: echte Kosten und Break-even](https://broadrouter.com/de/blog/self-hosting-llm-vs-api-cost/)
-   [LLM-Latenz: TTFT vs. Tokens pro Sekunde vs. End-to-End-Zeit](https://broadrouter.com/de/blog/llm-latency-ttft-throughput/)
-   [LLM-Antworten cachen, Kosten senken: ein Exact-Match-Cache in Python](https://broadrouter.com/de/blog/cache-llm-responses-cut-cost/)
-   [Menschliche Prüfung als festen Teil Ihres Dokumenten-KI-Workflows](https://broadrouter.com/de/blog/document-review-queues/)
-   [Anleitung: BroadNet Inference im Browser testen, ohne Konto](https://broadrouter.com/de/guides/try-broadnet-inference-playground/)

Testen Sie es mit Ihrem echten Workload. Neue Konten starten mit USD 5 Guthaben für Gemma und Transkription. DeepSeek, GLM und Qwen3.8 erfordern eine Aufladung.

[Loslegen](https://inference.broadnet.ai/account/?utm_source=broadrouter&utm_medium=referral&utm_campaign=de-blog-broadnet-gpu-fleet-and-serving&utm_content=page-cta) ·

**Quellen**

-   [Modellkatalog von BroadNet: Kapazität, Durchsatz pro GPU und Hardware-Erkenntnisse (gemessen im September 2026; abgerufen am 2026-11-15) (auf Englisch)](https://www.broadnet.ai/inference/models)
-   [Modellseite von BroadNet zu Gemma 4 VL 26B: Serving-Konfiguration und Blind-Evaluierung (abgerufen am 2026-11-15) (auf Englisch)](https://www.broadnet.ai/inference/models/gemma-4-vl-26b)
-   [Datenschutzerklärung von BroadNet Inference: wo die Verarbeitung stattfindet (abgerufen am 2026-11-15) (auf Englisch)](https://www.broadnet.ai/inference-privacy)
-   [Nutzungsbedingungen von BroadNet, §7.3 und §7.4: Hosting durch Partner und Verfügbarkeit (abgerufen am 2026-11-15) (auf Englisch)](https://www.broadnet.ai/terms)
-   [BroadNet Research: offene Ergebnisse aus dem eigenen Labor (abgerufen am 2026-11-15) (auf Englisch)](https://www.broadnet.ai/research)
