„Wenn wir es selbst betreiben, sparen wir Geld“ ist eine der häufigsten Behauptungen in der Kostenplanung für LLMs und eine der am seltensten geprüften. Die Rechnung ist nicht schwer. Sie hat eine Variable, die oft falsch geschätzt wird (die Auslastung), und einen Kostenpunkt, der fehlt (die Menschen). Dieser Beitrag liefert die Formel, echte Mietpreise und einen Weg, sie mit Ihren eigenen Zahlen durchzurechnen.
Was kostet GPU-Miete aktuell?
Stundenpreise von offiziellen Preisseiten, abgerufen am 2026-11-14 (RunPod) und 2026-11-16 (Lambda). Ein Monat hat hier 730 Stunden.
| GPU | Anbieter und Stufe (geprüft am 2026-11-14) | Pro GPU-Stunde | Pro Monat, Dauerbetrieb |
|---|---|---|---|
| H100 SXM | RunPod Secure Cloud | 4,39 USD | etwa 3.205 USD |
| H100 SXM | RunPod Community Cloud | 2,69 USD | etwa 1.964 USD |
| H100 PCIe | RunPod Secure Cloud | 2,89 USD | etwa 2.110 USD |
| H200 | RunPod Secure Cloud | 5,29 USD | etwa 3.862 USD |
| A100 80GB SXM | RunPod Secure Cloud | 2,19 USD | etwa 1.599 USD |
| L40S | RunPod Secure Cloud | 1,09 USD | etwa 796 USD |
| H100 SXM | Lambda On-Demand, 1 bis 8 GPUs (gültig ab 2026-11-16; geprüft am 2026-11-16) | 4,59 bis 4,89 USD | etwa 3.351 bis 3.570 USD |
Laut Seite von Lambda (geprüft am 2026-11-16) gelten diese Preise ab dem 2026-11-16 um 00:00 UTC; der Satz pro GPU sinkt mit wachsender Knotengröße, auf 4,59 USD bei einem Knoten mit 8 GPUs. Die Preise der Community Cloud von RunPod sind „ab“-Preise, die je nach Host variieren. Secure und Community Cloud sind unterschiedliche Hosting-Stufen; lesen Sie also die Bedingungen der Stufe, wenn Sie Vorgaben zum Umgang mit Daten haben. Viele Modelle brauchen mehr als eine GPU: Ein H100-Knoten mit 8 GPUs kostet zum Satz der Secure Cloud etwa 25.638 USD pro Monat.
Wie berechnen Sie die Self-Hosting-Kosten pro Million Tokens?
Eine GPU erzeugt Tokens mit einer bestimmten Gesamtrate über alle Anfragen, die sie im Batch verarbeitet. Ihre Kosten pro Token sind der Stundenpreis, verteilt auf die Tokens, die sie tatsächlich erzeugt:
Kosten pro 1 Mio. Tokens = Stundenpreis ÷ (Tokens pro Sekunde gesamt × 3.600 ÷ 1.000.000) ÷ Auslastung
Die Auslastung ist der Anteil der Stunden, in denen die GPU mit dieser Rate nützliche Arbeit leistet. Ein Rechenbeispiel mit angenommenen Zahlen (kein Benchmark: Messen Sie Ihr eigenes Modell):
- GPU: eine H100 SXM in der Community Cloud, 2,69 USD pro Stunde.
- Angenommener Gesamt-Output: 1.500 Tokens pro Sekunde bei gutem Batching.
- Tokens pro Stunde unter Volllast: 1.500 × 3.600 = 5,4 Millionen.
| Auslastung | Effektive Tokens pro Stunde | Kosten pro 1 Mio. Output-Tokens |
|---|---|---|
| 100 % (immer ausgelastet) | 5,4 Mio. | 0,50 USD |
| 50 % | 2,7 Mio. | 1,00 USD |
| 25 % (nur zu Geschäftszeiten ausgelastet) | 1,35 Mio. | 1,99 USD |
| 10 % (schwankender Produkt-Traffic) | 0,54 Mio. | 4,98 USD |
Vergleichen Sie das nun mit einem API-Preis pro 1 Mio. Output-Tokens. Die Preistabelle für LLM-APIs zeigt, was Dutzende Hoster für dieselben offenen Gewichte verlangen; bei BroadNet Inference kostet DeepSeek V4.1 Flash $0.52 pro 1 Mio. Output-Tokens und Gemma 4 VL 26B $0.22. Suchen Sie die Zeile, in der Ihre Self-Hosting-Kosten unter den API-Preis fallen: Das ist Ihre Break-even-Auslastung. Das Beispiel ignoriert Input-Tokens, die ebenfalls GPU-Zeit kosten (Prefill); die tatsächlichen Self-Hosting-Kosten liegen also höher, als die Tabelle zeigt.
Wie viele Tokens pro Monat brauchen Sie für den Break-even?
Drehen Sie die Rechnung um. Eine durchlaufende GPU kostet in jedem Fall ihren Monatspreis. Die API kostet Tokens × Preis. Das Break-even-Volumen ist:
Tokens pro Monat für Break-even = monatliche GPU-Kosten ÷ API-Preis pro 1 Mio. Tokens × 1.000.000
Für eine H100 in der Community Cloud (etwa 1.964 USD pro Monat) gegenüber einem Output-Preis von $0.52 pro 1 Mio. teilen Sie 1.964 durch diesen Preis und erhalten die Millionen Output-Tokens pro Monat, die Sie ersetzen müssen, bevor sich die GPU rechnet. Machen Sie dasselbe mit Ihrem gemischten Input- und Output-Preis, wenn Ihr Workload Input-lastig ist, wie es bei Agenten meist der Fall ist; der Beitrag zu Flatrate vs. Abrechnung pro Token zeigt, wie Sie sie mischen.
Und diese GPU muss das Modell auch tatsächlich bedienen können. Braucht das Modell vier GPUs, multiplizieren Sie die Monatskosten mit vier, bevor Sie teilen.
Welche Kosten werden vergessen?
| Kosten | Was sie umfassen | Wie Sie sie zählen |
|---|---|---|
| Engineering-Setup | Serving-Engine, Wahl der Quantisierung, Autoscaling, Lasttests | Einmalige Stunden × Ihr Satz |
| Laufender Betrieb | Upgrades, Treiber- und Engine-Updates, Modellaktualisierungen | Stunden pro Monat × Ihr Satz |
| Bereitschaftsdienst | Jemand wird geweckt, wenn der Knoten ausfällt | Ihre Bereitschaftsregelung |
| Redundanz | Ein zweiter Knoten, damit ein Ausfall kein Ausfall des Dienstes ist | Verdoppelt die GPU-Zeile |
| Reserve im Leerlauf | Kapazität für Spitzen, die Sie warm halten müssen | Senkt die Auslastung |
| Evaluierung | Eine neue Modellversion vor dem Wechsel prüfen | Stunden pro Release |
Die Redundanz verändert das Ergebnis am stärksten. Eine einzelne GPU ist ein Single Point of Failure. Zwei GPUs halbieren Ihre Auslastung über Nacht. Siehe ein Modell vor dem Wechsel evaluieren für die Evaluierungsarbeit, die jedes Upgrade mit sich bringt.
Wann ist Self-Hosting die richtige Wahl?
- Gleichmäßiges, hohes Volumen. Batch-Pipelines, die GPUs rund um die Uhr auslasten.
- Daten müssen in Ihrem Netzwerk bleiben. Eine harte Anforderung, kein Kostenargument. Prüfen Sie zuerst, ob eine API mit Zero Data Retention Ihre Vorgaben erfüllt.
- Ein Modell, das keine API anbietet. Ihr eigenes Fine-Tune oder ein Nischen-Open-Weight-Modell.
- Garantierte Kapazität. Sie brauchen Durchsatz, den Ihnen die Rate Limits einer API nicht geben.
Für alles andere, besonders schwankenden Traffic, frühe Produkte und Agenten, die in Schüben laufen, ist eine API günstiger und braucht keinen Bereitschaftsplan.
Gibt es Festpreis-Optionen zwischen GPU und Abrechnung pro Token?
Zwischen GPU-Miete und Bezahlung pro Token gibt es einen Mittelweg. BroadNet verkauft einen Stundenschlüssel für Gemma 4 VL 26B für $0.50 pro Stunde (ein Stream, 120 Anfragen pro Minute, 300,000 Tokens pro Minute), das sind $360.00, wenn Sie ihn den ganzen Monat laufen lassen. Außerdem verkauft es unbegrenzte Plan-Sessions für DeepSeek V4.1 Flash für $60 pro Monat, die jeweils eine Anfrage gleichzeitig bei etwa 100 Tokens pro Sekunde verarbeiten. Diese bieten eine planbare Rechnung wie eine gemietete GPU, ohne Setup oder Betrieb, aber mit fester Parallelität pro Schlüssel oder Session statt der Batch-Kapazität einer ganzen GPU.
Wo BroadNet Inference passt
BroadNet Inference ist die API-Seite dieses Vergleichs: Preise pro Token, Flatrate-Pläne und Stundenschlüssel für Open-Weight-Modelle, einige davon bei US-Inferenzpartnern gehostet, hinter einer OpenAI-kompatiblen API. Es passt zu Teams, deren Traffic eine gemietete GPU einen Großteil des Tages leerlaufen ließe oder die keine Inferenz-Infrastruktur betreiben wollen. Es passt nicht, wenn Sie ein eigenes Fine-Tune bereitgestellt brauchen, ein On-Premises-Deployment oder Hunderte paralleler Anfragen über einen Schlüssel. Rechnen Sie Ihre Zahlen im LLM-API-Kostenrechner durch und vergleichen Sie mit der Tabelle oben. Wenn Sie noch zwischen offenen und geschlossenen Modellen wählen, vergleicht API-Kosten offener vs. geschlossener Modelle die Preise pro Token von der jeweiligen Anbieterseite. Der Rechner Self-Hosting vs. API erledigt den gesamten Break-even mit Ihrem gemessenen Durchsatz und diesen GPU-Preisen.
