BroadRouter

LLM selbst hosten oder API: echte Kosten und Break-even

Vom Team von BroadNet Inference · 5 Min. Lesezeit · Veröffentlicht · Aktualisiert

Eine gemietete GPU kostet pro Stunde gleich viel, ob ausgelastet oder im Leerlauf; Self-Hosting schlägt eine API daher nur bei hoher, gleichmäßiger Auslastung. Teilen Sie den Stundenpreis durch die Tokens, die der Server tatsächlich pro Stunde erzeugt, addieren Sie Engineering- und Bereitschaftszeit und vergleichen Sie mit dem API-Preis pro 1 Mio. Tokens. Bei schwankendem oder moderatem Traffic gewinnt fast immer die API.

„Wenn wir es selbst betreiben, sparen wir Geld“ ist eine der häufigsten Behauptungen in der Kostenplanung für LLMs und eine der am seltensten geprüften. Die Rechnung ist nicht schwer. Sie hat eine Variable, die oft falsch geschätzt wird (die Auslastung), und einen Kostenpunkt, der fehlt (die Menschen). Dieser Beitrag liefert die Formel, echte Mietpreise und einen Weg, sie mit Ihren eigenen Zahlen durchzurechnen.

Was kostet GPU-Miete aktuell?

Stundenpreise von offiziellen Preisseiten, abgerufen am 2026-11-14 (RunPod) und 2026-11-16 (Lambda). Ein Monat hat hier 730 Stunden.

GPU Anbieter und Stufe (geprüft am 2026-11-14) Pro GPU-Stunde Pro Monat, Dauerbetrieb
H100 SXM RunPod Secure Cloud 4,39 USD etwa 3.205 USD
H100 SXM RunPod Community Cloud 2,69 USD etwa 1.964 USD
H100 PCIe RunPod Secure Cloud 2,89 USD etwa 2.110 USD
H200 RunPod Secure Cloud 5,29 USD etwa 3.862 USD
A100 80GB SXM RunPod Secure Cloud 2,19 USD etwa 1.599 USD
L40S RunPod Secure Cloud 1,09 USD etwa 796 USD
H100 SXM Lambda On-Demand, 1 bis 8 GPUs (gültig ab 2026-11-16; geprüft am 2026-11-16) 4,59 bis 4,89 USD etwa 3.351 bis 3.570 USD

Laut Seite von Lambda (geprüft am 2026-11-16) gelten diese Preise ab dem 2026-11-16 um 00:00 UTC; der Satz pro GPU sinkt mit wachsender Knotengröße, auf 4,59 USD bei einem Knoten mit 8 GPUs. Die Preise der Community Cloud von RunPod sind „ab“-Preise, die je nach Host variieren. Secure und Community Cloud sind unterschiedliche Hosting-Stufen; lesen Sie also die Bedingungen der Stufe, wenn Sie Vorgaben zum Umgang mit Daten haben. Viele Modelle brauchen mehr als eine GPU: Ein H100-Knoten mit 8 GPUs kostet zum Satz der Secure Cloud etwa 25.638 USD pro Monat.

Wie berechnen Sie die Self-Hosting-Kosten pro Million Tokens?

Eine GPU erzeugt Tokens mit einer bestimmten Gesamtrate über alle Anfragen, die sie im Batch verarbeitet. Ihre Kosten pro Token sind der Stundenpreis, verteilt auf die Tokens, die sie tatsächlich erzeugt:

Kosten pro 1 Mio. Tokens = Stundenpreis ÷ (Tokens pro Sekunde gesamt × 3.600 ÷ 1.000.000) ÷ Auslastung

Die Auslastung ist der Anteil der Stunden, in denen die GPU mit dieser Rate nützliche Arbeit leistet. Ein Rechenbeispiel mit angenommenen Zahlen (kein Benchmark: Messen Sie Ihr eigenes Modell):

  • GPU: eine H100 SXM in der Community Cloud, 2,69 USD pro Stunde.
  • Angenommener Gesamt-Output: 1.500 Tokens pro Sekunde bei gutem Batching.
  • Tokens pro Stunde unter Volllast: 1.500 × 3.600 = 5,4 Millionen.
Auslastung Effektive Tokens pro Stunde Kosten pro 1 Mio. Output-Tokens
100 % (immer ausgelastet) 5,4 Mio. 0,50 USD
50 % 2,7 Mio. 1,00 USD
25 % (nur zu Geschäftszeiten ausgelastet) 1,35 Mio. 1,99 USD
10 % (schwankender Produkt-Traffic) 0,54 Mio. 4,98 USD

Vergleichen Sie das nun mit einem API-Preis pro 1 Mio. Output-Tokens. Die Preistabelle für LLM-APIs zeigt, was Dutzende Hoster für dieselben offenen Gewichte verlangen; bei BroadNet Inference kostet DeepSeek V4.1 Flash $0.52 pro 1 Mio. Output-Tokens und Gemma 4 VL 26B $0.22. Suchen Sie die Zeile, in der Ihre Self-Hosting-Kosten unter den API-Preis fallen: Das ist Ihre Break-even-Auslastung. Das Beispiel ignoriert Input-Tokens, die ebenfalls GPU-Zeit kosten (Prefill); die tatsächlichen Self-Hosting-Kosten liegen also höher, als die Tabelle zeigt.

Wie viele Tokens pro Monat brauchen Sie für den Break-even?

Drehen Sie die Rechnung um. Eine durchlaufende GPU kostet in jedem Fall ihren Monatspreis. Die API kostet Tokens × Preis. Das Break-even-Volumen ist:

Tokens pro Monat für Break-even = monatliche GPU-Kosten ÷ API-Preis pro 1 Mio. Tokens × 1.000.000

Für eine H100 in der Community Cloud (etwa 1.964 USD pro Monat) gegenüber einem Output-Preis von $0.52 pro 1 Mio. teilen Sie 1.964 durch diesen Preis und erhalten die Millionen Output-Tokens pro Monat, die Sie ersetzen müssen, bevor sich die GPU rechnet. Machen Sie dasselbe mit Ihrem gemischten Input- und Output-Preis, wenn Ihr Workload Input-lastig ist, wie es bei Agenten meist der Fall ist; der Beitrag zu Flatrate vs. Abrechnung pro Token zeigt, wie Sie sie mischen.

Und diese GPU muss das Modell auch tatsächlich bedienen können. Braucht das Modell vier GPUs, multiplizieren Sie die Monatskosten mit vier, bevor Sie teilen.

Welche Kosten werden vergessen?

Kosten Was sie umfassen Wie Sie sie zählen
Engineering-Setup Serving-Engine, Wahl der Quantisierung, Autoscaling, Lasttests Einmalige Stunden × Ihr Satz
Laufender Betrieb Upgrades, Treiber- und Engine-Updates, Modellaktualisierungen Stunden pro Monat × Ihr Satz
Bereitschaftsdienst Jemand wird geweckt, wenn der Knoten ausfällt Ihre Bereitschaftsregelung
Redundanz Ein zweiter Knoten, damit ein Ausfall kein Ausfall des Dienstes ist Verdoppelt die GPU-Zeile
Reserve im Leerlauf Kapazität für Spitzen, die Sie warm halten müssen Senkt die Auslastung
Evaluierung Eine neue Modellversion vor dem Wechsel prüfen Stunden pro Release

Die Redundanz verändert das Ergebnis am stärksten. Eine einzelne GPU ist ein Single Point of Failure. Zwei GPUs halbieren Ihre Auslastung über Nacht. Siehe ein Modell vor dem Wechsel evaluieren für die Evaluierungsarbeit, die jedes Upgrade mit sich bringt.

Wann ist Self-Hosting die richtige Wahl?

  • Gleichmäßiges, hohes Volumen. Batch-Pipelines, die GPUs rund um die Uhr auslasten.
  • Daten müssen in Ihrem Netzwerk bleiben. Eine harte Anforderung, kein Kostenargument. Prüfen Sie zuerst, ob eine API mit Zero Data Retention Ihre Vorgaben erfüllt.
  • Ein Modell, das keine API anbietet. Ihr eigenes Fine-Tune oder ein Nischen-Open-Weight-Modell.
  • Garantierte Kapazität. Sie brauchen Durchsatz, den Ihnen die Rate Limits einer API nicht geben.

Für alles andere, besonders schwankenden Traffic, frühe Produkte und Agenten, die in Schüben laufen, ist eine API günstiger und braucht keinen Bereitschaftsplan.

Gibt es Festpreis-Optionen zwischen GPU und Abrechnung pro Token?

Zwischen GPU-Miete und Bezahlung pro Token gibt es einen Mittelweg. BroadNet verkauft einen Stundenschlüssel für Gemma 4 VL 26B für $0.50 pro Stunde (ein Stream, 120 Anfragen pro Minute, 300,000 Tokens pro Minute), das sind $360.00, wenn Sie ihn den ganzen Monat laufen lassen. Außerdem verkauft es unbegrenzte Plan-Sessions für DeepSeek V4.1 Flash für $60 pro Monat, die jeweils eine Anfrage gleichzeitig bei etwa 100 Tokens pro Sekunde verarbeiten. Diese bieten eine planbare Rechnung wie eine gemietete GPU, ohne Setup oder Betrieb, aber mit fester Parallelität pro Schlüssel oder Session statt der Batch-Kapazität einer ganzen GPU.

Wo BroadNet Inference passt

BroadNet Inference ist die API-Seite dieses Vergleichs: Preise pro Token, Flatrate-Pläne und Stundenschlüssel für Open-Weight-Modelle, einige davon bei US-Inferenzpartnern gehostet, hinter einer OpenAI-kompatiblen API. Es passt zu Teams, deren Traffic eine gemietete GPU einen Großteil des Tages leerlaufen ließe oder die keine Inferenz-Infrastruktur betreiben wollen. Es passt nicht, wenn Sie ein eigenes Fine-Tune bereitgestellt brauchen, ein On-Premises-Deployment oder Hunderte paralleler Anfragen über einen Schlüssel. Rechnen Sie Ihre Zahlen im LLM-API-Kostenrechner durch und vergleichen Sie mit der Tabelle oben. Wenn Sie noch zwischen offenen und geschlossenen Modellen wählen, vergleicht API-Kosten offener vs. geschlossener Modelle die Preise pro Token von der jeweiligen Anbieterseite. Der Rechner Self-Hosting vs. API erledigt den gesamten Break-even mit Ihrem gemessenen Durchsatz und diesen GPU-Preisen.

Häufige Fragen

Ist es günstiger, ein LLM selbst zu hosten, als eine API zu nutzen?

Nur bei hohem, gleichmäßigem Volumen. Eine gemietete GPU wird jede Stunde abgerechnet, eine API nur für die Tokens, die Sie nutzen. Wenn Ihre GPU den größten Teil des Tages im Leerlauf wäre, ist die API günstiger, noch bevor Sie die Engineering-Zeit mitrechnen.

Was kostet es, eine H100 pro Stunde zu mieten?

Laut Preisseite von RunPod am 2026-11-14 kostete eine H100 SXM 4,39 USD pro Stunde in der Secure Cloud und ab 2,69 USD in der Community Cloud. Lambda nennt für On-Demand-H100-SXM je nach Knotengröße 4,59 bis 4,89 USD pro GPU-Stunde, zu Preisen, die seit dem 2026-11-16 gelten. Prüfen Sie die Seiten auf aktuelle Preise.

Wie viele GPUs brauche ich, um ein großes Modell selbst zu hosten?

Mindestens so viel Speicher, dass die Gewichte plus der KV-Cache für Ihre gleichzeitigen Anfragen hineinpassen. Große Mixture-of-Experts-Modelle brauchen meist einen Knoten mit mehreren GPUs. Prüfen Sie in der Model Card die Parameterzahl und das empfohlene Setup.

Wann lohnt sich Self-Hosting, auch wenn es mehr kostet?

Wenn Daten Ihr Netzwerk nicht verlassen dürfen, wenn Sie ein feinabgestimmtes oder eigenes Modell brauchen, das keine API anbietet, oder wenn Sie garantierte Kapazität benötigen. Das sind Gründe der Kontrolle, nicht der Kosten.

Wie messe ich den tatsächlichen Durchsatz meiner GPU?

Führen Sie Ihre echten Prompts mit Ihrer echten Parallelität auf einer Serving-Engine wie vLLM oder SGLang aus und erfassen Sie die gesamten Output-Tokens pro Sekunde über alle Anfragen. Spitzenwerte der Hersteller setzen ideales Batching voraus.

Als Markdown lesenChatGPT fragenClaude fragenPerplexity fragen