Die meisten Überraschungen bei LLM-Rechnungen haben dieselbe Ursache: Irgendetwas hat die API weiter aufgerufen, ohne dass jemand hingesehen hat. Eine Retry-Schleife, ein Agent, der nicht fertig wurde, ein geleakter Schlüssel in einem öffentlichen Repository. Budget-Warnungen erzählen Ihnen erst hinterher davon. Dieser Beitrag baut Kostenkontrolle in Schichten auf, vom Konto bis zur einzelnen Anfrage, und zeigt, welche Teile BroadNet Inference übernimmt und welche Sie im Code ergänzen.
Warum reichen Warnungen nicht aus?
Eine Warnung vergleicht die Ausgaben mit einem Schwellenwert, nachdem die Nutzung erfasst wurde. Eine Agenten-Schleife kann Dutzende Anfragen pro Minute stellen. Bis eine E-Mail ankommt, ist das Geld weg. Nutzen Sie Warnungen als Rückfallebene und setzen Sie den harten Stopp dort, wo die Anfrage entsteht.
Welche Schichten hat die Kostenkontrolle für LLMs?
| Schicht | Maßnahme | Verhindert | Wo Sie sie setzen |
|---|---|---|---|
| Konto | Prepaid-Guthaben | Ausgaben über das eingezahlte Geld hinaus | Anbieterkonto |
| Schlüssel | Ein Schlüssel pro App oder Agent | Dass ein Leck alles mitreißt | Anbieterportal |
| Schlüssel | IP-Allowlist | Dass ein gestohlener Schlüssel anderswo genutzt wird | Anbieterportal |
| Anfrage | max_tokens, reasoning_effort |
Eine riesige Antwort | Ihr Code |
| Job | Schritt-Limit, Retry-Limit, Schleifenerkennung | Außer Kontrolle geratene Agenten | Ihr Code |
| Job | Laufendes Budget pro Aufgabe und pro Tag | Schleichende Lecks über viele Aufrufe | Ihr Code oder Proxy |
| Reporting | Token-Logging und Warnungen | Abweichungen, die Sie sonst nicht bemerken | Ihre Logs |
| Preismodell | Flatrate-Plan oder Stunden-Schlüssel | Den Token-Zähler selbst | Wahl des Plans |
Konto: Wie deckelt ein Prepaid-Guthaben die Ausgaben?
Pay-as-you-go-Schlüssel von BroadNet Inference zehren von einem vorausbezahlten Kontoguthaben; neue Konten starten mit $5 Guthaben und ohne Karte. Ist das Pay-as-you-go-Kontingent aufgebraucht, liefern Anfragen 401, und ein Kauf, den das Guthaben nicht deckt (etwa ein Stunden-Schlüssel), liefert 402 insufficient_balance. Behandeln Sie beides als Stoppschild, nicht als etwas, das man wiederholt. Die Fehlerreferenz von BroadNet nennt außerdem ein Ausgabenlimit unter den Ursachen eines 429; lesen Sie also den Fehlertext, bevor Sie einen 429 wiederholen. Alle Fehlercodes und wie Sie 429er mit Backoff behandeln.
Das Guthaben ist Ihre äußere Obergrenze. Laden Sie so viel auf, wie Sie in diesem Monat zu verlieren bereit sind, nicht für ein ganzes Jahr. Um diese Zahl festzulegen, rechnen Sie Ihren erwarteten Traffic vorher im LLM-API-Kostenrechner durch.
Schlüssel: Wie begrenzen Sie den Schaden eines geleakten Schlüssels?
Ein API-Schlüssel ist eine Zahlungsvollmacht: Wer ihn besitzt, kann Ihr Guthaben nutzen. Begrenzen Sie den Wirkungsradius jedes Schlüssels:
- Ein Schlüssel pro App, Agent oder Umgebung. BroadNet erlaubt bis zu 10 aktive Schlüssel pro Konto, jeder bis zu ein Jahr gültig. Benennen Sie sie so, dass die Logs zeigen, welcher Geld ausgegeben hat.
- Schlüssel an Ihre Server binden. Tragen Sie Ihre ausgehenden IPs oder CIDR-Bereiche in die IP-Allowlist ein, bis zu 32 Einträge. Anfragen von anderen Adressen erhalten ein 403.
- Schnell widerrufen. Widerrufe und Änderungen an der Allowlist gelten für neue Anfragen innerhalb von fünf Sekunden.
- Portal-Zugangsdaten von Servern fernhalten. Mit ihnen lassen sich Schlüssel erstellen und Käufe tätigen. Inferenz-Schlüssel rufen nur Modelle auf.
API-Schlüssel mit IP-Allowlists absichern.
Anfrage: Wie begrenzen Sie jede Antwort?
Setzen Sie max_tokens bei jedem Aufruf. Bei Reasoning-Modellen (DeepSeek V4.1 Flash, GLM 5.3, Qwen3.8 27B) lassen Sie mindestens 1.000, denn das Nachdenken teilt sich das Budget, und ein zu niedriger Wert liefert eine leere Antwort, die Sie trotzdem bezahlen. Senken Sie reasoning_effort bei einfachen Aufgaben. Wie Reasoning-Tokens abgerechnet werden.
Job: Wie stoppen Sie eine außer Kontrolle geratene Agenten-Schleife?
Endlosschleifen haben erkennbare Anzeichen: derselbe Tool Call wiederholt sich, der Kontext wächst mit jeder Runde, und Fehler werden ohne Limit wiederholt. Legen Sie einen Wächter um den Client:
import json, os, urllib.request
from openai import OpenAI
# Per-1M prices from BroadNet's machine-readable rate card
card = json.load(urllib.request.urlopen("https://inference.broadnet.ai/pricing.json"))
m = next(x for x in card["models"] if x["id"] == "broadnet/deepseek-v4.1-flash")
PRICE = {"in": m["input_per_m"], "cached": m["cached_input_per_m"], "out": m["output_per_m"]}
client = OpenAI(base_url="https://inference.broadnet.ai/v1", api_key=os.environ["BROADNET_API_KEY"], max_retries=3)
class BudgetExceeded(Exception): pass
class Guard:
def __init__(self, budget_usd, max_steps=40):
self.budget, self.max_steps, self.spent, self.steps, self.last = budget_usd, max_steps, 0.0, 0, []
def call(self, **kw):
self.steps += 1
if self.steps > self.max_steps: raise BudgetExceeded("step cap")
if self.spent >= self.budget: raise BudgetExceeded("budget")
r = client.chat.completions.create(max_tokens=kw.pop("max_tokens", 4000), **kw)
u = r.usage
cached = (u.prompt_tokens_details.cached_tokens or 0) if u.prompt_tokens_details else 0
self.spent += ((u.prompt_tokens - cached) * PRICE["in"] + cached * PRICE["cached"]
+ u.completion_tokens * PRICE["out"]) / 1e6
calls = [(t.function.name, t.function.arguments) for t in (r.choices[0].message.tool_calls or [])]
self.last = (self.last + [calls])[-3:]
if calls and len(self.last) == 3 and all(c == calls for c in self.last):
raise BudgetExceeded("same tool call three times")
return r
Der Wächter liest die Preise aus der Preisliste, statt sie fest einzucodieren; so bleibt er korrekt, wenn sich Preise ändern. Übergeben Sie call() dasselbe Modell, das Sie bepreist haben. Halten Sie max_retries klein: Die OpenAI-SDKs wiederholen 429 und 5xx bereits, und jeder Retry wird erneut berechnet.
Im Team führen Sie dieselbe Prüfung in einem gemeinsamen Proxy aus, sodass jeder Dienst von einem Tagesbudget zehrt. Retries stoßen außerdem an Rate Limits: Der Rate-Limit-Rechner zeigt, wie viele Aufrufe pro Minute Ihr Schlüssel tatsächlich erlaubt.
Reporting: Was sollten Sie loggen und überwachen?
Loggen Sie für jede Anfrage: Alias des Schlüssels, Feature- oder Agentenname, Modell, prompt_tokens, prompt_tokens_details.cached_tokens, completion_tokens, Status und X-Request-ID. Beim Streaming setzen Sie stream_options: {"include_usage": true}, sonst kommen die Nutzungsdaten nie an (Streaming-Leitfaden).
Lösen Sie anhand dieser Logs Warnungen aus bei:
- Tageskosten pro Schlüssel über dem erwarteten Wert aus Ihrer Kostenschätzung;
- Tokens pro Aufgabe über dem Dreifachen des Medians;
- einem sinkenden Cache-Anteil, der die Kosten ohne mehr Traffic erhöht;
- einer steigenden Quote von 429- oder 5xx-Antworten, was Retries bedeutet.
BroadNet speichert inhaltsfreie Datensätze wie Zeiten, Token-Zahlen und Kosten, keine Prompts; die Details pro Feature liegen also in Ihren eigenen Logs. Loggen Sie keine Prompt-Inhalte, wenn Ihre Datenrichtlinie das verbietet. So bauen Sie Nutzungs-Logging mit Kosten pro Nutzer und Feature auf.
Preismodell: Wann schlägt ein Festpreis ein Budget?
Die zuverlässigste Kostenkontrolle ist ein Preis, der sich nicht bewegt:
- Plan-Session: $60 im Monat (Full Moon), $15 pro Woche (Orbit) oder $1 pro Stunde (Meteor) für unbegrenztes DeepSeek V4.1 Flash, eine Anfrage gleichzeitig. Anfragen mit einem Plan-Schlüssel belasten nie Ihr Guthaben.
- Stunden-Schlüssel: $0.50 für eine Stunde Gemma 4 VL 26B mit einem Stream. Gut für Schlüssel, die Ihre Server verlassen. Stunden-Schlüssel erklärt.
Eine Schleife in einem Plan verschwendet Zeit, kein Geld. Schritt-Limits brauchen Sie trotzdem, denn ein festgefahrener Agent blockiert die Session für andere Arbeit. Ob ein Plan günstiger ist als Ihre nutzungsbasierte Rechnung, hängt vom Volumen ab; der Rechner Flatrate vs. pro Token zeigt den Break-even für Ihren Token-Mix.
Preise pro Token können außerdem unter Ihnen steigen. 52 archivierte Preiserhöhungen bei LLM-APIs zeigen, wie oft das vorkam, bei welchen Anbietern und um wie viel.
Eine kurze Checkliste
- Prepaid-Guthaben passend zu Ihrem Monatslimit.
- Ein benannter Schlüssel pro App, mit IP-Allowlist.
max_tokensbei jeder Anfrage.- Schritt-Limit, Retry-Limit und Erkennung wiederholter Aufrufe bei jedem Agenten.
- Laufende Kosten pro Job, geprüft vor jedem Aufruf.
- Token-Logging pro Anfrage, mit Warnungen bei Ihren Schwellenwerten.
- Ein Flatrate-Plan oder Stunden-Schlüssel überall dort, wo die Nutzung durchgehend läuft oder der Schlüssel exponiert ist.
Wo BroadNet Inference hineinpasst
BroadNet liefert Ihnen die Schichten Konto und Schlüssel: Prepaid-Guthaben, getrennte Schlüssel, IP-Allowlists mit Widerruf in Sekunden sowie Festpreis-Pläne und Stunden-Schlüssel. Die Budgets auf Job-Ebene aus diesem Beitrag liefert es nicht; die gehören in Ihren Code oder Proxy. Brauchen Sie Budgets pro Team über viele Anbieter hinweg, ist ein Gateway vor allen Anbietern das richtige Werkzeug. Zu den Preisen.
