BroadRouter
Loslegen

LLM-API-Kosten kontrollieren: Budgets, Key-Limits und Loop-Schutz

Vom Team von BroadNet Inference · 5 Min. Lesezeit · Veröffentlicht · Aktualisiert

Kontrollieren Sie LLM-API-Kosten in Schichten: ein Prepaid-Guthaben als Obergrenze des Kontos, ein Schlüssel pro App, beschränkt auf Ihre Server-IPs, max_tokens und Schritt-Limits bei jeder Anfrage sowie ein Budget im Code, das einen Job stoppt, bevor er zu viel ausgibt. Loggen Sie Tokens pro Schlüssel und alarmieren Sie anhand Ihrer eigenen Zahlen. Flatrate-Pläne und Stunden-Schlüssel deckeln den schlimmsten Fall.

Die meisten Überraschungen bei LLM-Rechnungen haben dieselbe Ursache: Irgendetwas hat die API weiter aufgerufen, ohne dass jemand hingesehen hat. Eine Retry-Schleife, ein Agent, der nicht fertig wurde, ein geleakter Schlüssel in einem öffentlichen Repository. Budget-Warnungen erzählen Ihnen erst hinterher davon. Dieser Beitrag baut Kostenkontrolle in Schichten auf, vom Konto bis zur einzelnen Anfrage, und zeigt, welche Teile BroadNet Inference übernimmt und welche Sie im Code ergänzen.

Warum reichen Warnungen nicht aus?

Eine Warnung vergleicht die Ausgaben mit einem Schwellenwert, nachdem die Nutzung erfasst wurde. Eine Agenten-Schleife kann Dutzende Anfragen pro Minute stellen. Bis eine E-Mail ankommt, ist das Geld weg. Nutzen Sie Warnungen als Rückfallebene und setzen Sie den harten Stopp dort, wo die Anfrage entsteht.

Welche Schichten hat die Kostenkontrolle für LLMs?

Schicht Maßnahme Verhindert Wo Sie sie setzen
Konto Prepaid-Guthaben Ausgaben über das eingezahlte Geld hinaus Anbieterkonto
Schlüssel Ein Schlüssel pro App oder Agent Dass ein Leck alles mitreißt Anbieterportal
Schlüssel IP-Allowlist Dass ein gestohlener Schlüssel anderswo genutzt wird Anbieterportal
Anfrage max_tokens, reasoning_effort Eine riesige Antwort Ihr Code
Job Schritt-Limit, Retry-Limit, Schleifenerkennung Außer Kontrolle geratene Agenten Ihr Code
Job Laufendes Budget pro Aufgabe und pro Tag Schleichende Lecks über viele Aufrufe Ihr Code oder Proxy
Reporting Token-Logging und Warnungen Abweichungen, die Sie sonst nicht bemerken Ihre Logs
Preismodell Flatrate-Plan oder Stunden-Schlüssel Den Token-Zähler selbst Wahl des Plans

Konto: Wie deckelt ein Prepaid-Guthaben die Ausgaben?

Pay-as-you-go-Schlüssel von BroadNet Inference zehren von einem vorausbezahlten Kontoguthaben; neue Konten starten mit $5 Guthaben und ohne Karte. Ist das Pay-as-you-go-Kontingent aufgebraucht, liefern Anfragen 401, und ein Kauf, den das Guthaben nicht deckt (etwa ein Stunden-Schlüssel), liefert 402 insufficient_balance. Behandeln Sie beides als Stoppschild, nicht als etwas, das man wiederholt. Die Fehlerreferenz von BroadNet nennt außerdem ein Ausgabenlimit unter den Ursachen eines 429; lesen Sie also den Fehlertext, bevor Sie einen 429 wiederholen. Alle Fehlercodes und wie Sie 429er mit Backoff behandeln.

Das Guthaben ist Ihre äußere Obergrenze. Laden Sie so viel auf, wie Sie in diesem Monat zu verlieren bereit sind, nicht für ein ganzes Jahr. Um diese Zahl festzulegen, rechnen Sie Ihren erwarteten Traffic vorher im LLM-API-Kostenrechner durch.

Schlüssel: Wie begrenzen Sie den Schaden eines geleakten Schlüssels?

Ein API-Schlüssel ist eine Zahlungsvollmacht: Wer ihn besitzt, kann Ihr Guthaben nutzen. Begrenzen Sie den Wirkungsradius jedes Schlüssels:

  1. Ein Schlüssel pro App, Agent oder Umgebung. BroadNet erlaubt bis zu 10 aktive Schlüssel pro Konto, jeder bis zu ein Jahr gültig. Benennen Sie sie so, dass die Logs zeigen, welcher Geld ausgegeben hat.
  2. Schlüssel an Ihre Server binden. Tragen Sie Ihre ausgehenden IPs oder CIDR-Bereiche in die IP-Allowlist ein, bis zu 32 Einträge. Anfragen von anderen Adressen erhalten ein 403.
  3. Schnell widerrufen. Widerrufe und Änderungen an der Allowlist gelten für neue Anfragen innerhalb von fünf Sekunden.
  4. Portal-Zugangsdaten von Servern fernhalten. Mit ihnen lassen sich Schlüssel erstellen und Käufe tätigen. Inferenz-Schlüssel rufen nur Modelle auf.

API-Schlüssel mit IP-Allowlists absichern.

Anfrage: Wie begrenzen Sie jede Antwort?

Setzen Sie max_tokens bei jedem Aufruf. Bei Reasoning-Modellen (DeepSeek V4.1 Flash, GLM 5.3, Qwen3.8 27B) lassen Sie mindestens 1.000, denn das Nachdenken teilt sich das Budget, und ein zu niedriger Wert liefert eine leere Antwort, die Sie trotzdem bezahlen. Senken Sie reasoning_effort bei einfachen Aufgaben. Wie Reasoning-Tokens abgerechnet werden.

Job: Wie stoppen Sie eine außer Kontrolle geratene Agenten-Schleife?

Endlosschleifen haben erkennbare Anzeichen: derselbe Tool Call wiederholt sich, der Kontext wächst mit jeder Runde, und Fehler werden ohne Limit wiederholt. Legen Sie einen Wächter um den Client:

import json, os, urllib.request
from openai import OpenAI

# Per-1M prices from BroadNet's machine-readable rate card
card = json.load(urllib.request.urlopen("https://inference.broadnet.ai/pricing.json"))
m = next(x for x in card["models"] if x["id"] == "broadnet/deepseek-v4.1-flash")
PRICE = {"in": m["input_per_m"], "cached": m["cached_input_per_m"], "out": m["output_per_m"]}
client = OpenAI(base_url="https://inference.broadnet.ai/v1", api_key=os.environ["BROADNET_API_KEY"], max_retries=3)

class BudgetExceeded(Exception): pass

class Guard:
    def __init__(self, budget_usd, max_steps=40):
        self.budget, self.max_steps, self.spent, self.steps, self.last = budget_usd, max_steps, 0.0, 0, []

    def call(self, **kw):
        self.steps += 1
        if self.steps > self.max_steps: raise BudgetExceeded("step cap")
        if self.spent >= self.budget: raise BudgetExceeded("budget")
        r = client.chat.completions.create(max_tokens=kw.pop("max_tokens", 4000), **kw)
        u = r.usage
        cached = (u.prompt_tokens_details.cached_tokens or 0) if u.prompt_tokens_details else 0
        self.spent += ((u.prompt_tokens - cached) * PRICE["in"] + cached * PRICE["cached"]
                       + u.completion_tokens * PRICE["out"]) / 1e6
        calls = [(t.function.name, t.function.arguments) for t in (r.choices[0].message.tool_calls or [])]
        self.last = (self.last + [calls])[-3:]
        if calls and len(self.last) == 3 and all(c == calls for c in self.last):
            raise BudgetExceeded("same tool call three times")
        return r

Der Wächter liest die Preise aus der Preisliste, statt sie fest einzucodieren; so bleibt er korrekt, wenn sich Preise ändern. Übergeben Sie call() dasselbe Modell, das Sie bepreist haben. Halten Sie max_retries klein: Die OpenAI-SDKs wiederholen 429 und 5xx bereits, und jeder Retry wird erneut berechnet.

Im Team führen Sie dieselbe Prüfung in einem gemeinsamen Proxy aus, sodass jeder Dienst von einem Tagesbudget zehrt. Retries stoßen außerdem an Rate Limits: Der Rate-Limit-Rechner zeigt, wie viele Aufrufe pro Minute Ihr Schlüssel tatsächlich erlaubt.

Reporting: Was sollten Sie loggen und überwachen?

Loggen Sie für jede Anfrage: Alias des Schlüssels, Feature- oder Agentenname, Modell, prompt_tokens, prompt_tokens_details.cached_tokens, completion_tokens, Status und X-Request-ID. Beim Streaming setzen Sie stream_options: {"include_usage": true}, sonst kommen die Nutzungsdaten nie an (Streaming-Leitfaden).

Lösen Sie anhand dieser Logs Warnungen aus bei:

  • Tageskosten pro Schlüssel über dem erwarteten Wert aus Ihrer Kostenschätzung;
  • Tokens pro Aufgabe über dem Dreifachen des Medians;
  • einem sinkenden Cache-Anteil, der die Kosten ohne mehr Traffic erhöht;
  • einer steigenden Quote von 429- oder 5xx-Antworten, was Retries bedeutet.

BroadNet speichert inhaltsfreie Datensätze wie Zeiten, Token-Zahlen und Kosten, keine Prompts; die Details pro Feature liegen also in Ihren eigenen Logs. Loggen Sie keine Prompt-Inhalte, wenn Ihre Datenrichtlinie das verbietet. So bauen Sie Nutzungs-Logging mit Kosten pro Nutzer und Feature auf.

Preismodell: Wann schlägt ein Festpreis ein Budget?

Die zuverlässigste Kostenkontrolle ist ein Preis, der sich nicht bewegt:

  • Plan-Session: $60 im Monat (Full Moon), $15 pro Woche (Orbit) oder $1 pro Stunde (Meteor) für unbegrenztes DeepSeek V4.1 Flash, eine Anfrage gleichzeitig. Anfragen mit einem Plan-Schlüssel belasten nie Ihr Guthaben.
  • Stunden-Schlüssel: $0.50 für eine Stunde Gemma 4 VL 26B mit einem Stream. Gut für Schlüssel, die Ihre Server verlassen. Stunden-Schlüssel erklärt.

Eine Schleife in einem Plan verschwendet Zeit, kein Geld. Schritt-Limits brauchen Sie trotzdem, denn ein festgefahrener Agent blockiert die Session für andere Arbeit. Ob ein Plan günstiger ist als Ihre nutzungsbasierte Rechnung, hängt vom Volumen ab; der Rechner Flatrate vs. pro Token zeigt den Break-even für Ihren Token-Mix.

Preise pro Token können außerdem unter Ihnen steigen. 52 archivierte Preiserhöhungen bei LLM-APIs zeigen, wie oft das vorkam, bei welchen Anbietern und um wie viel.

Eine kurze Checkliste

  1. Prepaid-Guthaben passend zu Ihrem Monatslimit.
  2. Ein benannter Schlüssel pro App, mit IP-Allowlist.
  3. max_tokens bei jeder Anfrage.
  4. Schritt-Limit, Retry-Limit und Erkennung wiederholter Aufrufe bei jedem Agenten.
  5. Laufende Kosten pro Job, geprüft vor jedem Aufruf.
  6. Token-Logging pro Anfrage, mit Warnungen bei Ihren Schwellenwerten.
  7. Ein Flatrate-Plan oder Stunden-Schlüssel überall dort, wo die Nutzung durchgehend läuft oder der Schlüssel exponiert ist.

Wo BroadNet Inference hineinpasst

BroadNet liefert Ihnen die Schichten Konto und Schlüssel: Prepaid-Guthaben, getrennte Schlüssel, IP-Allowlists mit Widerruf in Sekunden sowie Festpreis-Pläne und Stunden-Schlüssel. Die Budgets auf Job-Ebene aus diesem Beitrag liefert es nicht; die gehören in Ihren Code oder Proxy. Brauchen Sie Budgets pro Team über viele Anbieter hinweg, ist ein Gateway vor allen Anbietern das richtige Werkzeug. Zu den Preisen.

Häufige Fragen

Wie setze ich ein Ausgabenlimit für eine LLM-API?

Nutzen Sie das Prepaid-Guthaben oder die Ausgabengrenze des Anbieters als äußeres Limit und setzen Sie dann vor jeder Anfrage Ihr eigenes Budget pro Job und pro Tag im Code durch, denn Limits und Warnungen des Anbieters können einer schnellen Schleife hinterherhinken.

Wie verhindere ich, dass ein KI-Agent eine riesige Rechnung verursacht?

Begrenzen Sie die Schritte pro Aufgabe und die Retries, setzen Sie max_tokens bei jeder Anfrage, erkennen Sie wiederholte identische Tool Calls und stoppen Sie den Job, sobald seine laufenden Kosten ein Budget überschreiten.

Soll ich einen 401- oder 402-Fehler wiederholen, wenn mein Guthaben aufgebraucht ist?

Nein. Bei BroadNet liefert ein aufgebrauchtes Pay-as-you-go-Kontingent 401, und 402 insufficient_balance bedeutet, dass das Konto einen Kauf wie einen Stunden-Schlüssel nicht decken kann. Laden Sie zuerst das Konto auf. Wiederholen Sie stattdessen 429 und 5xx mit Backoff.

Was sollte ich loggen, um LLM-Ausgaben zu verfolgen?

Pro Anfrage den Alias des Schlüssels, den Feature- oder Agentennamen, das Modell, prompt_tokens, cached_tokens, completion_tokens, den Statuscode und die Request-ID. Multipliziert mit den Werten aus der Preisdatei ergibt das die Kosten.

Ist ein Flatrate-Plan eine Form der Kostenkontrolle?

Ja. Eine Plan-Session oder ein Stunden-Schlüssel kostet gleich viel, egal wie viele Tokens verbraucht werden; eine Schleife kostet also Zeit, kein Geld.

Als Markdown lesenChatGPT fragenClaude fragenPerplexity fragen