BroadRouter
Loslegen

Gecachte Input-Tokens: So senken Sie die Rechnung Ihrer LLM-API

Vom Team von BroadNet Inference · 5 Min. Lesezeit · Veröffentlicht · Aktualisiert

Gecachte Input-Tokens sind Prompt-Tokens, die der Anbieter bereits verarbeitet hat und wiederverwenden kann; sie werden deshalb günstiger abgerechnet. Bei BroadNet Inference kostet gecachter Input für DeepSeek V4.1 Flash $0.0055 pro 1 Mio. Tokens, neuer Input $0.175. Für den Rabatt stellen Sie den stabilen Teil jedes Prompts an den Anfang und halten ihn zwischen den Aufrufen identisch.

Das meiste, was ein Agent an ein LLM sendet, ist in jeder Runde gleich: der System-Prompt, die Tool-Definitionen, die Dateien, an denen er arbeitet, und der bisherige Gesprächsverlauf. Nur die letzte Nachricht ist neu. Prompt Caching bedeutet, dass der Anbieter diesen wiederholten Teil nicht zum vollen Preis abrechnet.

Was ist ein gecachtes Input-Token?

Jede Anfrage besteht aus Input- und Output-Tokens. Bevor ein Modell antworten kann, verarbeitet es den gesamten Prompt. Begann eine frühere Anfrage mit genau denselben Tokens, kann das Serving-System diese Arbeit wiederverwenden, statt sie erneut zu leisten. Der wiederverwendete Teil wird als gecachte Input-Tokens gemeldet und zu einem niedrigeren Tarif abgerechnet.

Aus dieser Funktionsweise folgen zwei Punkte:

  • Nur das Präfix wird gecacht. Der Abgleich läuft vom ersten Token an vorwärts und endet beim ersten Unterschied.
  • Die Antwort wird nie gecacht. Das Modell erzeugt weiterhin neuen Output, der zum vollen Output-Preis berechnet wird.

Was kosten gecachte Tokens bei BroadNet Inference?

Pro 1 Million Tokens, laut der veröffentlichten Preisdatei:

Modell Neuer Input Gecachter Input Output
DeepSeek V4.1 Flash $0.175 $0.0055 $0.52
GLM 5.3 $0.78 $0.173 $3.46
Qwen3.8 27B $0.175 $0.0435 $2.17

Bei DeepSeek V4.1 Flash ist der Abstand groß: Vergleichen Sie $0.0055 pro 1 Mio. gecachter Tokens mit $0.175 pro 1 Mio. neuer. Für einen Agenten, der in jeder Runde ein Repository mit 200.000 Tokens erneut sendet, entscheidet die Cache-Quote über den größten Teil der Rechnung.

Wie viel kann Caching sparen? Ein Rechenbeispiel

Ein Coding-Agent sendet an einem Arbeitstag 100-mal einen Prompt mit 200.000 Tokens. Das sind 20 Millionen Input-Tokens pro Tag.

Cache-Quote Neue Input-Tokens Gecachte Input-Tokens
0 % 20 Mio. zu $0.175 pro 1 Mio. 0
50 % 10 Mio. zu $0.175 pro 1 Mio. 10 Mio. zu $0.0055 pro 1 Mio.
90 % 2 Mio. zu $0.175 pro 1 Mio. 18 Mio. zu $0.0055 pro 1 Mio.

Die Formel für die tägliche Input-Rechnung lautet new tokens (M) × input price + cached tokens (M) × cached price (neue Tokens in Mio. × Input-Preis + gecachte Tokens in Mio. × Cache-Preis). Bei 90 % werden 18 Mio. der 20 Mio. Input-Tokens zum Cache-Preis statt zum vollen Input-Preis abgerechnet; je größer also der Abstand zwischen beiden Preisen, desto mehr sparen Sie beim Input-Anteil der Rechnung. Der Output bleibt unverändert. Probieren Sie Ihre eigenen Zahlen im Prompt-Caching-Rechner aus.

Wie sehen Sie gecachte Tokens in der API-Antwort?

Laut der API-Referenz von BroadNet enthält das usage-Objekt prompt_tokens_details.cached_tokens, wenn das Modell sie meldet: die aus dem Cache gelesenen Prompt-Tokens, berechnet zum Cache-Preis. In einem Stream fordern Sie die Nutzungsdaten im letzten Chunk an:

from openai import OpenAI
import os

client = OpenAI(base_url="https://inference.broadnet.ai/v1", api_key=os.environ["BROADNET_API_KEY"])
messages = [
    {"role": "system", "content": "You are a code reviewer."},  # stable prefix: keep it identical
    {"role": "user", "content": "Review the diff below."},
]
stream = client.chat.completions.create(
    model="broadnet/deepseek-v4.1-flash",
    messages=messages,
    stream=True,
    stream_options={"include_usage": True},
)
for chunk in stream:
    if chunk.usage:
        u = chunk.usage
        cached = (u.prompt_tokens_details.cached_tokens if u.prompt_tokens_details else 0) or 0
        print(f"prompt={u.prompt_tokens} cached={cached} rate={cached / max(1, u.prompt_tokens):.0%}")

Loggen Sie diese Quote einen Tag lang pro Anfrage. Sie zeigt, was Sie tatsächlich zahlen, und sie ist die Zahl, die Sie in den Prompt-Caching-Rechner eintragen. Mehr zu Nutzungsdaten beim Streaming finden Sie im Streaming-Leitfaden.

Wie unterscheidet sich Prompt Caching bei OpenAI, Anthropic und DeepSeek?

Caching ist nicht standardisiert. Das stand in den offiziellen Dokumentationen, als wir sie am 14. November 2026 abgerufen haben:

OpenAI Anthropic DeepSeek (direkte API)
Aktivierung Standardmäßig für unterstützte Modelle Opt-in über ein cache_control-Feld (automatisch oder pro Block) Standardmäßig für alle Nutzer
Mindestlänge des Prompts 1.024 Tokens ab GPT-5.6 512 bis 4.096 Tokens, je nach Modell Kein Minimum angegeben
Lebensdauer des Caches Standardmäßig 30 Minuten ab GPT-5.6; Option für 12 Stunden Standardmäßig 5 Minuten, 1 Stunde gegen Aufpreis Best Effort; wird bei Nichtnutzung geleert, „a few hours to a few days“ (Übersetzung: „einige Stunden bis einige Tage“)
Schreiben 1,25× Input (30 Minuten) oder 2,5× (12 Stunden) ab GPT-5.6 1,25× Input für 5 Minuten, 2× für 1 Stunde Keine Schreibgebühr erwähnt
Lesen 0,1× Input ab GPT-5.6 (0,05× bei GPT-6.1 Sol und Terra) 0,1× Input bei den meisten Modellen, bei einigen weniger Eigener „cache hit“-Preis (Übersetzung: „Cache-Treffer“)
Feld in den Nutzungsdaten cached_tokens in den Token-Details cache_read_input_tokens prompt_cache_hit_tokens

Quellen: Leitfaden zu Prompt Caching von OpenAI, Dokumentation zu Prompt Caching von Anthropic und Dokumentation zu Context Caching von DeepSeek. Wo das Schreiben extra kostet, ist ein Cache, der geschrieben, aber nie gelesen wird, teurer als gar kein Cache. Caching lohnt sich nur bei Prompts, die Sie tatsächlich wiederholen. Listenpreise pro Modell vergleichen Sie in der Preistabelle für LLM-APIs.

Was senkt Ihre Cache-Quote?

Caches gleichen ein exaktes Präfix ab, also macht alles, was sich weit vorne im Prompt ändert, den Rest neu. Die üblichen Ursachen:

  • ein Zeitstempel, eine Request-ID oder ein Benutzername weit oben im System-Prompt;
  • Tool-Definitionen oder JSON, die bei jedem Aufruf in anderer Schlüsselreihenfolge serialisiert werden, was die Tokens verändert;
  • ein Agent, der seinen Verlauf umschreibt oder zusammenfasst, statt ihn zu ergänzen;
  • lange Pausen, nach denen der Cache abgelaufen ist.

Die Lösung ist eine feste Reihenfolge der Schichten (System-Prompt, Tools, Dokumente, Verlauf, neue Nachricht), wobei jede Schicht zwischen den Aufrufen byte-identisch bleibt. Unser Leitfaden, wie Sie Prompts so strukturieren, dass das Präfix gecacht wird, zeigt diesen Aufbau im Code, mit einem Test, der belegt, dass das Präfix wiederverwendet wird.

Wann spielt Caching keine Rolle mehr?

Bei einer Flatrate hängt die Rechnung überhaupt nicht von Tokens ab. Full Moon kostet $60 im Monat pro Session für unbegrenztes DeepSeek V4.1 Flash. Liegt Ihr Agent bereits über dem Break-even-Punkt, ist die Cache-Quote kein Kostenproblem mehr. Bei langen Prompts helfen die Gewohnheiten oben trotzdem bei der Geschwindigkeit; es lohnt sich also in jedem Fall, sie beizubehalten.

Warum ist Caching bei langem Kontext wichtiger?

DeepSeek V4.1 Flash und GLM 5.3 akzeptieren bis zu 1.048.576 Tokens pro Anfrage. Caching macht sehr lange Prompts mit einem Schlüssel mit Abrechnung pro Token erst bezahlbar, denn der große, wiederholte Teil des Kontextfensters wird zum Cache-Tarif berechnet. Siehe wann sich ein Kontextfenster von 1 Mio. Tokens lohnt.

Wo BroadNet Inference hineinpasst

BroadNet veröffentlicht für jedes Chat-Modell, das einen hat, einen Preis für gecachten Input und meldet gecachte Tokens in den Nutzungsdaten, wenn das Modell sie liefert. So können Sie Ihre Quote messen, bevor Sie sich festlegen. Eine Lebensdauer des Caches oder eine Mindestlänge des Prompts veröffentlicht BroadNet nicht; messen Sie beides an Ihrem eigenen Traffic. Läuft Ihr Agent den ganzen Tag, erübrigt ein Flatrate-Plan die Frage ganz.

Häufige Fragen

Muss ich Prompt Caching erst einschalten?

Das hängt vom Anbieter ab. OpenAI und DeepSeek cachen automatisch; Anthropic braucht ein cache_control-Feld. Bei BroadNet Inference prüfen Sie den usage-Block: Wenn das Modell gecachte Tokens meldet, erscheinen sie als prompt_tokens_details.cached_tokens und werden zum Preis für gecachten Input berechnet.

Wie prüfe ich, ob Prompt Caching funktioniert?

Fordern Sie bei jeder Anfrage die Nutzungsdaten an und teilen Sie cached_tokens durch prompt_tokens. Liegt die Quote beim zweiten Aufruf eines langen, wiederholten Prompts nahe null, ändert sich weit vorne im Prompt etwas zwischen den Aufrufen.

Warum ist meine Cache-Quote so niedrig?

Meist, weil sich weit vorne im Prompt bei jedem Aufruf etwas ändert, etwa ein Zeitstempel, eine Request-ID oder eine umsortierte Tool-Liste. Verschieben Sie veränderliche Inhalte ans Ende.

Was ist der Unterschied zwischen Prompt Caching und Response Caching?

Prompt Caching verwendet die Arbeit des Anbieters an einem wiederholten Prompt-Präfix erneut, das Modell schreibt aber trotzdem eine neue Antwort. Response Caching bauen Sie selbst: Sie speichern ganze Antworten und liefern sie bei identischen Fragen aus, ohne das Modell aufzurufen.

Sind gecachte Tokens kostenlos?

Nein. Sie werden zu einem niedrigeren Tarif berechnet, nicht zu null. Bei DeepSeek V4.1 Flash kostet gecachter Input $0.0055 pro 1 Mio. Tokens, und Output wird voll berechnet.

Spielt Caching bei einem unbegrenzten Plan eine Rolle?

Für die Rechnung nicht, denn Plan-Sessions haben keinen Token-Zähler. In vielen Serving-Systemen verkürzt es bei langen Prompts aber trotzdem die Zeit bis zum ersten Token, die gleichen Gewohnheiten helfen also weiterhin.

Als Markdown lesenChatGPT fragenClaude fragenPerplexity fragen