Ein Coding-Agent, der einen Nachmittag lang arbeitet, sammelt viel Verlauf an: gelesene Dateien, ausgeführte Befehle, Testausgaben, Pläne, Korrekturen. Bei jedem Turn geht all das wieder an das Modell. Wie Sie diesen wachsenden Kontext verwalten, entscheidet gleich drei Dinge: was jeder Turn kostet, wie schnell er antwortet und ob der Agent noch weiß, woran er gerade war.
Ein 1M-Token-Fenster verschiebt die Abwägungen. Es lässt sie nicht verschwinden.
Was bringt ein 1M-Token-Fenster einem lang laufenden Agenten?
Auf BroadNet Inference akzeptieren DeepSeek V4.1 Flash und GLM 5.3 bis zu 1.048.576 Tokens pro Anfrage, Prompt und Antwort zusammen. Qwen3.8 27B akzeptiert 262.144. Mit kleineren Fenstern muss ein Agent nach ein, zwei Stunden Arbeit zusammenfassen. Mit einer Million Tokens kann er meist den rohen Verlauf einer ganzen Session behalten und erst gegen Ende eines sehr langen Laufs kompaktieren.
Das ist ein echter Vorteil: Zusammenfassungen sind verlustbehaftet, und jede Zusammenfassung ist eine Gelegenheit, genau das eine wichtige Detail zu vergessen. Drei Kosten wachsen aber weiterhin mit dem Prompt:
- Geld, bei einem Schlüssel mit Token-Abrechnung, weil jeder Turn den ganzen Prompt erneut sendet.
- Latenz, weil der Server jedes Input-Token verarbeiten muss, bevor das erste Output-Token kommt.
- Aufmerksamkeit. Die Qualität kann mit wachsender Eingabe sinken, ein Effekt namens Context Rot. Das Paper “Lost in the Middle” stellte fest, dass Modelle Informationen am Anfang und Ende einer langen Eingabe meist zuverlässiger nutzen als Informationen in der Mitte. Neuere Modelle schneiden besser ab, aber die Gewohnheit, wichtige Fakten nah an den Rändern zu halten, zahlt sich weiterhin aus.
Regel 1: Warum sollte der Verlauf append-only sein?
Prompt-Caching vergleicht ab dem Anfang des Prompts. Sind die ersten 300.000 Tokens dieses Turns identisch mit denen des letzten Turns, können sie aus dem Cache bedient werden; das erste geänderte Token beendet die Übereinstimmung. Die API von BroadNet meldet das in usage.prompt_tokens_details.cached_tokens, wenn das Modell es meldet, und berechnet gecachten Input zu einem niedrigeren Tarif: $0.0055 pro 1M Tokens bei DeepSeek V4.1 Flash gegenüber $0.175 für neuen Input.
Bauen Sie also jede Anfrage in derselben Reihenfolge auf und hängen Sie nur am Ende an:
[ system prompt ] never changes during a session
[ tool definitions ] fixed order, never changes
[ project notes ] changes rarely, and only by appending
[ turn 1 ... turn N ] grows at the end
[ new message ]
Typische Präfix-Brecher sind ein Zeitstempel im System-Prompt, Tool-Definitionen in wechselnder Reihenfolge und das Neurendern alter Tool-Ergebnisse. Bei Agenten kommt einer hinzu: „Sliding Window“-Kürzung, die jedes Mal den ältesten Turn entfernt und damit alles danach verschiebt. Jeder dieser Fehler macht aus einem gecachten Prompt einen neuen; Prompt-Struktur für Caching listet die übrigen auf, mit einem Test, der belegt, dass das Präfix gecacht wird. In einer langen Session ist der Unterschied groß: Der Großteil des Prompts kann gecachter statt neuer Input sein. Wie gecachter Input abgerechnet wird.
Regel 2: Wie misst man die Cache-Quote?
Loggen Sie sie pro Anfrage. Mit dem OpenAI SDK reichen dafür drei Zeilen nach dem Aufruf:
import os
from openai import OpenAI
client = OpenAI(base_url="https://inference.broadnet.ai/v1", api_key=os.environ["BROADNET_API_KEY"])
resp = client.chat.completions.create(model="broadnet/deepseek-v4.1-flash", messages=history, max_tokens=8000)
u = resp.usage
cached = (u.prompt_tokens_details.cached_tokens if u.prompt_tokens_details else 0) or 0
print(f"turn prompt={u.prompt_tokens:,} cached={cached:,} ({cached / max(1, u.prompt_tokens):.0%})")
Ein gesunder Append-only-Agent zeigt ab dem zweiten Turn bei jedem Turn einen hohen gecachten Anteil. Fällt er plötzlich auf nahezu null, hat sich etwas weit vorne im Prompt geändert. Finden Sie es und fixieren Sie es. Der Prompt-Caching-Rechner rechnet eine Cache-Quote in Geld pro Session um.
Regel 3: Was sollte man zuerst kürzen, wenn der Kontext wächst?
Wenn der Kontext tatsächlich schrumpfen muss, kommt es darauf an, was wegfällt. In den meisten Agenten-Transkripten machen Tool-Ausgaben den Großteil aus: ein Testlog mit 4.000 Zeilen, eine ganze Datei, gelesen, um eine Funktion zu finden, ein Verzeichnislisting. Der wertvolle Teil ist klein: der Plan, die Entscheidungen und ihre Gründe, die behobenen Fehler.
Reihenfolge beim Kürzen, vom Ersten zum Letzten:
- Veraltete Tool-Ausgaben. Ersetzen Sie den Inhalt alter Tool-Ergebnisse durch einen einzeiligen Platzhalter: „pytest ausgeführt: 3 Fehler in test_api.py (in Turn 14 behoben)“.
- Überholte Dateiinhalte. Hat der Agent
api.pygelesen, bearbeitet und dann erneut gelesen, ist der erste Lesevorgang toter Ballast. - Erkundungen, die ins Leere liefen. Suchen und Lesevorgänge, die zu keiner Änderung geführt haben.
- Überlegungen und Pläne. Diese behalten Sie am längsten. Sie erklären, warum der Code so aussieht, wie er aussieht.
Noch besser ist es, Tool-Ausgaben schon beim Erzeugen zu kürzen. Begrenzen Sie jedes Tool-Ergebnis (zum Beispiel auf die letzten 200 Zeilen eines Logs plus eine Zeilenzahl) und lassen Sie den Agenten bei Bedarf mehr anfordern. So bleibt der Verlauf append-only und klein.
Regel 4: Wann sollte ein Agent seinen Verlauf kompaktieren?
Kompaktierung (älteren Verlauf zu einem kürzeren Block zusammenfassen) ist das schwere Werkzeug. Sie schreibt das Präfix um, also zahlt der Turn nach einer Kompaktierung für alles nach dem System-Prompt den vollen Input-Preis. Wer alle paar Turns ein bisschen kompaktiert, zahlt diesen Preis immer wieder.
Besser:
- Wählen Sie eine hohe Schwelle. Bei einem 1M-Fenster lässt eine Kompaktierung bei, sagen wir, 60–70 % Füllstand Platz für den Zusammenfassungs-Turn und eine lange Strecke neuer Arbeit.
- Behalten Sie das jüngste Ende wörtlich. Fassen Sie den alten Teil zusammen und lassen Sie die letzten Turns unverändert. Die Kompaktierungs-Doku von opencode beschreibt genau das: Es fasst die Unterhaltung zusammen und behält den jüngsten Teil, standardmäßig etwa 15.000 Tokens.
- Fassen Sie mit dem vollen Prompt zusammen. Wenn die ganze Unterhaltung an die Zusammenfassungs-Anfrage geht, kann diese den Cache des vorherigen Turns wiederverwenden.
- Einmal kompaktieren, dann wieder anhängen. Nach einer Kompaktierung ist das neue Präfix stabil, und das Caching setzt von dort wieder ein.
Regel 5: Was gehört in eine Notizdatei?
Manche Fakten müssen beliebig viele Kompaktierungen überstehen: das Ziel, die Randbedingungen, die getroffenen Entscheidungen, die Befehle, mit denen das Projekt gebaut und getestet wird. Halten Sie sie in einer kurzen Notizdatei (einer NOTES.md oder einer Task-Datei), an die der Agent anhängt und die er erneut liest. Sie steht weit oben im Prompt, ändert sich selten und ist das Erste, was eine frische Session liest, wenn der Lauf neu startet.
Das ist zugleich die günstigste Form von Gedächtnis: ein paar tausend Tokens, die dem Agenten ersparen, nach jeder Zusammenfassung dieselben Fakten neu herauszufinden.
Wie wirken sich Reasoning-Tokens auf das Budget aus?
DeepSeek V4.1 Flash, GLM 5.3 und Qwen3.8 27B denken nach, bevor sie antworten, und das Reasoning zählt zu max_tokens. Eine lange Session ändert daran nichts, aber große Prompts verleiten dazu, max_tokens zu senken, um „Platz zu sparen“. Tun Sie das nicht. Ein knappes Output-Budget erzeugt leere Antworten, die der Agent dann wiederholt. Warum Antworten leer zurückkommen.
Denken Sie auch daran, dass das Fenster Prompt und Antwort zusammen zählt. Bei knapp 1.048.576 Tokens Prompt bleibt kein Platz mehr für eine Antwort. Kompaktieren Sie, bevor es so weit ist; der Kontextfenster-Rechner zeigt, wie viel Platz ein bestimmter Prompt übrig lässt.
Spielt das bei einem Flatrate-Plan eine Rolle?
In einer Plan-Session von BroadNet hat DeepSeek V4.1 Flash keinen Token-Zähler: Eine Full-Moon-Session kostet $60 im Monat, egal wie lang die Prompts sind. Das Geld-Argument für Caching entfällt. Die anderen beiden nicht. Ein gecachtes Präfix wird in vielen Serving-Systemen typischerweise schneller verarbeitet, und ein gut verwalteter Kontext liefert bessere Antworten. Die Gewohnheiten sind dieselben; nur der Grund ändert sich. Wie Plan-Sessions funktionieren.
Checkliste für das Kontextmanagement
- System-Prompt und Tool-Liste für die ganze Session fest.
- Verlauf wird nur angehängt; alte Turns werden nie neu formatiert.
- Cache-Quote pro Anfrage geloggt.
- Tool-Ausgaben beim Erzeugen begrenzt, veraltete Ausgaben später durch Platzhalter ersetzt.
- Kompaktierung bei hoher Schwelle, das jüngste Ende bleibt wörtlich erhalten.
- Eine Notizdatei mit Ziel, Randbedingungen und Entscheidungen.
- Output-Budget groß genug für das Reasoning.
Wann sich ein Millionen-Token-Fenster überhaupt lohnt, erklärt der Leitfaden zum 1M-Kontextfenster. Wie Sie Sessions stoppen, die wachsen, ohne voranzukommen, lesen Sie unter Kostenkontrolle für Agenten-Schleifen.
