---
title: "Kontextmanagement für lang laufende LLM-Agenten | BroadRouter"
description: "So bleiben lange Agenten-Sessions mit 1M-Token-Fenster genau und bezahlbar: Append-only-Verlauf, cachefreundliche Prompts, Kompaktierung und was zuerst wegfällt."
url: https://broadrouter.com/de/blog/long-running-agent-context-management/
lang: de
updated: 2026-11-14
publisher: BroadRouter (a BroadNet site); API by BroadNet Inference, https://inference.broadnet.ai
---

Mit KI-Unterstützung aus dem Englischen übersetzt. [Englisches Original lesen](https://broadrouter.com/blog/long-running-agent-context-management/) (aktualisiert am 2026-11-16).

# Kontextmanagement für lang laufende Agenten mit 1M-Kontextfenster

Vom Team von BroadNet Inference · 6 Min. Lesezeit · Veröffentlicht 2026-11-14 · Aktualisiert 2026-11-16

Behandeln Sie den Kontext als Append-only-Log: zuerst ein fester System-Prompt und eine feste Tool-Liste, dann ein Verlauf, der nur wächst, sodass jeder Turn das gecachte Präfix wiederverwendet. Mit einem Fenster von 1.048.576 Tokens wie bei DeepSeek V4.1 Flash kompaktieren Sie selten und in großen Schritten, kürzen zuerst sperrige Tool-Ausgaben und halten dauerhafte Fakten in einer kurzen Notizdatei, die der Agent erneut liest.

## Das Wichtigste in Kürze

-   Ein großes Fenster verschiebt Kontextprobleme, es beseitigt sie nicht. Planen Sie, was nahe am Limit passiert.
-   Ein Append-only-Verlauf hält das Prompt-Präfix stabil, sodass gecachter Input günstig bleibt.
-   Jedes Umschreiben des früheren Verlaufs bricht den Cache ab dieser Stelle.
-   Kürzen Sie sperrige Tool-Ausgaben (Logs, Datei-Dumps), bevor Sie Überlegungen und Entscheidungen kürzen.
-   Kompaktieren Sie selten und in großen Schritten, und führen Sie eine kurze Notizdatei mit dauerhaften Fakten.

**Auf dieser Seite**

1.  Was bringt ein 1M-Token-Fenster einem lang laufenden Agenten?
2.  Regel 1: Warum sollte der Verlauf append-only sein?
3.  Regel 2: Wie misst man die Cache-Quote?
4.  Regel 3: Was sollte man zuerst kürzen, wenn der Kontext wächst?
5.  Regel 4: Wann sollte ein Agent seinen Verlauf kompaktieren?
6.  Regel 5: Was gehört in eine Notizdatei?
7.  Wie wirken sich Reasoning-Tokens auf das Budget aus?
8.  Spielt das bei einem Flatrate-Plan eine Rolle?
9.  Checkliste für das Kontextmanagement

Ein Coding-Agent, der einen Nachmittag lang arbeitet, sammelt viel Verlauf an: gelesene Dateien, ausgeführte Befehle, Testausgaben, Pläne, Korrekturen. Bei jedem Turn geht all das wieder an das Modell. Wie Sie diesen wachsenden Kontext verwalten, entscheidet gleich drei Dinge: was jeder Turn kostet, wie schnell er antwortet und ob der Agent noch weiß, woran er gerade war.

Ein 1M-Token-Fenster verschiebt die Abwägungen. Es lässt sie nicht verschwinden.

## Was bringt ein 1M-Token-Fenster einem lang laufenden Agenten?

Auf BroadNet Inference akzeptieren [DeepSeek V4.1 Flash](https://broadrouter.com/de/models/deepseek-v4.1-flash/) und [GLM 5.3](https://broadrouter.com/de/models/glm-5.3/) bis zu 1.048.576 Tokens pro Anfrage, Prompt und Antwort zusammen. [Qwen3.8 27B](https://broadrouter.com/de/models/qwen3.8-27b/) akzeptiert 262.144. Mit kleineren Fenstern muss ein Agent nach ein, zwei Stunden Arbeit zusammenfassen. Mit einer Million Tokens kann er meist den rohen Verlauf einer ganzen Session behalten und erst gegen Ende eines sehr langen Laufs kompaktieren.

Das ist ein echter Vorteil: Zusammenfassungen sind verlustbehaftet, und jede Zusammenfassung ist eine Gelegenheit, genau das eine wichtige Detail zu vergessen. Drei Kosten wachsen aber weiterhin mit dem Prompt:

-   **Geld**, bei einem Schlüssel mit Token-Abrechnung, weil jeder Turn den ganzen Prompt erneut sendet.
-   **Latenz**, weil der Server jedes Input-Token verarbeiten muss, bevor das erste Output-Token kommt.
-   **Aufmerksamkeit.** Die Qualität kann mit wachsender Eingabe sinken, ein Effekt namens [Context Rot](https://broadrouter.com/de/glossary/context-rot/). Das Paper [“Lost in the Middle”](https://arxiv.org/abs/2307.03172) stellte fest, dass Modelle Informationen am Anfang und Ende einer langen Eingabe meist zuverlässiger nutzen als Informationen in der Mitte. Neuere Modelle schneiden besser ab, aber die Gewohnheit, wichtige Fakten nah an den Rändern zu halten, zahlt sich weiterhin aus.

## Regel 1: Warum sollte der Verlauf append-only sein?

Prompt-Caching vergleicht ab dem Anfang des Prompts. Sind die ersten 300.000 Tokens dieses Turns identisch mit denen des letzten Turns, können sie aus dem Cache bedient werden; das erste geänderte Token beendet die Übereinstimmung. Die API von BroadNet meldet das in `usage.prompt_tokens_details.cached_tokens`, wenn das Modell es meldet, und berechnet gecachten Input zu einem niedrigeren Tarif: $0.0055 pro 1M Tokens bei DeepSeek V4.1 Flash gegenüber $0.175 für neuen Input.

Bauen Sie also jede Anfrage in derselben Reihenfolge auf und hängen Sie nur am Ende an:

```text
[ system prompt ]        never changes during a session
[ tool definitions ]     fixed order, never changes
[ project notes ]        changes rarely, and only by appending
[ turn 1 ... turn N ]    grows at the end
[ new message ]
```

Typische Präfix-Brecher sind ein Zeitstempel im System-Prompt, Tool-Definitionen in wechselnder Reihenfolge und das Neurendern alter Tool-Ergebnisse. Bei Agenten kommt einer hinzu: „Sliding Window“-Kürzung, die jedes Mal den ältesten Turn entfernt und damit alles danach verschiebt. Jeder dieser Fehler macht aus einem gecachten Prompt einen neuen; [Prompt-Struktur für Caching](https://broadrouter.com/de/blog/prompt-structure-for-caching/) listet die übrigen auf, mit einem Test, der belegt, dass das Präfix gecacht wird. In einer langen Session ist der Unterschied groß: Der Großteil des Prompts kann gecachter statt neuer Input sein. [Wie gecachter Input abgerechnet wird](https://broadrouter.com/de/blog/cached-input-tokens-explained/).

## Regel 2: Wie misst man die Cache-Quote?

Loggen Sie sie pro Anfrage. Mit dem OpenAI SDK reichen dafür drei Zeilen nach dem Aufruf:

```python
import os
from openai import OpenAI

client = OpenAI(base_url="https://inference.broadnet.ai/v1", api_key=os.environ["BROADNET_API_KEY"])

resp = client.chat.completions.create(model="broadnet/deepseek-v4.1-flash", messages=history, max_tokens=8000)
u = resp.usage
cached = (u.prompt_tokens_details.cached_tokens if u.prompt_tokens_details else 0) or 0
print(f"turn prompt={u.prompt_tokens:,} cached={cached:,} ({cached / max(1, u.prompt_tokens):.0%})")
```

Ein gesunder Append-only-Agent zeigt ab dem zweiten Turn bei jedem Turn einen hohen gecachten Anteil. Fällt er plötzlich auf nahezu null, hat sich etwas weit vorne im Prompt geändert. Finden Sie es und fixieren Sie es. Der [Prompt-Caching-Rechner](https://broadrouter.com/tools/prompt-caching-calculator/) rechnet eine Cache-Quote in Geld pro Session um.

## Regel 3: Was sollte man zuerst kürzen, wenn der Kontext wächst?

Wenn der Kontext tatsächlich schrumpfen muss, kommt es darauf an, was wegfällt. In den meisten Agenten-Transkripten machen Tool-Ausgaben den Großteil aus: ein Testlog mit 4.000 Zeilen, eine ganze Datei, gelesen, um eine Funktion zu finden, ein Verzeichnislisting. Der wertvolle Teil ist klein: der Plan, die Entscheidungen und ihre Gründe, die behobenen Fehler.

Reihenfolge beim Kürzen, vom Ersten zum Letzten:

1.  **Veraltete Tool-Ausgaben.** Ersetzen Sie den Inhalt alter Tool-Ergebnisse durch einen einzeiligen Platzhalter: „pytest ausgeführt: 3 Fehler in test\_api.py (in Turn 14 behoben)“.
2.  **Überholte Dateiinhalte.** Hat der Agent `api.py` gelesen, bearbeitet und dann erneut gelesen, ist der erste Lesevorgang toter Ballast.
3.  **Erkundungen, die ins Leere liefen.** Suchen und Lesevorgänge, die zu keiner Änderung geführt haben.
4.  **Überlegungen und Pläne.** Diese behalten Sie am längsten. Sie erklären, warum der Code so aussieht, wie er aussieht.

Noch besser ist es, Tool-Ausgaben schon beim Erzeugen zu kürzen. Begrenzen Sie jedes Tool-Ergebnis (zum Beispiel auf die letzten 200 Zeilen eines Logs plus eine Zeilenzahl) und lassen Sie den Agenten bei Bedarf mehr anfordern. So bleibt der Verlauf append-only und klein.

## Regel 4: Wann sollte ein Agent seinen Verlauf kompaktieren?

Kompaktierung (älteren Verlauf zu einem kürzeren Block zusammenfassen) ist das schwere Werkzeug. Sie schreibt das Präfix um, also zahlt der Turn nach einer Kompaktierung für alles nach dem System-Prompt den vollen Input-Preis. Wer alle paar Turns ein bisschen kompaktiert, zahlt diesen Preis immer wieder.

Besser:

-   **Wählen Sie eine hohe Schwelle.** Bei einem 1M-Fenster lässt eine Kompaktierung bei, sagen wir, 60–70 % Füllstand Platz für den Zusammenfassungs-Turn und eine lange Strecke neuer Arbeit.
-   **Behalten Sie das jüngste Ende wörtlich.** Fassen Sie den alten Teil zusammen und lassen Sie die letzten Turns unverändert. Die [Kompaktierungs-Doku](https://opencode.ai/docs/compaction/) von opencode beschreibt genau das: Es fasst die Unterhaltung zusammen und behält den jüngsten Teil, standardmäßig etwa 15.000 Tokens.
-   **Fassen Sie mit dem vollen Prompt zusammen.** Wenn die ganze Unterhaltung an die Zusammenfassungs-Anfrage geht, kann diese den Cache des vorherigen Turns wiederverwenden.
-   **Einmal kompaktieren, dann wieder anhängen.** Nach einer Kompaktierung ist das neue Präfix stabil, und das Caching setzt von dort wieder ein.

## Regel 5: Was gehört in eine Notizdatei?

Manche Fakten müssen beliebig viele Kompaktierungen überstehen: das Ziel, die Randbedingungen, die getroffenen Entscheidungen, die Befehle, mit denen das Projekt gebaut und getestet wird. Halten Sie sie in einer kurzen Notizdatei (einer `NOTES.md` oder einer Task-Datei), an die der Agent anhängt und die er erneut liest. Sie steht weit oben im Prompt, ändert sich selten und ist das Erste, was eine frische Session liest, wenn der Lauf neu startet.

Das ist zugleich die günstigste Form von Gedächtnis: ein paar tausend Tokens, die dem Agenten ersparen, nach jeder Zusammenfassung dieselben Fakten neu herauszufinden.

## Wie wirken sich Reasoning-Tokens auf das Budget aus?

DeepSeek V4.1 Flash, GLM 5.3 und Qwen3.8 27B denken nach, bevor sie antworten, und das Reasoning zählt zu `max_tokens`. Eine lange Session ändert daran nichts, aber große Prompts verleiten dazu, `max_tokens` zu senken, um „Platz zu sparen“. Tun Sie das nicht. Ein knappes Output-Budget erzeugt leere Antworten, die der Agent dann wiederholt. [Warum Antworten leer zurückkommen](https://broadrouter.com/de/guides/reasoning-tokens-empty-response/).

Denken Sie auch daran, dass das Fenster Prompt und Antwort zusammen zählt. Bei knapp 1.048.576 Tokens Prompt bleibt kein Platz mehr für eine Antwort. Kompaktieren Sie, bevor es so weit ist; der [Kontextfenster-Rechner](https://broadrouter.com/tools/context-window-calculator/) zeigt, wie viel Platz ein bestimmter Prompt übrig lässt.

## Spielt das bei einem Flatrate-Plan eine Rolle?

In einer Plan-Session von BroadNet hat DeepSeek V4.1 Flash keinen Token-Zähler: Eine Full-Moon-Session kostet $60 im Monat, egal wie lang die Prompts sind. Das Geld-Argument für Caching entfällt. Die anderen beiden nicht. Ein gecachtes Präfix wird in vielen Serving-Systemen typischerweise schneller verarbeitet, und ein gut verwalteter Kontext liefert bessere Antworten. Die Gewohnheiten sind dieselben; nur der Grund ändert sich. [Wie Plan-Sessions funktionieren](https://broadrouter.com/de/guides/unlimited-llm-api-sessions/).

## Checkliste für das Kontextmanagement

-   System-Prompt und Tool-Liste für die ganze Session fest.
-   Verlauf wird nur angehängt; alte Turns werden nie neu formatiert.
-   Cache-Quote pro Anfrage geloggt.
-   Tool-Ausgaben beim Erzeugen begrenzt, veraltete Ausgaben später durch Platzhalter ersetzt.
-   Kompaktierung bei hoher Schwelle, das jüngste Ende bleibt wörtlich erhalten.
-   Eine Notizdatei mit Ziel, Randbedingungen und Entscheidungen.
-   Output-Budget groß genug für das Reasoning.

Wann sich ein Millionen-Token-Fenster überhaupt lohnt, erklärt der [Leitfaden zum 1M-Kontextfenster](https://broadrouter.com/de/blog/million-token-context-window-guide/). Wie Sie Sessions stoppen, die wachsen, ohne voranzukommen, lesen Sie unter [Kostenkontrolle für Agenten-Schleifen](https://broadrouter.com/de/blog/cut-coding-agent-llm-costs/).

Kostenlose Tools zum Thema (auf Englisch)

-   [Agent run cost estimator](https://broadrouter.com/tools/agent-run-cost-estimator/) Context growth per step, total tokens and cost of one agent run, with a DeepSeek session comparison.
-   [LLM batch job planner](https://broadrouter.com/tools/llm-batch-job-planner/) Run time, binding limit, cost per model and the flat sessions needed to finish a big job by a deadline.
-   [Flat-rate vs per-token LLM cost calculator](https://broadrouter.com/tools/flat-rate-vs-per-token-calculator/) Break-even between an unlimited plan and paying per token, per agent.
-   [LLM rate limit and concurrency calculator](https://broadrouter.com/tools/llm-rate-limit-calculator/) Which limit binds first: RPM, TPM or concurrency, with Little's law.

[Kostenlose Tools (auf Englisch)](https://broadrouter.com/tools/)

## Begriffe in diesem Artikel

[Token](https://broadrouter.com/de/glossary/token/)

Ein Token ist die Texteinheit, die ein Sprachmodell liest und schreibt: ein Wort, ein Wortteil, ein Satzzeichen oder eine Bytefolge, die der Tokenizer des Modells erzeugt. LLM-APIs zählen, begrenzen und berechnen die Nutzung meist in Tokens.

[Tool Calling (Function Calling)](https://broadrouter.com/de/glossary/tool-calling/)

Tool Calling, auch Function Calling genannt, ist eine Funktion von LLM-APIs, bei der das Modell eine strukturierte Anfrage zurückgibt, eine vom Entwickler definierte Funktion mit JSON-Argumenten auszuführen. Die Anwendung führt die Funktion aus und sendet das Ergebnis zurück; das Modell selbst führt nie Code aus.

[Context Rot](https://broadrouter.com/de/glossary/context-rot/)

Context Rot ist der schleichende Verlust an Genauigkeit und Zuverlässigkeit, den Sprachmodelle zeigen, wenn ihr Input länger wird, selbst wenn die Aufgabe gleich bleibt und der Input weit innerhalb des Kontextfensters liegt. Bekannt wurde der Begriff durch einen technischen Bericht von Chroma aus dem Jahr 2025, der 18 Modelle testete.

[System-Prompt](https://broadrouter.com/de/glossary/system-prompt/)

Ein System-Prompt ist der Anweisungstext, den eine Anwendung einem Sprachmodell vor dem Gespräch sendet, meist als Nachricht mit der Rolle system oder developer. Er legt Rolle, Regeln, Ton und Ausgabeformat des Modells fest, und das Modell soll ihm auch bei widersprechenden Nutzernachrichten folgen.

[Context Compaction (Kontextverdichtung)](https://broadrouter.com/de/glossary/context-compaction/)

Context Compaction bedeutet, eine Konversation, die sich dem Limit des Kontextfensters nähert, zusammenzufassen und die Session mit dieser Zusammenfassung fortzusetzen, sodass ein Agent wichtige Entscheidungen und den Zustand behält und rohen Verlauf wie alte Tool-Ausgaben verwirft.

[Lost in the Middle](https://broadrouter.com/de/glossary/lost-in-the-middle/)

Lost in the Middle bezeichnet die beobachtete Neigung von Sprachmodellen, relevante Informationen am besten zu nutzen, wenn sie nahe am Anfang oder Ende einer langen Eingabe stehen, und am schlechtesten, wenn sie in der Mitte liegen. Benannt wurde der Effekt 2023 in einer Studie von Liu et al.

[Context Engineering](https://broadrouter.com/de/glossary/context-engineering/)

Context Engineering ist die Arbeit, die Menge an Tokens auszuwählen und zu pflegen, die ein Sprachmodell bei jeder Anfrage sieht, also System-Prompt, Tool-Definitionen, Verlauf, abgerufene Dokumente und Notizen, damit das Modell die kleinste Menge aussagekräftiger Informationen erhält, die es für die Aufgabe braucht.

[Gecachte Input-Tokens (Cached Input Tokens)](https://broadrouter.com/de/glossary/cached-input-tokens/)

Gecachte Input-Tokens sind Prompt-Tokens, die ein LLM-Anbieter kürzlich verarbeitet hat und aus einem Cache wiederverwenden kann, statt sie neu zu berechnen, meist ein wiederholtes Präfix wie ein System-Prompt oder ein Dokument. Anbieter berechnen sie günstiger als neue Input-Tokens.

## Häufige Fragen

### Wenn das Modell ein 1M-Fenster hat, warum muss ich den Kontext überhaupt verwalten?

Weil sich Kosten, Latenz und Genauigkeit ändern, wenn der Prompt wächst. Lange Prompts brauchen länger in der Verarbeitung, kosten mit einem Schlüssel mit Token-Abrechnung pro Turn mehr, und Studien zeigen, dass Modelle Informationen in der Mitte langer Eingaben weniger zuverlässig nutzen.

### Woran erkenne ich, ob mein Agent den Cache trifft?

Wenn das Modell es meldet, enthält der usage-Block prompt\_tokens\_details.cached\_tokens. Teilen Sie den Wert pro Anfrage durch prompt\_tokens und loggen Sie die Quote.

### Spielt Kompaktierung bei einem Flatrate-Plan eine Rolle?

Nicht für die Rechnung, denn eine Plan-Session hat keinen Token-Zähler. Für die Geschwindigkeit und die Antwortqualität in sehr langen Sessions zählt sie trotzdem.

## Weiterlesen

-   [Wann sich ein Kontextfenster mit 1M Tokens lohnt (und wann nicht)](https://broadrouter.com/de/blog/million-token-context-window-guide/)
-   [Gecachte Input-Tokens: So senken Sie die Rechnung Ihrer LLM-API](https://broadrouter.com/de/blog/cached-input-tokens-explained/)
-   [Coding-Agent-Kosten senken: 10 Wege mit geschätzter Ersparnis](https://broadrouter.com/de/blog/cut-coding-agent-llm-costs/)
-   [Coding-Agenten sicher und unbeaufsichtigt über Nacht laufen lassen](https://broadrouter.com/de/blog/overnight-coding-agent-runs/)
-   [Kosten eines KI-Coding-Agent-Laufs: Schritte, Kontext, Caching](https://broadrouter.com/de/blog/ai-coding-agent-run-cost/)
-   [Claude Code mit offenen Modellen: Proxys, native Endpoints, Grenzen](https://broadrouter.com/de/blog/claude-code-with-openai-compatible-models/)
-   [Anleitung: Chat Completions streamen und abgebrochene Verbindungen behandeln](https://broadrouter.com/de/guides/streaming-chat-completions/)
-   [Anleitung: Warum ein Reasoning-Modell eine leere Antwort liefert](https://broadrouter.com/de/guides/reasoning-tokens-empty-response/)
-   [Anleitung: So funktionieren die unbegrenzten LLM-API-Pläne für Agenten](https://broadrouter.com/de/guides/unlimited-llm-api-sessions/)

Testen Sie es mit Ihrem echten Workload. Neue Konten starten mit USD 5 Guthaben für Gemma und Transkription. DeepSeek, GLM und Qwen3.8 erfordern eine Aufladung.

[Loslegen](https://inference.broadnet.ai/account/?utm_source=broadrouter&utm_medium=referral&utm_campaign=de-blog-long-running-agent-context-management&utm_content=page-cta) ·

**Quellen**

-   [API-Referenz von BroadNet Inference, Reasoning- und gecachte Tokens (auf Englisch)](https://inference.broadnet.ai/docs?utm_source=broadrouter&utm_medium=referral&utm_campaign=de-blog-long-running-agent-context-management&utm_content=sources)
-   [Liu et al., Lost in the Middle: How Language Models Use Long Contexts (arXiv)](https://arxiv.org/abs/2307.03172)
-   [opencode-Doku, Kompaktierung](https://opencode.ai/docs/compaction/)
