BroadRouter
Loslegen

Context Rot

Aktualisiert

Context Rot ist der schleichende Verlust an Genauigkeit und Zuverlässigkeit, den Sprachmodelle zeigen, wenn ihr Input länger wird, selbst wenn die Aufgabe gleich bleibt und der Input weit innerhalb des Kontextfensters liegt. Bekannt wurde der Begriff durch einen technischen Bericht von Chroma aus dem Jahr 2025, der 18 Modelle testete.

Auch genannt: Context Rot, Kontextverfall, Kontextdegradation, Leistungsabfall bei langem Kontext, context rot, context degradation, long-context degradation, context decay, context window degradation

Ein Modell, das eine Million Tokens annimmt, nutzt das millionste Token nicht so gut wie die ersten tausend. Diese Lücke ist Context Rot.

So funktioniert es

Der Bericht von Chroma (Hong, Troynikov und Huber, Juli 2025) testete 18 Modelle, darunter GPT-4.1, Claude 4, Gemini 2.5 und Qwen3, mit Aufgaben, die gleich schwer blieben, während der Input wuchs. Das zentrale Ergebnis: „model performance consistently degrades with increasing input length“ (Übersetzung: „die Leistung der Modelle nimmt mit wachsender Input-Länge durchgängig ab“).

Drei Effekte fielen auf:

  • Schwache Übereinstimmungen leiden am meisten. Wenn Frage und relevante Passage wenige Wörter teilen, fiel die Genauigkeit mit wachsender Länge schneller.
  • Ablenker schaden. „Even a single distractor reduces performance relative to the baseline“ (Übersetzung: „Schon ein einziger Ablenker senkt die Leistung gegenüber der Baseline“), und vier verschlechterten sie weiter. Ein Ablenker ist eine Passage zum selben Thema, die die Frage nicht beantwortet.
  • Struktur zählt, überraschenderweise. Zusammenhängender Fülltext schadete mehr als dieselben Sätze in zufälliger Reihenfolge. Die Autoren stellten fest: „structural coherence consistently hurts model performance“ (Übersetzung: „strukturelle Kohärenz schadet der Modellleistung durchgängig“).

Das baut auf früheren Arbeiten wie Lost in the Middle auf, die Positionseffekte zeigten. Context Rot erweitert den Befund: Schon die Länge selbst, nicht nur die Position, kostet Genauigkeit.

Warum es wichtig ist

  • Agenten. Ein Coding- oder Recherche-Agent häuft gelesene Dateien, Logs und alte Tool-Ergebnisse an. Jedes davon ist ein möglicher Ablenker. Die Genauigkeit kann nachlassen, lange bevor das Kontextfenster voll ist.
  • Kosten und Latenz. Längere Prompts kosten außerdem mehr Input-Tokens und brauchen länger in der Verarbeitung. Kürzen hilft also an drei Fronten zugleich.
  • Langer Kontext vs. Retrieval. Einen ganzen Korpus zu senden ist einfach, aber RAG, das nur relevante Chunks sendet, hält Ablenker fern.

Bei BroadNet Inference

DeepSeek V4.1 Flash und GLM 5.3 akzeptieren bei BroadNet bis zu 1.048.576 Tokens, Qwen3.8 27B bis zu 262.144. BroadNet kürzt Ihren Kontext nicht; was Sie senden, liest das Modell. Betrachten Sie das Limit als Obergrenze, nicht als Ziel. Der Leitfaden zum Kontextfenster mit 1M Tokens zeigt, wann sich ein volles Fenster lohnt, und Kontextmanagement für lang laufende Agenten zeigt Muster zum Zusammenfassen und Ausdünnen. Der Kontextfenster-Rechner hilft, einen Prompt vor dem Senden abzuschätzen.

Häufige Fehler

  • Jede Datei „sicherheitshalber“ mitschicken. Verwandter, aber irrelevanter Text ist genau das, was Chromas Ablenker-Tests verwendeten.
  • Mit einer Nadel testen, die wörtlich zur Frage passt. Echte Fragen tun das selten.

Häufige Fragen

Ist Context Rot dasselbe wie Lost in the Middle?

Beides hängt zusammen. Bei Lost in the Middle geht es darum, wo im Prompt der entscheidende Fakt steht. Bei Context Rot geht es darum, wie Gesamtlänge, Ablenker und Struktur des Inputs die Genauigkeit insgesamt senken.

Behebt ein größeres Kontextfenster Context Rot?

Nein. Ein größeres Fenster erlaubt mehr Input, aber Chroma stellte bei jedem getesteten Modell fest, dass die Leistung mit wachsendem Input sinkt. Senden Sie, was die Aufgabe braucht, nicht alles, was hineinpasst.

Wie vermeiden Agenten Context Rot?

Indem sie den Arbeitskontext kurz halten: alte Runden zusammenfassen, veraltete Tool-Outputs entfernen und Dateien bei Bedarf laden statt alle auf einmal.

Als Markdown lesenChatGPT fragenClaude fragenPerplexity fragen