Ein Modell, das eine Million Tokens annimmt, nutzt das millionste Token nicht so gut wie die ersten tausend. Diese Lücke ist Context Rot.
So funktioniert es
Der Bericht von Chroma (Hong, Troynikov und Huber, Juli 2025) testete 18 Modelle, darunter GPT-4.1, Claude 4, Gemini 2.5 und Qwen3, mit Aufgaben, die gleich schwer blieben, während der Input wuchs. Das zentrale Ergebnis: „model performance consistently degrades with increasing input length“ (Übersetzung: „die Leistung der Modelle nimmt mit wachsender Input-Länge durchgängig ab“).
Drei Effekte fielen auf:
- Schwache Übereinstimmungen leiden am meisten. Wenn Frage und relevante Passage wenige Wörter teilen, fiel die Genauigkeit mit wachsender Länge schneller.
- Ablenker schaden. „Even a single distractor reduces performance relative to the baseline“ (Übersetzung: „Schon ein einziger Ablenker senkt die Leistung gegenüber der Baseline“), und vier verschlechterten sie weiter. Ein Ablenker ist eine Passage zum selben Thema, die die Frage nicht beantwortet.
- Struktur zählt, überraschenderweise. Zusammenhängender Fülltext schadete mehr als dieselben Sätze in zufälliger Reihenfolge. Die Autoren stellten fest: „structural coherence consistently hurts model performance“ (Übersetzung: „strukturelle Kohärenz schadet der Modellleistung durchgängig“).
Das baut auf früheren Arbeiten wie Lost in the Middle auf, die Positionseffekte zeigten. Context Rot erweitert den Befund: Schon die Länge selbst, nicht nur die Position, kostet Genauigkeit.
Warum es wichtig ist
- Agenten. Ein Coding- oder Recherche-Agent häuft gelesene Dateien, Logs und alte Tool-Ergebnisse an. Jedes davon ist ein möglicher Ablenker. Die Genauigkeit kann nachlassen, lange bevor das Kontextfenster voll ist.
- Kosten und Latenz. Längere Prompts kosten außerdem mehr Input-Tokens und brauchen länger in der Verarbeitung. Kürzen hilft also an drei Fronten zugleich.
- Langer Kontext vs. Retrieval. Einen ganzen Korpus zu senden ist einfach, aber RAG, das nur relevante Chunks sendet, hält Ablenker fern.
Bei BroadNet Inference
DeepSeek V4.1 Flash und GLM 5.3 akzeptieren bei BroadNet bis zu 1.048.576 Tokens, Qwen3.8 27B bis zu 262.144. BroadNet kürzt Ihren Kontext nicht; was Sie senden, liest das Modell. Betrachten Sie das Limit als Obergrenze, nicht als Ziel. Der Leitfaden zum Kontextfenster mit 1M Tokens zeigt, wann sich ein volles Fenster lohnt, und Kontextmanagement für lang laufende Agenten zeigt Muster zum Zusammenfassen und Ausdünnen. Der Kontextfenster-Rechner hilft, einen Prompt vor dem Senden abzuschätzen.
Häufige Fehler
- Jede Datei „sicherheitshalber“ mitschicken. Verwandter, aber irrelevanter Text ist genau das, was Chromas Ablenker-Tests verwendeten.
- Mit einer Nadel testen, die wörtlich zur Frage passt. Echte Fragen tun das selten.