Steht die Antwort in der Mitte eines langen Prompts, übersehen viele Modelle sie eher, als wenn sie am Anfang oder Ende steht.
So funktioniert es
Liu et al. (2023) testeten Modelle mit zwei Aufgaben. Bei der Fragebeantwortung über mehrere Dokumente erhielt das Modell eine Frage und mehrere abgerufene Dokumente, von denen nur eines die Antwort enthielt. Beim Key-Value-Retrieval musste es einen Wert in einer langen Liste von Paaren finden. Die Forschenden variierten, wo das relevante Element stand.
Ihr Befund: Die Leistung „is often highest when relevant information occurs at the beginning or end of the input context, and significantly degrades when models must access relevant information in the middle of long contexts, even for explicitly long-context models“ (Übersetzung: „ist oft am höchsten, wenn relevante Informationen am Anfang oder Ende des Eingabekontexts stehen, und sinkt deutlich, wenn Modelle auf relevante Informationen in der Mitte langer Kontexte zugreifen müssen, selbst bei ausdrücklich für lange Kontexte gebauten Modellen“). Nach Position aufgetragen bildet die Genauigkeit ein U.
Die praktische Lesart ist einfach. Ein langes Kontextfenster sagt Ihnen, wie viel ein Modell annimmt, nicht wie gleichmäßig es alles nutzt.
Warum es wichtig ist
- Reihenfolge bei RAG. Bei Retrieval-Augmented Generation ordnet der Retriever die Passagen. Setzen Sie die beste in die Mitte von 20, verschenken Sie das Ranking. Stellen Sie sie an den Anfang, oder an Anfang und Ende.
- Lange Dokumente. Eine Frage zu einer Klausel auf Seite 40 von 80 ist schwieriger als eine zu Seite 1. Verweisen Sie das Modell auf den Abschnitt oder extrahieren Sie ihn vorher.
- Agents. In einem langen Agent-Verlauf bekommen frühe Anweisungen und die letzte Runde Aufmerksamkeit; Tool-Ausgaben aus der Mitte des Laufs werden am ehesten zu wenig genutzt.
Lost in the Middle ist ein Teil eines breiteren Effekts namens Context Rot, bei dem die Genauigkeit mit Länge und Ablenkern sinkt, nicht nur mit der Position.
Bei BroadNet Inference
DeepSeek V4.1 Flash und GLM 5.3 von BroadNet akzeptieren bis zu 1.048.576 Tokens pro Anfrage. Das macht die Position wichtiger, nicht unwichtiger, denn es gibt mehr Mitte. Ein Layout, das sowohl den Positionseffekten als auch dem gecachten Input gerecht wird:
[stable system prompt and instructions] -> cached prefix
[documents, best-ranked first]
[the question, restated in full] -> end of prompt
Der Leitfaden zum Kontext mit 1 Mio. Tokens und Prompt-Struktur für Caching gehen tiefer.