BroadRouter

Lost in the Middle

Aktualisiert

Lost in the Middle bezeichnet die beobachtete Neigung von Sprachmodellen, relevante Informationen am besten zu nutzen, wenn sie nahe am Anfang oder Ende einer langen Eingabe stehen, und am schlechtesten, wenn sie in der Mitte liegen. Benannt wurde der Effekt 2023 in einer Studie von Liu et al.

Auch genannt: Lost in the Middle, Lost-in-the-Middle-Effekt, Positionseffekt im Kontext, Positionsverzerrung bei langem Kontext, U-förmige Kontextleistung, lost-in-the-middle effect, middle-of-context problem, long-context position bias, U-shaped context performance

Steht die Antwort in der Mitte eines langen Prompts, übersehen viele Modelle sie eher, als wenn sie am Anfang oder Ende steht.

So funktioniert es

Liu et al. (2023) testeten Modelle mit zwei Aufgaben. Bei der Fragebeantwortung über mehrere Dokumente erhielt das Modell eine Frage und mehrere abgerufene Dokumente, von denen nur eines die Antwort enthielt. Beim Key-Value-Retrieval musste es einen Wert in einer langen Liste von Paaren finden. Die Forschenden variierten, wo das relevante Element stand.

Ihr Befund: Die Leistung „is often highest when relevant information occurs at the beginning or end of the input context, and significantly degrades when models must access relevant information in the middle of long contexts, even for explicitly long-context models“ (Übersetzung: „ist oft am höchsten, wenn relevante Informationen am Anfang oder Ende des Eingabekontexts stehen, und sinkt deutlich, wenn Modelle auf relevante Informationen in der Mitte langer Kontexte zugreifen müssen, selbst bei ausdrücklich für lange Kontexte gebauten Modellen“). Nach Position aufgetragen bildet die Genauigkeit ein U.

Die praktische Lesart ist einfach. Ein langes Kontextfenster sagt Ihnen, wie viel ein Modell annimmt, nicht wie gleichmäßig es alles nutzt.

Warum es wichtig ist

  • Reihenfolge bei RAG. Bei Retrieval-Augmented Generation ordnet der Retriever die Passagen. Setzen Sie die beste in die Mitte von 20, verschenken Sie das Ranking. Stellen Sie sie an den Anfang, oder an Anfang und Ende.
  • Lange Dokumente. Eine Frage zu einer Klausel auf Seite 40 von 80 ist schwieriger als eine zu Seite 1. Verweisen Sie das Modell auf den Abschnitt oder extrahieren Sie ihn vorher.
  • Agents. In einem langen Agent-Verlauf bekommen frühe Anweisungen und die letzte Runde Aufmerksamkeit; Tool-Ausgaben aus der Mitte des Laufs werden am ehesten zu wenig genutzt.

Lost in the Middle ist ein Teil eines breiteren Effekts namens Context Rot, bei dem die Genauigkeit mit Länge und Ablenkern sinkt, nicht nur mit der Position.

Bei BroadNet Inference

DeepSeek V4.1 Flash und GLM 5.3 von BroadNet akzeptieren bis zu 1.048.576 Tokens pro Anfrage. Das macht die Position wichtiger, nicht unwichtiger, denn es gibt mehr Mitte. Ein Layout, das sowohl den Positionseffekten als auch dem gecachten Input gerecht wird:

[stable system prompt and instructions]  -> cached prefix
[documents, best-ranked first]
[the question, restated in full]         -> end of prompt

Der Leitfaden zum Kontext mit 1 Mio. Tokens und Prompt-Struktur für Caching gehen tiefer.

Häufige Fragen

Gehen neuere Modelle mit langem Kontext immer noch in der Mitte verloren?

Die ursprüngliche Studie fand den Einbruch selbst bei Modellen, die für lange Kontexte gebaut wurden. Spätere Arbeiten wie der Context-Rot-Bericht von Chroma aus 2025 finden weiterhin sinkende Genauigkeit mit zunehmender Länge. Testen Sie Ihr eigenes Modell und Ihr Prompt-Layout.

Wohin gehört das wichtigste Dokument im Prompt?

Nahe an den Anfang oder das Ende, nicht vergraben in der Mitte. Bei RAG setzen Sie die bestplatzierte Passage an den Anfang und wiederholen die Frage nach den Dokumenten.

Widerspricht das dem Prompt Caching?

Das kann passieren. Caching bevorzugt ein stabiles Präfix, Positionseffekte bevorzugen den relevantesten Text an den Rändern. Stellen Sie stabile Anweisungen an den Anfang und Frage sowie Schlüsselpassagen ans Ende.

Als Markdown lesenChatGPT fragenClaude fragenPerplexity fragen