Placez la réponse au milieu d’un long prompt, et beaucoup de modèles risquent davantage de la manquer que si elle se trouvait au début ou à la fin.
Comment ça marche
Liu et al. (2023) ont testé des modèles sur deux tâches. En question-réponse multi-documents, le modèle recevait une question et plusieurs documents récupérés, dont un seul contenait la réponse. En récupération clé-valeur, il devait retrouver une valeur dans une longue liste de paires. Les chercheurs faisaient varier la position de l’élément pertinent.
Leur constat : la performance « is often highest when relevant information occurs at the beginning or end of the input context, and significantly degrades when models must access relevant information in the middle of long contexts, even for explicitly long-context models » (traduction : « est souvent maximale quand l’information pertinente se trouve au début ou à la fin du contexte d’entrée, et se dégrade nettement quand les modèles doivent accéder à une information pertinente au milieu de longs contextes, même pour des modèles explicitement conçus pour les longs contextes »). Tracée selon la position, la précision dessine un U.
La lecture pratique est simple. Une longue fenêtre de contexte indique combien un modèle accepte, pas avec quelle régularité il l’exploite.
Pourquoi c’est important
- Ordre en RAG. En génération augmentée par récupération, le retriever classe les passages. Si vous placez le meilleur au milieu de 20, vous gâchez ce classement. Mettez-le en premier, ou en premier et en dernier.
- Documents longs. Poser une question sur une clause en page 40 sur 80 est plus difficile que sur la page 1. Indiquez au modèle la section, ou extrayez-la au préalable.
- Agents. Dans un long historique d’agent, les premières instructions et le dernier tour reçoivent de l’attention ; ce sont les sorties d’outils du milieu de l’exécution qui risquent le plus d’être sous-exploitées.
Lost in the middle est une facette d’un effet plus large, le context rot, où la précision baisse avec la longueur et les distracteurs, pas seulement avec la position.
Sur BroadNet Inference
Chez BroadNet, DeepSeek V4.1 Flash et GLM 5.3 acceptent jusqu’à 1 048 576 tokens par requête. La position compte donc davantage, pas moins, car le milieu est plus vaste. Une disposition compatible à la fois avec les effets de position et avec l’entrée en cache :
[stable system prompt and instructions] -> cached prefix
[documents, best-ranked first]
[the question, restated in full] -> end of prompt
Le guide du contexte d’un million de tokens et structurer ses prompts pour le cache vont plus loin.