Si pone la respuesta en medio de un prompt largo, muchos modelos tienen más probabilidades de pasarla por alto que si está al principio o al final.
Cómo funciona
Liu et al. (2023) probaron modelos en dos tareas. En la respuesta a preguntas con varios documentos, el modelo recibía una pregunta y varios documentos recuperados, de los cuales solo uno contenía la respuesta. En la recuperación clave-valor, tenía que encontrar un valor en una larga lista de pares. Los investigadores variaron la posición del elemento relevante.
Su conclusión: el rendimiento “is often highest when relevant information occurs at the beginning or end of the input context, and significantly degrades when models must access relevant information in the middle of long contexts, even for explicitly long-context models.” (traducción: suele ser máximo cuando la información relevante aparece al principio o al final del contexto de entrada, y se degrada notablemente cuando los modelos deben acceder a información relevante en medio de contextos largos, incluso en modelos diseñados explícitamente para contexto largo). Representada por posición, la precisión forma una U.
La lectura práctica es sencilla. Una ventana de contexto larga indica cuánto acepta un modelo, no lo uniformemente que lo aprovecha.
Por qué importa
- Orden en RAG. En la generación aumentada por recuperación, el recuperador ordena los fragmentos. Si pone el mejor en medio de 20, desperdicia ese orden. Póngalo primero, o primero y último.
- Documentos largos. Preguntar por una cláusula de la página 40 de 80 es más difícil que por la página 1. Indique al modelo la sección o extráigala antes.
- Agentes. En un historial largo de un agente, las instrucciones iniciales y el último turno reciben atención; la salida de herramientas a mitad de la ejecución es la parte con más probabilidad de quedar infrautilizada.
Lost in the middle es una pieza de un efecto más amplio llamado context rot, en el que la precisión cae con la longitud y los distractores, no solo con la posición.
En BroadNet Inference
DeepSeek V4.1 Flash y GLM 5.3 de BroadNet aceptan hasta 1,048,576 tokens por solicitud. Eso hace que la posición importe más, no menos, porque hay más medio. Una disposición que respeta tanto los efectos de posición como la entrada en caché:
[stable system prompt and instructions] -> cached prefix
[documents, best-ranked first]
[the question, restated in full] -> end of prompt
La guía de contexto de 1M de tokens y estructura del prompt para caché profundizan más.