Metti la risposta nel mezzo di un prompt lungo e molti modelli rischiano di non vederla più che se si trovasse all’inizio o alla fine.
Come funziona
Liu et al. (2023) hanno testato i modelli su due compiti. Nel question answering su più documenti, il modello riceveva una domanda e diversi documenti recuperati, di cui uno solo conteneva la risposta. Nel recupero chiave-valore, doveva trovare un valore in una lunga lista di coppie. I ricercatori hanno variato la posizione dell’elemento rilevante.
Il risultato: le prestazioni “is often highest when relevant information occurs at the beginning or end of the input context, and significantly degrades when models must access relevant information in the middle of long contexts, even for explicitly long-context models.” (traduzione: sono spesso massime quando l’informazione rilevante si trova all’inizio o alla fine del contesto di input, e peggiorano in modo significativo quando i modelli devono accedere a informazioni rilevanti nel mezzo di contesti lunghi, anche per i modelli pensati esplicitamente per il contesto lungo). Rappresentata in funzione della posizione, l’accuratezza disegna una U.
La lettura pratica è semplice. Una finestra di contesto lunga ti dice quanto testo un modello accetta, non quanto uniformemente lo usa.
Perché è importante
- Ordine nella RAG. Nella retrieval-augmented generation, il retriever ordina i passaggi. Se metti il migliore a metà di 20, sprechi il ranking. Mettilo per primo, oppure per primo e per ultimo.
- Documenti lunghi. Chiedere di una clausola a pagina 40 di 80 è più difficile che chiedere di pagina 1. Indica al modello la sezione, oppure estraila prima.
- Agenti. In una lunga cronologia di un agente, le istruzioni iniziali e l’ultimo turno ricevono attenzione; l’output dei tool a metà esecuzione è la parte più a rischio di essere sottoutilizzata.
Lost in the middle è un pezzo di un effetto più ampio chiamato context rot, in cui l’accuratezza cala con la lunghezza e con i distrattori, non solo con la posizione.
Su BroadNet Inference
DeepSeek V4.1 Flash e GLM 5.3 di BroadNet accettano fino a 1.048.576 token per richiesta. Questo rende la posizione più importante, non meno, perché c’è più “mezzo”. Una disposizione che tiene conto sia degli effetti di posizione sia dell’input in cache:
[stable system prompt and instructions] -> cached prefix
[documents, best-ranked first]
[the question, restated in full] -> end of prompt
In ordine: system prompt e istruzioni stabili come prefisso in cache, poi i documenti con il migliore per primo, poi la domanda ripetuta per intero alla fine del prompt. La guida al contesto da 1M di token e struttura del prompt per il caching approfondiscono.