Cevabı uzun bir istemin ortasına koyun; birçok model onu, başta veya sonda olduğuna göre daha büyük olasılıkla kaçırır.
Nasıl çalışır
Liu vd. (2023) modelleri iki görevde test etti. Çok belgeli soru yanıtlamada model bir soru ve yalnızca biri yanıtı içeren birkaç getirilmiş belge aldı. Anahtar-değer getirmede uzun bir çift listesinde tek bir değeri bulması gerekti. Araştırmacılar ilgili öğenin konumunu değiştirdi.
Bulguları: performans “is often highest when relevant information occurs at the beginning or end of the input context, and significantly degrades when models must access relevant information in the middle of long contexts, even for explicitly long-context models.” (çeviri: ilgili bilgi girdi bağlamının başında veya sonunda olduğunda çoğu zaman en yüksektir ve modeller uzun bağlamların ortasındaki ilgili bilgiye erişmek zorunda kaldığında, açıkça uzun bağlam için tasarlanmış modellerde bile, belirgin şekilde düşer.) Konuma göre çizildiğinde doğruluk U şekli oluşturur.
Pratik sonuç basittir. Uzun bir bağlam penceresi size bir modelin ne kadar kabul ettiğini söyler; bunu ne kadar eşit kullandığını değil.
Neden önemli
- RAG sıralaması. Getirmeyle güçlendirilmiş üretimde (RAG) getirici pasajları sıralar. En iyisini 20 pasajın ortasına koyarsanız sıralamayı boşa harcarsınız. Onu başa ya da hem başa hem sona koyun.
- Uzun belgeler. 80 sayfanın 40. sayfasındaki bir madde hakkında soru sormak, 1. sayfa hakkında sormaktan daha zordur. Modeli ilgili bölüme yönlendirin veya önce o bölümü ayıklayın.
- Ajanlar. Uzun bir ajan geçmişinde ilk talimatlar ve son tur dikkat alır; çalışmanın ortasındaki araç çıktıları en çok gözden kaçma ihtimali olan kısımdır.
Lost in the middle, doğruluğun yalnızca konumla değil uzunluk ve dikkat dağıtıcılarla da düştüğü bağlam çürümesi (context rot) adlı daha geniş bir etkinin bir parçasıdır.
BroadNet Inference’ta
BroadNet’in DeepSeek V4.1 Flash ve GLM 5.3 modelleri istek başına 1.048.576 token’a kadar kabul eder. Bu, konumu daha az değil daha çok önemli kılar, çünkü ortası daha büyüktür. Hem konum etkileriyle hem de önbellekli girdiyle uyumlu bir düzen:
[stable system prompt and instructions] -> cached prefix
[documents, best-ranked first]
[the question, restated in full] -> end of prompt
1M token’lık bağlam rehberi ve önbelleğe alma için istem yapısı yazıları konuyu daha da ileri götürür.