BroadRouter

Lost in the middle

Diperbarui

Lost in the middle adalah kecenderungan model bahasa yang teramati untuk paling baik memakai informasi relevan saat informasi itu muncul di dekat awal atau akhir input panjang, dan paling buruk saat berada di tengah. Istilah ini berasal dari studi Liu dkk. tahun 2023.

Disebut juga: lost in the middle, hilang di tengah, bias posisi konteks panjang, masalah tengah konteks, lost-in-the-middle effect, middle-of-context problem, long-context position bias, U-shaped context performance

Taruh jawabannya di tengah prompt yang panjang, dan banyak model lebih mungkin melewatkannya dibanding jika jawaban itu ada di awal atau akhir.

Cara kerjanya

Liu dkk. (2023) menguji model pada dua tugas. Pada question answering multi-dokumen, model mendapat satu pertanyaan dan beberapa dokumen hasil retrieval, hanya satu yang berisi jawaban. Pada key-value retrieval, model harus menemukan satu value dalam daftar pasangan yang panjang. Para peneliti mengubah-ubah posisi item yang relevan.

Temuan mereka: performa “is often highest when relevant information occurs at the beginning or end of the input context, and significantly degrades when models must access relevant information in the middle of long contexts, even for explicitly long-context models.” (terjemahan: sering paling tinggi ketika informasi relevan muncul di awal atau akhir konteks input, dan turun signifikan ketika model harus mengakses informasi relevan di tengah konteks panjang, bahkan untuk model yang secara eksplisit dirancang untuk konteks panjang.) Jika diplot menurut posisi, akurasinya membentuk huruf U.

Kesimpulan praktisnya sederhana. Context window yang panjang memberi tahu seberapa banyak yang diterima model, bukan seberapa merata model memakainya.

Kenapa ini penting

  • Urutan RAG. Dalam retrieval-augmented generation, retriever memeringkat passage. Jika Anda menaruh yang terbaik di tengah 20 passage, peringkatnya jadi sia-sia. Taruh di awal, atau di awal dan akhir.
  • Dokumen panjang. Bertanya tentang klausul di halaman 40 dari 80 lebih sulit daripada tentang halaman 1. Arahkan model ke bagiannya, atau ekstrak bagian itu terlebih dahulu.
  • Agen. Dalam riwayat agen yang panjang, instruksi awal dan giliran terakhir mendapat perhatian; output tool di tengah jalan adalah bagian yang paling mungkin kurang dimanfaatkan.

Lost in the middle adalah satu bagian dari efek yang lebih luas bernama context rot, di mana akurasi turun karena panjang dan pengalih perhatian, bukan hanya posisi.

Di BroadNet Inference

DeepSeek V4.1 Flash dan GLM 5.3 di BroadNet menerima hingga 1.048.576 token per request. Ini membuat posisi makin penting, bukan sebaliknya, karena bagian tengahnya makin banyak. Tata letak yang cocok dengan efek posisi sekaligus input cache:

[stable system prompt and instructions]  -> cached prefix
[documents, best-ranked first]
[the question, restated in full]         -> end of prompt

Panduan konteks 1M token dan struktur prompt untuk caching membahasnya lebih jauh.

Pertanyaan umum

Apakah model konteks panjang yang lebih baru masih "lost in the middle"?

Studi aslinya menemukan penurunan bahkan pada model yang dirancang untuk konteks panjang. Riset berikutnya, seperti laporan context rot dari Chroma tahun 2025, masih menemukan akurasi turun seiring bertambahnya panjang. Uji model dan tata letak prompt Anda sendiri.

Di mana sebaiknya saya menaruh dokumen terpenting dalam prompt?

Di dekat awal atau akhir, jangan terkubur di tengah. Untuk RAG, taruh passage berperingkat teratas di awal dan ulangi pertanyaannya setelah dokumen.

Apakah ini bertentangan dengan prompt caching?

Bisa. Caching mengutamakan prefix yang stabil, sedangkan efek posisi mengutamakan teks paling relevan di dekat tepi. Taruh instruksi yang stabil di awal, lalu pertanyaan dan passage kunci di akhir.

Baca sebagai MarkdownTanya ChatGPTTanya ClaudeTanya Perplexity