BroadRouter

Lost in the middle

Na-update

Ang lost in the middle ay ang napansing hilig ng mga language model na pinakamahusay gamitin ang mahalagang impormasyon kapag nasa simula o dulo ito ng mahabang input, at pinakamahina kapag nasa gitna. Pinangalanan ito sa isang 2023 na pag-aaral nina Liu et al.

Tinatawag ding: lost-in-the-middle effect, middle-of-context problem, long-context position bias, U-shaped context performance, nawawala sa gitna

Ilagay ang sagot sa gitna ng mahabang prompt at mas malamang na makaligtaan ito ng maraming model kaysa kung nasa simula o dulo ito.

Paano ito gumagana

Sinubok nina Liu et al. (2023) ang mga model sa dalawang task. Sa multi-document question answering, binigyan ang model ng isang tanong at ilang na-retrieve na dokumento, at isa lang doon ang may sagot. Sa key-value retrieval, kailangan nitong hanapin ang isang value sa mahabang listahan ng mga pares. Binago-bago ng mga researcher kung saan nakapuwesto ang mahalagang item.

Ang natuklasan nila: ang performance “is often highest when relevant information occurs at the beginning or end of the input context, and significantly degrades when models must access relevant information in the middle of long contexts, even for explicitly long-context models.” (Salin ng BroadRouter: “kadalasang pinakamataas kapag nasa simula o dulo ng input context ang mahalagang impormasyon, at bumababa nang malaki kapag kailangang abutin ng model ang mahalagang impormasyon sa gitna ng mahabang context, kahit sa mga model na tahasang ginawa para sa long context.”) Kapag inilagay sa graph ayon sa posisyon, hugis-U ang accuracy.

Simple ang praktikal na aral. Sinasabi sa iyo ng mahabang context window kung gaano karami ang tinatanggap ng model, hindi kung gaano kapantay nito itong ginagamit.

Bakit ito mahalaga

  • Ayos sa RAG. Sa retrieval-augmented generation, nira-rank ng retriever ang mga passage. Kung ilalagay mo ang pinakamahusay sa gitna ng 20, nasasayang ang ranking. Ilagay ito sa una, o sa una at sa huli.
  • Mahahabang dokumento. Mas mahirap magtanong tungkol sa isang clause sa page 40 ng 80 kaysa sa page 1. Ituro sa model ang section, o i-extract muna ito.
  • Mga agent. Sa mahabang history ng agent, napapansin ang mga naunang instruction at ang pinakahuling turn; ang tool output sa kalagitnaan ng run ang pinakamalamang na hindi gaanong magamit.

Bahagi ang lost in the middle ng mas malawak na epekto na tinatawag na context rot, kung saan bumababa ang accuracy dahil sa haba at mga distractor, hindi lang sa posisyon.

Sa BroadNet Inference

Tumatanggap ang DeepSeek V4.1 Flash at GLM 5.3 ng BroadNet ng hanggang 1,048,576 token kada request. Mas nagiging mahalaga ang posisyon dahil dito, hindi mas kaunti, dahil mas mahaba ang gitna. Isang layout na umaayon sa position effects at sa cached input:

[stable system prompt and instructions]  -> cached prefix
[documents, best-ranked first]
[the question, restated in full]         -> end of prompt

Mas malalim na tinatalakay ito ng gabay sa 1M-token na context at ng prompt structure para sa caching.

Mga tanong

Nawawala pa rin ba sa gitna ang mas bagong long-context model?

Nakita ng orihinal na pag-aaral ang pagbaba kahit sa mga model na ginawa para sa mahabang context. Ang mga sumunod na pag-aaral gaya ng 2025 na context rot report ng Chroma ay nakakakita pa rin ng pagbaba ng accuracy habang humahaba ang input. I-test ang sarili mong model at layout ng prompt.

Saan ko dapat ilagay ang pinakamahalagang dokumento sa prompt?

Malapit sa simula o sa dulo, hindi nakabaon sa gitna. Para sa RAG, ilagay muna ang passage na pinakamataas ang rank at ulitin ang tanong pagkatapos ng mga dokumento.

Sumasalungat ba ito sa prompt caching?

Puwede. Pinapaboran ng caching ang stable na prefix, samantalang pinapaboran ng position effects ang pinakamahalagang text malapit sa mga gilid. Ilagay muna ang mga stable na instruction, at ilagay sa dulo ang tanong at mahahalagang passage.

Basahin bilang MarkdownTanungin ang ChatGPTTanungin ang ClaudeTanungin ang Perplexity