BroadRouter

Lost in the middle(중간 정보 손실)

업데이트

Lost in the middle은 언어 모델이 긴 입력에서 관련 정보가 처음이나 끝 근처에 있을 때 가장 잘 활용하고, 중간에 있을 때 가장 못 활용하는 경향을 말합니다. Liu 외의 2023년 연구에서 이름이 붙었습니다.

다른 이름: 중간 정보 손실, 중간에서 길을 잃다, 컨텍스트 위치 편향, 긴 컨텍스트 위치 편향, U자형 성능, lost in the middle, lost-in-the-middle effect, middle-of-context problem, long-context position bias, U-shaped context performance

긴 프롬프트의 중간에 정답을 넣으면, 많은 모델이 처음이나 끝에 있을 때보다 그 정답을 놓칠 가능성이 커집니다.

작동 방식

Liu 외(2023)는 두 가지 작업으로 모델을 테스트했습니다. 다중 문서 질의응답에서는 모델에 질문과 검색된 문서 여러 개를 주고, 그중 하나에만 정답을 넣었습니다. 키-값 검색에서는 긴 쌍 목록에서 값 하나를 찾게 했습니다. 연구진은 관련 항목의 위치를 바꿔 가며 실험했습니다.

결과는 이렇습니다. 성능은 “is often highest when relevant information occurs at the beginning or end of the input context, and significantly degrades when models must access relevant information in the middle of long contexts, even for explicitly long-context models.”(번역: 관련 정보가 입력 컨텍스트의 처음이나 끝에 있을 때 가장 높은 경우가 많고, 긴 컨텍스트 중간에 있는 관련 정보에 접근해야 할 때는 명시적으로 긴 컨텍스트용인 모델에서도 크게 떨어집니다.) 위치별로 그리면 정확도는 U자 모양이 됩니다.

실무적 의미는 간단합니다. 긴 컨텍스트 윈도는 모델이 얼마나 많이 받아들이는지를 알려 줄 뿐, 그것을 얼마나 고르게 쓰는지는 알려 주지 않습니다.

왜 중요한가

  • RAG 순서. 검색 증강 생성(RAG)에서는 검색기가 구절의 순위를 매깁니다. 가장 좋은 구절을 20개 중 한가운데에 두면 순위를 낭비하는 셈입니다. 맨 앞에, 또는 맨 앞과 맨 끝에 두세요.
  • 긴 문서. 80쪽 중 40쪽에 있는 조항을 묻는 것은 1쪽에 있는 조항을 묻는 것보다 어렵습니다. 모델에 해당 섹션을 짚어 주거나, 먼저 그 부분을 추출하세요.
  • 에이전트. 긴 에이전트 기록에서는 초반 지시와 최신 턴이 주목을 받습니다. 실행 중간의 도구 출력이 가장 덜 활용되기 쉽습니다.

Lost in the middle은 컨텍스트 로트라는 더 넓은 현상의 일부입니다. 컨텍스트 로트에서는 위치뿐 아니라 길이와 방해 요소 때문에도 정확도가 떨어집니다.

BroadNet Inference에서는

BroadNet의 DeepSeek V4.1 Flash와 GLM 5.3은 요청당 최대 1,048,576토큰을 받습니다. 그만큼 중간이 길어지므로 위치는 덜 중요해지는 것이 아니라 더 중요해집니다. 위치 효과와 캐시된 입력을 모두 고려한 배치는 다음과 같습니다.

[stable system prompt and instructions]  -> cached prefix
[documents, best-ranked first]
[the question, restated in full]         -> end of prompt

100만 토큰 컨텍스트 가이드와 캐싱을 위한 프롬프트 구조에서 더 자세히 다룹니다.

자주 묻는 질문

최신 긴 컨텍스트 모델도 여전히 중간 정보를 놓치나요?

원래 연구는 긴 컨텍스트용으로 만든 모델에서도 성능 하락을 확인했습니다. Chroma의 2025년 컨텍스트 로트 보고서 같은 이후 연구도 길이가 늘수록 정확도가 떨어진다고 봅니다. 내 모델과 프롬프트 배치로 테스트하세요.

가장 중요한 문서는 프롬프트의 어디에 둬야 하나요?

중간에 묻지 말고 처음이나 끝 근처에 두세요. RAG라면 순위가 가장 높은 구절을 맨 앞에 두고, 문서 뒤에 질문을 다시 쓰세요.

프롬프트 캐싱과 충돌하지 않나요?

충돌할 수 있습니다. 캐싱은 안정적인 접두부를 선호하고, 위치 효과는 가장 관련 있는 텍스트를 양 끝에 두기를 선호합니다. 안정적인 지시문은 앞에 두고, 질문과 핵심 구절은 끝에 두세요.

Markdown으로 읽기ChatGPT에 질문하기Claude에 질문하기Perplexity에 질문하기