긴 프롬프트의 중간에 정답을 넣으면, 많은 모델이 처음이나 끝에 있을 때보다 그 정답을 놓칠 가능성이 커집니다.
작동 방식
Liu 외(2023)는 두 가지 작업으로 모델을 테스트했습니다. 다중 문서 질의응답에서는 모델에 질문과 검색된 문서 여러 개를 주고, 그중 하나에만 정답을 넣었습니다. 키-값 검색에서는 긴 쌍 목록에서 값 하나를 찾게 했습니다. 연구진은 관련 항목의 위치를 바꿔 가며 실험했습니다.
결과는 이렇습니다. 성능은 “is often highest when relevant information occurs at the beginning or end of the input context, and significantly degrades when models must access relevant information in the middle of long contexts, even for explicitly long-context models.”(번역: 관련 정보가 입력 컨텍스트의 처음이나 끝에 있을 때 가장 높은 경우가 많고, 긴 컨텍스트 중간에 있는 관련 정보에 접근해야 할 때는 명시적으로 긴 컨텍스트용인 모델에서도 크게 떨어집니다.) 위치별로 그리면 정확도는 U자 모양이 됩니다.
실무적 의미는 간단합니다. 긴 컨텍스트 윈도는 모델이 얼마나 많이 받아들이는지를 알려 줄 뿐, 그것을 얼마나 고르게 쓰는지는 알려 주지 않습니다.
왜 중요한가
- RAG 순서. 검색 증강 생성(RAG)에서는 검색기가 구절의 순위를 매깁니다. 가장 좋은 구절을 20개 중 한가운데에 두면 순위를 낭비하는 셈입니다. 맨 앞에, 또는 맨 앞과 맨 끝에 두세요.
- 긴 문서. 80쪽 중 40쪽에 있는 조항을 묻는 것은 1쪽에 있는 조항을 묻는 것보다 어렵습니다. 모델에 해당 섹션을 짚어 주거나, 먼저 그 부분을 추출하세요.
- 에이전트. 긴 에이전트 기록에서는 초반 지시와 최신 턴이 주목을 받습니다. 실행 중간의 도구 출력이 가장 덜 활용되기 쉽습니다.
Lost in the middle은 컨텍스트 로트라는 더 넓은 현상의 일부입니다. 컨텍스트 로트에서는 위치뿐 아니라 길이와 방해 요소 때문에도 정확도가 떨어집니다.
BroadNet Inference에서는
BroadNet의 DeepSeek V4.1 Flash와 GLM 5.3은 요청당 최대 1,048,576토큰을 받습니다. 그만큼 중간이 길어지므로 위치는 덜 중요해지는 것이 아니라 더 중요해집니다. 위치 효과와 캐시된 입력을 모두 고려한 배치는 다음과 같습니다.
[stable system prompt and instructions] -> cached prefix
[documents, best-ranked first]
[the question, restated in full] -> end of prompt
100만 토큰 컨텍스트 가이드와 캐싱을 위한 프롬프트 구조에서 더 자세히 다룹니다.