BroadRouter
시작하기

컨텍스트 로트(context rot)

업데이트

컨텍스트 로트(context rot)는 작업이 그대로이고 입력이 컨텍스트 윈도우 안에 충분히 들어가더라도, 입력이 길어질수록 언어 모델의 정확도와 신뢰성이 점점 떨어지는 현상입니다. 18개 모델을 시험한 2025년 Chroma 기술 보고서로 널리 알려진 용어입니다.

다른 이름: 컨텍스트 로트, 컨텍스트 열화, 긴 컨텍스트 성능 저하, 롱 컨텍스트 성능 저하, context degradation, long-context degradation, context decay, context window degradation

100만 토큰을 받을 수 있는 모델이라도 100만 번째 토큰을 처음 1,000개 토큰만큼 잘 쓰지는 못합니다. 그 차이가 컨텍스트 로트입니다.

작동 방식

Chroma의 보고서(Hong, Troynikov, Huber, 2025년 7월)는 GPT-4.1, Claude 4, Gemini 2.5, Qwen3 등 18개 모델을, 입력은 길어지지만 난이도는 그대로인 작업으로 시험했습니다. 핵심 결과는 “model performance consistently degrades with increasing input length.”(번역: 입력 길이가 늘어날수록 모델 성능은 일관되게 떨어진다)입니다.

눈에 띈 효과는 세 가지입니다.

  • 약하게 일치할수록 더 크게 떨어집니다. 질문과 관련 문단에 겹치는 단어가 적을수록 길이가 늘 때 정확도가 더 빨리 떨어졌습니다.
  • 방해 문단이 해롭습니다. “Even a single distractor reduces performance relative to the baseline”(번역: 방해 문단 하나만으로도 기준선보다 성능이 떨어진다)이며, 네 개면 더 나빠졌습니다. 방해 문단(distractor)은 같은 주제를 다루지만 질문에 답하지는 않는 문단입니다.
  • 의외로 구조가 영향을 줍니다. 문맥이 이어지는 채움 텍스트가 같은 문장을 뒤섞은 것보다 더 해로웠습니다. 저자들은 “structural coherence consistently hurts model performance.”(번역: 구조적 일관성이 모델 성능을 일관되게 떨어뜨린다)라는 결과를 얻었습니다.

이는 위치 효과를 보여 준 lost in the middle 같은 이전 연구를 잇습니다. 컨텍스트 로트는 논점을 넓힙니다. 위치뿐 아니라 길이 자체가 정확도를 깎습니다.

왜 중요한가

  • 에이전트. 코딩이나 리서치 에이전트는 파일 읽기, 로그, 오래된 도구 결과를 계속 쌓습니다. 하나하나가 방해 문단이 될 수 있습니다. 컨텍스트 윈도우가 차기 한참 전부터 정확도가 미끄러질 수 있습니다.
  • 비용과 지연 시간. 프롬프트가 길면 입력 토큰 비용도 늘고 처리 시간도 길어지므로, 잘라내면 세 가지 면에서 한꺼번에 이득입니다.
  • 긴 컨텍스트 vs 검색. 전체 자료를 보내는 방식은 간단하지만, 관련 청크만 보내는 RAG는 방해 문단을 막아 줍니다.

BroadNet Inference에서는

BroadNet의 DeepSeek V4.1 Flash와 GLM 5.3은 최대 1,048,576 토큰, Qwen3.8 27B는 최대 262,144 토큰을 받습니다. BroadNet은 컨텍스트를 잘라내지 않으므로, 보낸 내용이 곧 모델이 읽는 내용입니다. 한도는 목표가 아니라 상한으로 보세요. 100만 토큰 컨텍스트 윈도우 가이드는 윈도우를 꽉 채우는 것이 언제 이득인지 다루고, 오래 실행되는 에이전트의 컨텍스트 관리는 요약과 가지치기 패턴을 보여 줍니다. 컨텍스트 윈도우 계산기로 보내기 전에 프롬프트 크기를 가늠할 수 있습니다.

흔한 실수

  • “혹시 몰라서” 모든 파일을 붙여 넣기. 관련은 있지만 쓸모없는 텍스트가 바로 Chroma의 방해 문단 테스트에 쓰인 것입니다.
  • 질문과 단어가 그대로 일치하는 정답 문장(needle)으로 시험하기. 실제 질문은 그런 경우가 드뭅니다.

자주 묻는 질문

컨텍스트 로트와 lost in the middle은 같은 건가요?

서로 관련이 있습니다. lost in the middle은 핵심 사실이 프롬프트의 어디에 있느냐의 문제입니다. 컨텍스트 로트는 전체 입력 길이, 방해 문단, 구조가 전반적인 정확도를 얼마나 떨어뜨리느냐의 문제입니다.

컨텍스트 윈도우가 더 크면 컨텍스트 로트가 해결되나요?

아닙니다. 윈도우가 크면 더 많이 보낼 수는 있지만, Chroma는 시험한 모든 모델에서 입력이 길어질수록 성능이 떨어진다는 것을 확인했습니다. 들어가는 만큼 다 보내지 말고 작업에 필요한 것만 보내세요.

에이전트는 컨텍스트 로트를 어떻게 피하나요?

작업 컨텍스트를 짧게 유지합니다. 오래된 턴은 요약하고, 지난 도구 출력은 버리고, 파일은 한꺼번에 넣지 않고 필요할 때 불러옵니다.

Markdown으로 읽기ChatGPT에 질문하기Claude에 질문하기Perplexity에 질문하기