긴 에이전트 세션은 컨텍스트 윈도우를 넘어섭니다. 압축은 전체 기록을 요약으로 바꾸고 작업을 이어 갑니다.
작동 방식
Anthropic의 컨텍스트 엔지니어링 글은 압축을 “the practice of taking a conversation nearing the context window limit, summarizing its contents,“(번역: 컨텍스트 윈도우 한도에 가까워진 대화를 가져와 그 내용을 요약하는 방식)로 정의하고, 그 요약으로 새 컨텍스트 윈도우를 시작한다고 설명합니다. 글에 따르면 Claude Code에서 모델은 “preserves architectural decisions, unresolved bugs, and implementation details,“(번역: 아키텍처 결정, 해결되지 않은 버그, 구현 세부 사항을 보존하고) 중복된 도구 출력은 버린 뒤, 요약과 “the five most recently accessed files.”(번역: 가장 최근에 접근한 파일 다섯 개)를 가지고 이어 갑니다.
가장 가벼운 형태는 도구 결과 지우기입니다. 같은 글은 이를 “one of the safest lightest touch forms of compaction”(번역: 가장 안전하고 가벼운 압축 형태 중 하나)이라 부릅니다. 기록 깊숙이 있는 오래된 원시 도구 출력만 지우고 나머지는 그대로 둡니다.
도구마다 압축을 제공하는 방식이 다릅니다.
| 도구 | 압축 실행 방식 |
|---|---|
| Claude Code | 자동 압축이 한도 근처에서 기록을 요약합니다. /compact Focus on ...으로 남길 내용을 지시하며 직접 실행할 수도 있습니다 |
| OpenAI Responses API | context_management에 compact_threshold를 지정하면 토큰 수가 그 값을 넘을 때 서버에서 압축합니다. 독립된 compact 엔드포인트를 호출할 수도 있습니다 |
| 직접 만든 에이전트 | 모델에게 기록을 요약하게 한 뒤, 시스템 프롬프트, 요약, 최근 턴으로 새 메시지 목록을 시작합니다 |
계산 예시: 기록이 180,000토큰인 에이전트가 6,000토큰 요약과 최근 파일 20,000토큰으로 압축합니다. 이후 매 턴은 180,000토큰에서 계속 늘어나는 기록 대신 약 26,000토큰의 기록을 보냅니다.
왜 중요한가
- 길이. 압축이 없으면 긴 작업은 컨텍스트 윈도우가 차는 순간 멈춥니다.
- 품질. 정확도는 한도에 한참 못 미쳐서도 떨어질 수 있으며, 이를 컨텍스트 로트라고 합니다. 더 짧고 깔끔한 컨텍스트가 도움이 될 수 있습니다.
- 비용. 토큰당 과금에서는 매 턴마다 기록을 다시 보냅니다. 압축은 이를 줄이지만, 압축 요청 자체가 전체 기록을 한 번 읽고, 다시 쓴 앞부분은 새로 캐시해야 합니다(캐시된 입력 토큰).
- 위험. 요약에서 나중에 중요해질 세부 사항이 빠질 수 있습니다. 남길 내용에 대한 지시를 직접 작성하고, 핵심 사실은 노트 파일에 두세요.
BroadNet Inference에서는
BroadNet API는 상태를 저장하지 않는(stateless) Chat Completions입니다. 매번 전체 메시지 목록을 보내며, BroadNet 문서에는 서버 측 압축 기능에 대한 설명이 없습니다. 압축은 에이전트나 도구에서 일어나고, 그 도구가 짧아진 기록을 보냅니다.
DeepSeek V4.1 Flash와 GLM 5.3은 1,048,576토큰의 컨텍스트를 받으므로 압축이 필요한 경우가 줄지만, 종량제에서는 위의 비용과 품질 문제가 그대로 적용됩니다. 정액 플랜에는 토큰 미터가 없으므로, 압축은 요금이 아니라 품질과 속도 때문에 중요합니다. 언제 압축하고 무엇부터 버릴지는 장시간 실행 에이전트의 컨텍스트 관리에서 다룹니다.