프롬프트는 한 번 쓰는 것입니다. 컨텍스트는 모델이 매 턴 보는 모든 것이고, 에이전트에서는 턴마다 바뀝니다.
작동 방식
Anthropic의 엔지니어링 글은 컨텍스트 엔지니어링을 추론 중에 “the set of strategies for curating and maintaining the optimal set of tokens”(번역: 최적의 토큰 집합을 선별하고 유지하기 위한 전략의 모음)로 설명하며, 여기에는 프롬프트 밖의 정보도 포함됩니다. 목표는 원하는 결과가 나올 가능성을 높이는 “smallest possible set of high-signal tokens”(번역: 신호가 강한 토큰의 가능한 가장 작은 집합)를 찾는 것이라고 합니다.
이유는 주의력이 한정되어 있기 때문입니다. 이 글은 모델에 “attention budget”(번역: 주의력 예산)이 있고 컨텍스트가 길어질수록 정보를 떠올리는 능력이 떨어진다고 말하며, 이를 컨텍스트 로트(context rot)라고 부릅니다. 위치도 중요합니다. 긴 프롬프트의 중간에 있는 사실은 놓치기 쉽습니다(lost in the middle).
이 글은 오래 실행되는 에이전트를 위한 몇 가지 기법을 소개합니다.
| 기법 | 하는 일 |
|---|---|
| 압축(compaction) | 한도에 가까워지면 대화 기록을 요약하고 요약본에서 이어서 진행 |
| 도구 결과 정리(tool result clearing) | 오래된 원본 도구 출력을 대화 기록에서 삭제 |
| 구조화된 메모(structured note-taking) | 에이전트가 컨텍스트 밖의 파일에 메모를 쓰고 나중에 다시 읽음 |
| 서브에이전트 | 깨끗한 컨텍스트에서 집중 작업을 하고 짧은 요약만 반환 |
| 적시 검색(just-in-time retrieval) | 참조(파일 경로, 쿼리)만 들고 있다가 필요할 때 데이터를 불러옴 |
코딩 에이전트에서 한 턴의 예산을 계산한 예시입니다.
System prompt + rules 4,000 tokens
Tool definitions 6,000 tokens
Notes file 1,500 tokens
History (compacted) 20,000 tokens
Latest tool output 8,000 tokens <- largest single item
왜 중요한가
- 품질. 컨텍스트의 잡음이 적을수록 대개 답이 좋아지고 놓치는 지시도 줄어듭니다.
- 비용. 토큰당 과금에서는 컨텍스트의 모든 토큰이 매 턴 청구됩니다. 바뀌지 않는 내용을 앞에 두면 캐시된 입력으로 더 싸게 처리됩니다. 캐싱을 위한 프롬프트 구조를 참고하세요.
- 실행 시간. 컨텍스트를 잘 관리하면 에이전트가 컨텍스트 윈도우 한도에 닿지 않고 몇 시간씩 작업할 수 있습니다.
BroadNet Inference에서는
컨텍스트 엔지니어링은 여러분의 코드에서 이루어집니다. BroadNet의 Chat Completions API는 보낸 메시지 목록을 그대로 받습니다. DeepSeek V4.1 Flash와 GLM 5.3은 1,048,576 토큰, Qwen3.8 27B는 262,144 토큰, Gemma 4 VL 26B는 32K 토큰을 받으므로, 컨텍스트를 빠듯하게 관리하는 일은 Gemma에서 가장 중요합니다.
모델이 보고하는 경우 usage.prompt_tokens_details.cached_tokens에 캐시에서 읽은 토큰 수가 나오며, 종량제에서는 이 토큰이 캐시된 입력 가격으로 청구됩니다. 오래 실행되는 에이전트의 컨텍스트 관리에 실전 규칙 다섯 가지가 있고, 에이전트 토큰 예산 글은 에이전트의 토큰이 어디에 쓰이는지 보여 줍니다.