BroadRouter
시작하기

컨텍스트 엔지니어링(context engineering)

업데이트

컨텍스트 엔지니어링(context engineering)은 언어 모델이 요청마다 보는 토큰 집합, 즉 시스템 프롬프트, 도구 정의, 대화 기록, 검색한 문서, 메모를 고르고 관리하는 작업입니다. 목표는 모델이 작업을 잘 해내는 데 필요한, 신호가 강한 정보의 가장 작은 집합을 건네는 것입니다.

다른 이름: 컨텍스트 엔지니어링, 컨텍스트 관리, 에이전트 컨텍스트 관리, 컨텍스트 설계, context management, agent context engineering

프롬프트는 한 번 쓰는 것입니다. 컨텍스트는 모델이 매 턴 보는 모든 것이고, 에이전트에서는 턴마다 바뀝니다.

작동 방식

Anthropic의 엔지니어링 글은 컨텍스트 엔지니어링을 추론 중에 “the set of strategies for curating and maintaining the optimal set of tokens”(번역: 최적의 토큰 집합을 선별하고 유지하기 위한 전략의 모음)로 설명하며, 여기에는 프롬프트 밖의 정보도 포함됩니다. 목표는 원하는 결과가 나올 가능성을 높이는 “smallest possible set of high-signal tokens”(번역: 신호가 강한 토큰의 가능한 가장 작은 집합)를 찾는 것이라고 합니다.

이유는 주의력이 한정되어 있기 때문입니다. 이 글은 모델에 “attention budget”(번역: 주의력 예산)이 있고 컨텍스트가 길어질수록 정보를 떠올리는 능력이 떨어진다고 말하며, 이를 컨텍스트 로트(context rot)라고 부릅니다. 위치도 중요합니다. 긴 프롬프트의 중간에 있는 사실은 놓치기 쉽습니다(lost in the middle).

이 글은 오래 실행되는 에이전트를 위한 몇 가지 기법을 소개합니다.

기법 하는 일
압축(compaction) 한도에 가까워지면 대화 기록을 요약하고 요약본에서 이어서 진행
도구 결과 정리(tool result clearing) 오래된 원본 도구 출력을 대화 기록에서 삭제
구조화된 메모(structured note-taking) 에이전트가 컨텍스트 밖의 파일에 메모를 쓰고 나중에 다시 읽음
서브에이전트 깨끗한 컨텍스트에서 집중 작업을 하고 짧은 요약만 반환
적시 검색(just-in-time retrieval) 참조(파일 경로, 쿼리)만 들고 있다가 필요할 때 데이터를 불러옴

코딩 에이전트에서 한 턴의 예산을 계산한 예시입니다.

System prompt + rules          4,000 tokens
Tool definitions               6,000 tokens
Notes file                     1,500 tokens
History (compacted)           20,000 tokens
Latest tool output             8,000 tokens   <- largest single item

왜 중요한가

  • 품질. 컨텍스트의 잡음이 적을수록 대개 답이 좋아지고 놓치는 지시도 줄어듭니다.
  • 비용. 토큰당 과금에서는 컨텍스트의 모든 토큰이 매 턴 청구됩니다. 바뀌지 않는 내용을 앞에 두면 캐시된 입력으로 더 싸게 처리됩니다. 캐싱을 위한 프롬프트 구조를 참고하세요.
  • 실행 시간. 컨텍스트를 잘 관리하면 에이전트가 컨텍스트 윈도우 한도에 닿지 않고 몇 시간씩 작업할 수 있습니다.

BroadNet Inference에서는

컨텍스트 엔지니어링은 여러분의 코드에서 이루어집니다. BroadNet의 Chat Completions API는 보낸 메시지 목록을 그대로 받습니다. DeepSeek V4.1 Flash와 GLM 5.3은 1,048,576 토큰, Qwen3.8 27B는 262,144 토큰, Gemma 4 VL 26B는 32K 토큰을 받으므로, 컨텍스트를 빠듯하게 관리하는 일은 Gemma에서 가장 중요합니다.

모델이 보고하는 경우 usage.prompt_tokens_details.cached_tokens에 캐시에서 읽은 토큰 수가 나오며, 종량제에서는 이 토큰이 캐시된 입력 가격으로 청구됩니다. 오래 실행되는 에이전트의 컨텍스트 관리에 실전 규칙 다섯 가지가 있고, 에이전트 토큰 예산 글은 에이전트의 토큰이 어디에 쓰이는지 보여 줍니다.

자주 묻는 질문

컨텍스트 엔지니어링과 프롬프트 엔지니어링은 어떻게 다른가요?

프롬프트 엔지니어링은 좋은 지시문을 쓰는 일입니다. 컨텍스트 엔지니어링은 도구 정의, 대화 기록, 검색한 데이터를 포함해 모델이 한 턴에 보는 모든 것을 다루고, 긴 세션 동안 그 집합이 어떻게 바뀌는지까지 관리합니다.

그냥 더 큰 컨텍스트 윈도우를 쓰면 되지 않나요?

윈도우가 크면 문제가 늦게 올 뿐 사라지지는 않습니다. Anthropic은 컨텍스트가 길어질수록 정보를 떠올리는 능력이 떨어진다고 설명하며, 토큰당 과금에서는 추가 토큰마다 매 턴 다시 비용을 냅니다.

가장 먼저 무엇을 해 봐야 하나요?

컨텍스트를 무엇이 채우는지 측정하세요. 보통 도구 출력과 오래된 대화 기록이 가장 크고, 이를 잘라내거나 요약하는 것은 적은 비용으로 시도할 수 있습니다.

Markdown으로 읽기ChatGPT에 질문하기Claude에 질문하기Perplexity에 질문하기