---
title: "장시간 실행 LLM 에이전트의 컨텍스트 관리 방법 | BroadRouter"
description: "100만 토큰 창으로 긴 에이전트 세션을 정확하고 저렴하게 유지하는 법: 추가 전용 기록, 캐시 친화적 프롬프트, 압축 시점, 먼저 잘라낼 것."
url: https://broadrouter.com/ko/blog/long-running-agent-context-management/
lang: ko
updated: 2026-11-14
publisher: BroadRouter (a BroadNet site); API by BroadNet Inference, https://inference.broadnet.ai
---

이 페이지는 영어 원문을 AI의 도움을 받아 번역했습니다. [영어 원문 읽기](https://broadrouter.com/blog/long-running-agent-context-management/) (2026-11-16 업데이트).

# 1M 컨텍스트 창으로 장시간 실행 에이전트의 컨텍스트 관리하기

BroadNet Inference 팀 · 6분 분량 · 게시 2026-11-14 · 업데이트 2026-11-16

컨텍스트를 추가 전용 로그로 다루세요. 고정된 시스템 프롬프트와 도구 목록을 맨 앞에 두고, 그 뒤에는 늘어나기만 하는 기록을 두면 매 턴이 캐시된 접두사를 재사용합니다. DeepSeek V4.1 Flash처럼 창이 1,048,576 토큰이라면 압축은 드물게 크게 하고, 부피가 큰 도구 출력부터 줄이며, 오래 유지할 사실은 에이전트가 다시 읽는 짧은 노트 파일에 두세요.

## 핵심 요약

-   큰 창은 컨텍스트 문제를 미룰 뿐 없애지는 않습니다. 한도에 가까워졌을 때를 미리 계획하세요.
-   추가 전용 기록은 프롬프트 접두사를 안정적으로 유지하므로 캐시된 입력이 계속 저렴합니다.
-   이전 기록을 다시 쓰면 그 지점부터 캐시가 모두 깨집니다.
-   추론과 결정보다 부피가 큰 도구 출력(로그, 파일 덤프)을 먼저 줄이세요.
-   압축은 드물게 크게 하고, 오래 유지할 사실은 짧은 노트 파일에 두세요.

**이 페이지의 내용**

1.  1M 토큰 창은 장시간 실행 에이전트에 무엇을 주나요?
2.  규칙 1: 왜 기록은 추가 전용이어야 하나요?
3.  규칙 2: 캐시 적중률은 어떻게 측정하나요?
4.  규칙 3: 컨텍스트가 커지면 무엇부터 잘라야 하나요?
5.  규칙 4: 에이전트는 언제 기록을 압축해야 하나요?
6.  규칙 5: 노트 파일에는 무엇을 넣어야 하나요?
7.  추론 토큰은 예산에 어떤 영향을 주나요?
8.  정액 플랜에서도 이것이 중요한가요?
9.  컨텍스트 관리 체크리스트

오후 내내 일하는 코딩 에이전트에는 많은 기록이 쌓입니다. 읽은 파일, 실행한 명령, 테스트 출력, 계획, 수정 사항까지. 그리고 매 턴마다 이 전부가 모델에 다시 전송됩니다. 늘어나는 컨텍스트를 어떻게 관리하느냐가 세 가지를 한꺼번에 좌우합니다. 각 턴의 비용, 응답 속도, 그리고 에이전트가 자신이 무엇을 하고 있었는지 여전히 기억하는지입니다.

1M 토큰 창은 이 트레이드오프를 바꿉니다. 없애지는 않습니다.

## 1M 토큰 창은 장시간 실행 에이전트에 무엇을 주나요?

BroadNet Inference에서 [DeepSeek V4.1 Flash](https://broadrouter.com/ko/models/deepseek-v4.1-flash/)와 [GLM 5.3](https://broadrouter.com/ko/models/glm-5.3/)은 요청당 프롬프트와 답변을 합쳐 최대 1,048,576 토큰을 받습니다. [Qwen3.8 27B](https://broadrouter.com/ko/models/qwen3.8-27b/)는 262,144 토큰입니다. 창이 작으면 에이전트는 한두 시간 작업한 뒤 요약을 해야 합니다. 100만 토큰이라면 대개 세션 전체의 원본 기록을 그대로 유지하고, 아주 긴 실행의 막바지에만 압축하면 됩니다.

이것은 실질적인 장점입니다. 요약은 손실이 있고, 요약할 때마다 정말 중요했던 세부 사항 하나를 잊을 위험이 생깁니다. 하지만 세 가지 비용은 여전히 프롬프트와 함께 늘어납니다.

-   **돈.** 토큰당 과금 키에서는 매 턴이 프롬프트 전체를 다시 보내기 때문입니다.
-   **지연 시간.** 서버는 첫 출력 토큰을 내기 전에 모든 입력 토큰을 처리해야 하기 때문입니다.
-   **주의력.** 입력이 커지면 품질이 떨어질 수 있으며, 이를 [컨텍스트 부패(context rot)](https://broadrouter.com/ko/glossary/context-rot/)라고 합니다. 논문 [“Lost in the Middle”](https://arxiv.org/abs/2307.03172)은 모델이 긴 입력의 시작과 끝에 있는 정보를 중간에 있는 정보보다 더 안정적으로 활용하는 경향이 있다는 것을 발견했습니다. 최신 모델은 더 낫지만, 중요한 사실을 양 끝 가까이에 두는 습관은 여전히 효과가 있습니다.

## 규칙 1: 왜 기록은 추가 전용이어야 하나요?

프롬프트 캐싱은 프롬프트의 처음부터 일치 여부를 봅니다. 이번 턴의 처음 300,000 토큰이 지난 턴과 똑같다면 캐시에서 제공될 수 있고, 처음으로 바뀐 토큰에서 일치가 끝납니다. BroadNet의 API는 모델이 보고하는 경우 이 값을 `usage.prompt_tokens_details.cached_tokens`에 표시하고, 캐시된 입력에는 더 낮은 요금을 매깁니다. DeepSeek V4.1 Flash에서 새 입력은 100만 토큰당 $0.175 요금인 데 비해, 캐시된 입력은 100만 토큰당 $0.0055 요금입니다.

그러니 모든 요청을 같은 순서로 구성하고, 항상 끝에만 추가하세요.

```text
[ system prompt ]        never changes during a session
[ tool definitions ]     fixed order, never changes
[ project notes ]        changes rarely, and only by appending
[ turn 1 ... turn N ]    grows at the end
[ new message ]
```

접두사를 깨는 흔한 원인은 시스템 프롬프트 안의 타임스탬프, 순서가 일정하지 않은 도구 정의, 이전 도구 결과의 재렌더링입니다. 에이전트라면 하나를 더 추가하세요. 매번 가장 오래된 턴을 지우는 “슬라이딩 윈도우” 방식의 잘라내기로, 그 뒤의 모든 내용을 밀어 버립니다. 이들 모두가 캐시된 프롬프트를 새 프롬프트로 바꿔 놓습니다. 나머지 원인은 [캐싱을 위한 프롬프트 구조](https://broadrouter.com/ko/blog/prompt-structure-for-caching/)에 정리되어 있으며, 접두사가 캐시되는지 증명하는 테스트도 있습니다. 긴 세션에서는 차이가 큽니다. 프롬프트의 대부분이 새 입력이 아니라 캐시된 입력이 될 수 있습니다. [캐시된 입력의 과금 방식](https://broadrouter.com/ko/blog/cached-input-tokens-explained/)을 참고하세요.

## 규칙 2: 캐시 적중률은 어떻게 측정하나요?

요청마다 기록하세요. OpenAI SDK에서는 호출 뒤 세 줄이면 됩니다.

```python
import os
from openai import OpenAI

client = OpenAI(base_url="https://inference.broadnet.ai/v1", api_key=os.environ["BROADNET_API_KEY"])

resp = client.chat.completions.create(model="broadnet/deepseek-v4.1-flash", messages=history, max_tokens=8000)
u = resp.usage
cached = (u.prompt_tokens_details.cached_tokens if u.prompt_tokens_details else 0) or 0
print(f"turn prompt={u.prompt_tokens:,} cached={cached:,} ({cached / max(1, u.prompt_tokens):.0%})")
```

건강한 추가 전용 에이전트는 첫 턴 이후 모든 턴에서 캐시된 비율이 높게 나옵니다. 갑자기 0에 가깝게 떨어진다면 프롬프트 앞부분의 무언가가 바뀐 것입니다. 원인을 찾아 고정하세요. [프롬프트 캐싱 계산기](https://broadrouter.com/tools/prompt-caching-calculator/)는 캐시 적중률을 세션당 금액으로 환산해 줍니다.

## 규칙 3: 컨텍스트가 커지면 무엇부터 잘라야 하나요?

컨텍스트를 실제로 줄여야 할 때는 무엇을 버리느냐가 중요합니다. 대부분의 에이전트 기록에서 부피를 차지하는 것은 도구 출력입니다. 4,000줄짜리 테스트 로그, 함수 하나를 찾으려고 통째로 읽은 파일, 디렉터리 목록 같은 것들입니다. 가치 있는 부분은 작습니다. 계획, 결정과 그 이유, 고친 오류입니다.

잘라낼 순서는 다음과 같습니다(먼저 자를 것부터).

1.  **오래된 도구 출력.** 이전 도구 결과의 본문을 한 줄짜리 요약으로 바꾸세요. 예: “ran pytest: 3 failures in test\_api.py (fixed in turn 14)”.
2.  **대체된 파일 내용.** 에이전트가 `api.py`를 읽고, 수정한 다음, 다시 읽었다면 첫 번째로 읽은 내용은 쓸모없는 짐입니다.
3.  **성과 없이 끝난 탐색.** 변경으로 이어지지 않은 검색과 읽기입니다.
4.  **추론과 계획.** 이것은 가장 오래 남겨 두세요. 코드가 왜 지금 모습인지 설명해 줍니다.

도구 출력을 생성되는 시점에 잘라 두면 더 좋습니다. 도구 결과마다 상한을 두고(예: 로그의 마지막 200줄과 전체 줄 수), 필요하면 에이전트가 더 요청하게 하세요. 그러면 기록이 추가 전용이면서도 작게 유지됩니다.

## 규칙 4: 에이전트는 언제 기록을 압축해야 하나요?

압축(오래된 기록을 더 짧은 블록으로 요약하는 것)은 무거운 도구입니다. 접두사를 다시 쓰기 때문에, 압축 직후의 턴은 시스템 프롬프트 이후 모든 내용에 대해 입력 요금을 전액 냅니다. 몇 턴마다 조금씩 압축하면 그 요금을 계속 반복해서 내게 됩니다.

더 나은 방법은 다음과 같습니다.

-   **임계값을 높게 잡으세요.** 1M 창이라면, 예를 들어 60~70%가 찼을 때 압축하면 요약 턴과 그 뒤로 길게 이어질 새 작업을 위한 공간이 남습니다.
-   **최근 구간은 원문 그대로 두세요.** 오래된 부분은 요약하고 마지막 몇 턴은 그대로 유지하세요. opencode의 [압축 문서](https://opencode.ai/docs/compaction/)도 이 방식을 설명합니다. 대화를 요약하되 가장 최근 부분, 기본값으로 약 15,000 토큰은 유지합니다.
-   **전체 프롬프트로 요약하세요.** 요약 요청에 대화 전체를 보내면 직전 턴의 캐시를 재사용할 수 있습니다.
-   **한 번 압축하고, 다시 추가만 하세요.** 압축 후에는 새 접두사가 안정적이므로 거기서부터 캐싱이 다시 이어집니다.

## 규칙 5: 노트 파일에는 무엇을 넣어야 하나요?

어떤 사실은 압축을 몇 번 거치든 살아남아야 합니다. 목표, 제약 조건, 내린 결정, 프로젝트를 빌드하고 테스트하는 명령입니다. 이런 것은 에이전트가 덧붙이고 다시 읽는 짧은 노트 파일(`NOTES.md`나 작업 파일)에 두세요. 프롬프트 맨 위 근처에 자리 잡고, 거의 바뀌지 않으며, 실행이 다시 시작되면 새 세션이 가장 먼저 읽는 내용입니다.

이것은 가장 저렴한 형태의 메모리이기도 합니다. 수천 토큰으로, 요약할 때마다 같은 사실을 에이전트가 다시 알아내야 하는 수고를 덜어 줍니다.

## 추론 토큰은 예산에 어떤 영향을 주나요?

DeepSeek V4.1 Flash, GLM 5.3, Qwen3.8 27B는 답변하기 전에 추론하며, 추론은 `max_tokens`에 포함됩니다. 세션이 길다고 이 점이 달라지지는 않지만, 프롬프트가 크면 “공간을 아끼려고” `max_tokens`를 낮추고 싶어집니다. 그러지 마세요. 출력 예산이 빠듯하면 빈 답변이 나오고, 에이전트는 그것을 재시도합니다. [답변이 비어서 돌아오는 이유](https://broadrouter.com/ko/guides/reasoning-tokens-empty-response/)를 참고하세요.

창은 프롬프트와 답변을 합쳐서 센다는 점도 기억하세요. 프롬프트가 1,048,576 토큰에 가까워지면 답변할 공간이 남지 않습니다. 그 전에 압축하세요. [컨텍스트 창 계산기](https://broadrouter.com/tools/context-window-calculator/)는 주어진 프롬프트가 얼마만큼의 공간을 남기는지 보여 줍니다.

## 정액 플랜에서도 이것이 중요한가요?

BroadNet 플랜 세션에서 DeepSeek V4.1 Flash에는 토큰 계량이 없습니다. Full Moon 세션은 프롬프트가 아무리 길어도 월 $60 요금입니다. 캐싱의 금전적인 이유는 사라집니다. 나머지 두 가지는 남습니다. 캐시된 접두사는 많은 서빙 시스템에서 대체로 더 빨리 처리되고, 잘 관리된 컨텍스트는 더 나은 답변을 냅니다. 습관은 같고, 이유만 바뀝니다. [플랜 세션의 작동 방식](https://broadrouter.com/ko/guides/unlimited-llm-api-sessions/)을 참고하세요.

## 컨텍스트 관리 체크리스트

-   시스템 프롬프트와 도구 목록은 세션 내내 고정합니다.
-   기록은 추가만 하고, 이전 턴은 절대 다시 포맷하지 않습니다.
-   요청마다 캐시 적중률을 기록합니다.
-   도구 출력은 생성 시점에 상한을 두고, 오래된 출력은 나중에 요약으로 대체합니다.
-   압축은 높은 임계값에서 하고, 최근 구간은 원문 그대로 둡니다.
-   목표, 제약 조건, 결정을 담은 노트 파일을 둡니다.
-   출력 예산은 추론에 충분할 만큼 크게 잡습니다.

100만 토큰 창을 쓸 가치가 언제 있는지는 [1M 컨텍스트 창 가이드](https://broadrouter.com/ko/blog/million-token-context-window-guide/)를 참고하세요. 진전 없이 커지기만 하는 세션을 멈추는 방법은 [에이전트 루프 비용 관리](https://broadrouter.com/ko/blog/cut-coding-agent-llm-costs/)를 참고하세요.

관련 무료 도구 (영어)

-   [Agent run cost estimator](https://broadrouter.com/tools/agent-run-cost-estimator/) Context growth per step, total tokens and cost of one agent run, with a DeepSeek session comparison.
-   [LLM batch job planner](https://broadrouter.com/tools/llm-batch-job-planner/) Run time, binding limit, cost per model and the flat sessions needed to finish a big job by a deadline.
-   [Flat-rate vs per-token LLM cost calculator](https://broadrouter.com/tools/flat-rate-vs-per-token-calculator/) Break-even between an unlimited plan and paying per token, per agent.
-   [LLM rate limit and concurrency calculator](https://broadrouter.com/tools/llm-rate-limit-calculator/) Which limit binds first: RPM, TPM or concurrency, with Little's law.

[무료 도구 (영어)](https://broadrouter.com/tools/)

## 이 글의 용어

[AI 에이전트(AI agent)](https://broadrouter.com/ko/glossary/agent/)

AI 에이전트는 언어 모델이 목표를 향해 스스로 단계를 정하는 시스템입니다. 어떤 도구를 호출할지 결정하고, 결과를 읽고, 최종 답변을 내거나 한도에 닿을 때까지 이를 반복합니다. 정해진 지점에서 모델을 호출하는 고정된 스크립트는 보통 워크플로라고 부릅니다.

[도구 호출(tool calling)](https://broadrouter.com/ko/glossary/tool-calling/)

도구 호출(tool calling)은 함수 호출(function calling)이라고도 하며, 모델이 개발자가 정의한 함수를 실행해 달라는 구조화된 요청을 JSON 인자와 함께 반환하는 LLM API 기능입니다. 함수는 애플리케이션이 실행하고 그 결과를 다시 보냅니다. 모델이 직접 코드를 실행하지는 않습니다.

[컨텍스트 윈도우(context window)](https://broadrouter.com/ko/glossary/context-window/)

컨텍스트 윈도우는 언어 모델이 요청 한 번에 다룰 수 있는 최대 토큰 수입니다. 프롬프트, 대화 기록, 도구 정의, 이미지, 그리고 추론 토큰을 포함한 생성 출력이 모두 여기에 들어갑니다. 들어가지 않는 내용은 잘라 내거나 요약하거나 여러 요청으로 나눠야 합니다.

[Lost in the middle(중간 정보 손실)](https://broadrouter.com/ko/glossary/lost-in-the-middle/)

Lost in the middle은 언어 모델이 긴 입력에서 관련 정보가 처음이나 끝 근처에 있을 때 가장 잘 활용하고, 중간에 있을 때 가장 못 활용하는 경향을 말합니다. Liu 외의 2023년 연구에서 이름이 붙었습니다.

[종량제(Pay-as-you-go)](https://broadrouter.com/ko/glossary/pay-as-you-go/)

종량제(pay-as-you-go)는 구독이나 최소 약정 없이 토큰, 요청, 오디오 분 같은 단위로 사용량을 측정해 쓴 만큼만 내는 요금 방식입니다. 대부분의 LLM API가 선불 잔액에서 차감하거나 정기 청구서를 발행하는 식으로 이렇게 과금합니다.

[캐시된 입력 토큰(cached input tokens)](https://broadrouter.com/ko/glossary/cached-input-tokens/)

캐시된 입력 토큰은 LLM 제공업체가 최근에 처리해 두었다가 다시 계산하지 않고 캐시에서 재사용할 수 있는 프롬프트 토큰입니다. 보통 시스템 프롬프트나 문서처럼 반복되는 접두부(prefix)이며, 제공업체는 이를 새 입력 토큰보다 낮은 단가로 과금합니다.

[컨텍스트 로트(context rot)](https://broadrouter.com/ko/glossary/context-rot/)

컨텍스트 로트(context rot)는 작업이 그대로이고 입력이 컨텍스트 윈도우 안에 충분히 들어가더라도, 입력이 길어질수록 언어 모델의 정확도와 신뢰성이 점점 떨어지는 현상입니다. 18개 모델을 시험한 2025년 Chroma 기술 보고서로 널리 알려진 용어입니다.

[컨텍스트 압축(context compaction)](https://broadrouter.com/ko/glossary/context-compaction/)

컨텍스트 압축(context compaction)은 컨텍스트 윈도우 한도에 가까워진 대화를 요약하고 그 요약에서 세션을 이어 가는 방식입니다. 에이전트는 핵심 결정과 상태는 유지하고, 오래된 도구 출력 같은 원시 기록은 버립니다.

## 자주 묻는 질문

### 모델 창이 1M인데 컨텍스트를 왜 관리해야 하나요?

프롬프트가 커지면 비용, 지연 시간, 정확도가 모두 달라지기 때문입니다. 긴 프롬프트는 처리하는 데 더 오래 걸리고, 토큰당 과금 키에서는 턴마다 비용이 더 들며, 연구에 따르면 모델은 긴 입력의 중간에 있는 정보를 덜 안정적으로 활용합니다.

### 에이전트가 캐시를 타고 있는지 어떻게 알 수 있나요?

모델이 보고하는 경우 usage 블록에 prompt\_tokens\_details.cached\_tokens가 포함됩니다. 요청마다 이 값을 prompt\_tokens로 나누고 그 비율을 기록하세요.

### 정액 플랜에서도 압축이 중요한가요?

플랜 세션에는 토큰 계량이 없으므로 요금에는 영향이 없습니다. 하지만 매우 긴 세션에서는 속도와 답변 품질에 여전히 중요합니다.

## 이어서 읽기

-   [100만 토큰 컨텍스트 윈도우, 언제 쓸 만하고 언제 아닌가](https://broadrouter.com/ko/blog/million-token-context-window-guide/)
-   [캐시된 입력 토큰: 프롬프트 캐싱으로 LLM API 요금 줄이기](https://broadrouter.com/ko/blog/cached-input-tokens-explained/)
-   [코딩 에이전트 LLM 비용 줄이는 10가지 방법과 예상 절감액](https://broadrouter.com/ko/blog/cut-coding-agent-llm-costs/)
-   [코딩 에이전트를 밤새 무인으로 안전하게 돌리는 방법](https://broadrouter.com/ko/blog/overnight-coding-agent-runs/)
-   [AI 코딩 에이전트 1회 실행 비용: 단계 수, 컨텍스트 증가, 캐싱](https://broadrouter.com/ko/blog/ai-coding-agent-run-cost/)
-   [오픈 모델로 Claude Code 쓰기: 프록시, 네이티브 엔드포인트, 한계](https://broadrouter.com/ko/blog/claude-code-with-openai-compatible-models/)
-   [가이드: 채팅 완성 스트리밍과 끊긴 연결 처리하기](https://broadrouter.com/ko/guides/streaming-chat-completions/)
-   [가이드: 추론 모델이 빈 답변을 반환하는 이유](https://broadrouter.com/ko/guides/reasoning-tokens-empty-response/)
-   [가이드: 에이전트용 무제한 LLM API 플랜은 어떻게 작동하나요?](https://broadrouter.com/ko/guides/unlimited-llm-api-sessions/)

실제 워크로드로 테스트해 보세요. 신규 계정에는 US$5 상당의 초기 크레딧이 제공되며 Gemma 및 음성 전사에 사용할 수 있습니다. DeepSeek, GLM 및 Qwen3.8 모델은 충전이 필요합니다.

[시작하기](https://inference.broadnet.ai/account/?utm_source=broadrouter&utm_medium=referral&utm_campaign=ko-blog-long-running-agent-context-management&utm_content=page-cta) ·

**출처**

-   [BroadNet Inference API 레퍼런스, 추론 토큰과 캐시된 토큰 (영어)](https://inference.broadnet.ai/docs?utm_source=broadrouter&utm_medium=referral&utm_campaign=ko-blog-long-running-agent-context-management&utm_content=sources)
-   [Liu et al., Lost in the Middle: How Language Models Use Long Contexts (arXiv)](https://arxiv.org/abs/2307.03172)
-   [opencode 문서, 압축(compaction)](https://opencode.ai/docs/compaction/)
