BroadRouter

에이전트 토큰 예산: 에이전트 루프의 토큰은 어디로 가는가

BroadNet Inference 팀 · 5분 분량 · 게시

에이전트 루프는 호출마다 전체 컨텍스트를 다시 보냅니다. 시스템 프롬프트, 도구 정의, 대화 기록, 파일 내용, 도구 출력에 새 단계가 더해집니다. 대개 입력이 출력보다 몇 배나 많습니다. 호출마다 prompt_tokens, cached_tokens, completion_tokens를 기록해 가장 큰 반복 블록을 찾은 뒤, 도구를 줄이고, 도구 출력에 상한을 두고, 긴 세션은 새로 시작하세요.

채팅의 비용은 입력한 것과 모델이 쓴 것의 합입니다. 에이전트는 훨씬 더 많이 듭니다. 모델을 수십 번 호출하고, 매번 거의 모든 것을 다시 보내기 때문입니다. 이 비용을 줄이거나 그저 컨텍스트 윈도 한도에 부딪히지 않으려면, 각 요청의 어느 부분이 큰지 알아야 합니다. 이 글은 에이전트 루프를 다섯 가지 항목으로 나누고, API 자체의 사용량 데이터로 각 항목을 측정하는 법을 보여 주며, 먼저 줄일 곳을 정리합니다.

에이전트는 왜 모든 것을 다시 보내나요?

채팅 완성 API는 상태를 저장하지 않습니다. 모델은 호출 사이에 아무것도 기억하지 못하므로, 에이전트는 단계마다 전체 컨텍스트를 보냅니다. 호출마다 30,000토큰을 싣는 40단계 작업은 출력 토큰 40,000개 정도를 만들기 위해 입력 토큰 120만 개를 읽습니다. 이 30대 1의 비율 때문에 에이전트 청구액에서는 입력 토큰과 그 캐시 가격이 가장 중요합니다.

토큰은 어디로 가나요?

항목 내용 매 호출 반복? 주요 원인
시스템 프롬프트 에이전트 지시문, 규칙 파일, 프로젝트 메모 예 긴 규칙 파일
도구 스키마 모든 도구의 이름, 설명, JSON Schema 예 내장 도구와 모든 MCP 서버
대화 기록 이전 메시지, 도구 호출과 결과 예, 계속 늘어남 긴 세션
파일 읽기와 도구 출력 파일 내용, 테스트 로그, 검색 결과 예, 제거될 때까지 파일 전체 읽기, 장황한 명령
출력 보이는 답변, 도구 호출, 추론 아니요 추론 강도, 파일 전체 다시 쓰기

앞의 두 항목은 고정 오버헤드입니다. Cursor는 2026년 9월, 시스템 프롬프트와 도구 정의가 “had become one of the largest sources of spend that we fully control”(번역: 우리가 완전히 통제하는 지출 중 가장 큰 항목 하나가 되었다)고 썼고, 파일 읽기를 “another large source of token spend”(번역: 또 하나의 큰 토큰 지출원)라고 불렀습니다. 시스템 프롬프트를 약 3분의 2 줄이고, 대화의 20% 미만에서 쓰이는 도구는 필요할 때만 불러오는 등의 변경으로 사용자의 토큰 비용을 7% 줄였습니다. GitHub의 VS Code 팀도 Copilot에 대해 같은 두 가지 비용을 꼽았습니다. 반복되는 프롬프트 접두부와 도구 정의 오버헤드입니다.

어떻게 측정하나요?

추적 제품은 필요 없습니다. 각 응답의 사용량 블록이면 충분합니다.

  1. 사용량을 켜세요. 스트리밍이라면 stream_options: {"include_usage": true}를 추가하세요. 사용량은 마지막 청크에 담겨 옵니다. 스트리밍을 참고하세요.
  2. 호출마다 기록하세요. 단계 번호, prompt_tokens, prompt_tokens_details.cached_tokens, completion_tokens, 그리고 보고되는 경우 completion_tokens_details.reasoning_tokens입니다.
  3. 고정 오버헤드는 한 번만 측정하세요. 시스템 프롬프트와 도구만 넣고 “hi” 한 단어로 요청을 하나 보내세요. 그 prompt_tokens가 최저선입니다.
  4. 도구 출력을 측정하세요. 각 도구 결과를 덧붙이기 전에 글자 수를 세세요. 4로 나누면 대략적인 영어 토큰 수가 나옵니다. 내 모델의 토크나이저 기준 정확한 수치는 무료 토큰 카운터에 샘플을 붙여 넣어 확인하세요.
r = client.chat.completions.create(model=MODEL, messages=msgs, tools=tools)
u = r.usage
cached = getattr(u.prompt_tokens_details, "cached_tokens", 0) or 0
log.info("step=%d prompt=%d cached=%d out=%d", step, u.prompt_tokens, cached, u.completion_tokens)

prompt_tokens를 단계별로 그래프로 그려 보세요. 꾸준한 기울기는 대화 기록이 늘어난다는 뜻입니다. 갑작스러운 점프는 큰 파일이나 로그가 컨텍스트에 들어왔다는 뜻입니다. 최저선이 높다면 도구가 너무 많은 것입니다.

Aider에서는 /tokens가 현재 컨텍스트에 무엇이 있는지 알려 주고, /drop으로 파일을 뺄 수 있습니다.

무엇부터 줄여야 하나요?

가장 쉬운 것이 아니라 크기 × 반복 횟수 순서로 정하세요.

  1. 쓰지 않는 도구. 모든 도구 스키마는 모든 호출에 실립니다. OpenAI 가이드는 함수 정의가 “are billed as input tokens”(번역: 입력 토큰으로 과금된다)고 하며, 느슨한 규칙으로 턴 시작 시 함수 20개 미만을 권합니다. 이번 작업에 쓰지 않는 MCP 서버는 끄세요. opencode 문서는 MCP 도구가 모델 컨텍스트를 소비한다고 분명히 적고 있습니다.
  2. 도구 출력. 명령 출력에 상한을 두세요(테스트 로그 20,000줄이 아니라 마지막 200줄). 검색 결과는 경로와 줄 번호로 돌려주고, 필요한 부분만 읽으세요.
  3. 파일 읽기. 파일이 아니라 함수를 읽으세요. Aider의 저장소 맵은 파일 전체 대신 기본 1k 토큰 예산(--map-tokens)을 씁니다.
  4. 대화 기록. 변경마다 새 작업을 시작하세요. 세션을 이어 가야 한다면 오래된 턴을 짧은 요약으로 바꾸세요.
  5. 시스템 프롬프트. 모델이 이미 따르는 규칙은 지우세요. 나머지는 고정해 두세요.
  6. 출력. 파일 전체가 아니라 diff를 요청하세요. 일상적인 단계에는 reasoning_effort를 low로 설정하세요. 추론 토큰은 출력으로 과금됩니다.

왜 접두부를 고정해야 하나요?

제공업체는 반복되는 접두부를 캐시하고 더 낮은 요금으로 과금합니다. BroadNet Inference에서 DeepSeek V4.1 Flash는 캐시된 입력을 100만 토큰당 $0.0055 요금으로, 새 입력을 $0.175 요금으로 과금합니다. GLM 5.3은 $0.173 대 $0.78 요금입니다. 시스템 프롬프트의 타임스탬프나 호출마다 순서가 바뀌는 도구 목록은 그 지점부터 캐시를 깨뜨립니다. 고정된 부분을 정해진 순서로 앞에, 바뀌는 부분을 뒤에 두세요. 자세한 내용은 캐시된 입력 토큰 설명에 있고, 프롬프트 캐싱 계산기로 적중률별 절감액을 볼 수 있습니다.

캐싱은 접두부의 가격을 낮추지만 크기를 줄이지는 않습니다. 캐시된 토큰도 컨텍스트 윈도를 채우고, 처리하는 데 시간이 걸립니다.

에이전트 예산 계산 예시는 어떤 모습인가요?

위의 40단계 작업에서 입력의 80%가 캐시된다고 합시다.

부분 토큰 과금 기준
새 입력 240,000 입력 가격
캐시된 입력 960,000 캐시된 입력 가격
추론을 포함한 출력 40,000 출력 가격

호출마다 쓰지 않는 도구 스키마 5,000토큰을 빼면, 에이전트의 동작은 그대로인 채 이 작업에서 입력 토큰 200,000개, 전체의 약 6분의 1이 사라집니다. 모델 선택, 캐싱, 정액 플랜처럼 줄이기 외의 비용 지렛대는 코딩 에이전트 LLM 비용 줄이는 10가지 방법을 보세요. 멀티 에이전트 구성이라면 에이전트 수를 곱하세요. 멀티 에이전트 구성의 비용을 참고하세요. 내 루프를 단계별로 모델링하려면 에이전트 실행 비용 추정기를 쓰세요.

BroadNet Inference의 위치

BroadNet Inference는 사용량 블록에 프롬프트 토큰과 완성 토큰을 돌려주고, 모델이 보고하는 경우 캐시된 토큰과 추론 토큰도 돌려주므로, 위의 측정 방법이 그대로 동작합니다. DeepSeek V4.1 Flash의 낮은 캐시된 입력 가격은 고정된 접두부에 보상을 줍니다. 줄이는 데 시간을 쓸 가치가 없다면, 무제한 플랜이 세션당 월 $60 요금으로 DeepSeek V4.1 Flash의 토큰 계량을 없애 줍니다. 컨텍스트 윈도 한도는 여전히 적용되며, 가벼운 컨텍스트가 여전히 더 빠르게 돕니다. 플랜은 inference.broadnet.ai/plans에 있습니다.

자주 묻는 질문

코딩 에이전트는 왜 입력 토큰을 이렇게 많이 쓰나요?

API가 상태를 저장하지 않기 때문입니다. 호출마다 시스템 프롬프트, 모든 도구 정의, 지금까지의 대화, 컨텍스트에 남아 있는 모든 파일 내용을 다시 보냅니다. 긴 세션에서는 여기에 단계 수가 곱해집니다.

에이전트 단계마다 토큰을 얼마나 쓰는지 어떻게 확인하나요?

각 응답의 사용량 블록을 읽으세요. 스트리밍이라면 stream_options의 include_usage를 true로 설정하고 마지막 청크를 읽으세요. 단계 번호와 함께 prompt_tokens, prompt_tokens_details.cached_tokens, completion_tokens를 기록하세요.

도구 정의도 입력 토큰에 포함되나요?

네. 도구 목록은 프롬프트의 일부이며 호출마다 전송됩니다. MCP 서버는 그 목록에 자기 도구를 추가하므로, opencode 문서는 필요한 서버만 추가하라고 안내합니다.

프롬프트 캐싱이 문제를 해결해 주나요?

반복되는 접두부의 크기가 아니라 가격을 줄여 줍니다. 캐시된 입력도 컨텍스트 윈도를 채웁니다. BroadNet에서 DeepSeek V4.1 Flash는 캐시된 입력을 100만 토큰당 $0.0055 요금으로, 새 입력을 $0.175 요금으로 과금합니다.

추론 토큰도 예산에 포함되나요?

네, 출력 쪽에 포함됩니다. 추론 모델은 생각을 max_tokens에 포함하며, 종량제에서는 출력으로 과금합니다. 일상적인 단계에는 reasoning_effort를 low로 설정하세요.

Markdown으로 읽기ChatGPT에 질문하기Claude에 질문하기Perplexity에 질문하기