BroadRouter
시작하기

컨텍스트 윈도우(context window)

업데이트

컨텍스트 윈도우는 언어 모델이 요청 한 번에 다룰 수 있는 최대 토큰 수입니다. 프롬프트, 대화 기록, 도구 정의, 이미지, 그리고 추론 토큰을 포함한 생성 출력이 모두 여기에 들어갑니다. 들어가지 않는 내용은 잘라 내거나 요약하거나 여러 요청으로 나눠야 합니다.

다른 이름: 컨텍스트 창, 컨텍스트 길이, 컨텍스트 크기, 토큰 한도, 문맥 길이, context window, context length, context size, token limit, context limit

컨텍스트 윈도우는 요청 한 번에 대한 모델의 작업 기억입니다. 모델이 봐야 하는 모든 내용과 모델이 돌려주는 모든 내용이 이 안에 들어가야 합니다.

작동 방식

윈도우는 토큰 단위로 측정합니다. Anthropic 문서는 이를 “all the text a language model can reference when generating a response, including the response itself”(번역: 언어 모델이 응답을 생성할 때 참조할 수 있는 모든 텍스트이며, 응답 자체도 포함)라고 설명합니다. 여기에는 다음이 포함됩니다.

  • 시스템 프롬프트와 이전 턴을 포함한 모든 메시지
  • 도구 정의와 도구 결과
  • 문서와 이미지
  • 숨겨진 추론 토큰을 포함한 출력

즉 예산을 함께 나눠 씁니다. 윈도우가 1,048,576 토큰일 때 프롬프트가 1,040,000 토큰이면 추론과 답변에 남는 공간은 약 8,000 토큰입니다. 이 점을 고려해 max_tokens 값을 정하세요.

모델은 이전 요청을 기억하지 않습니다. 채팅이 이어지는 것처럼 느껴지는 이유는 클라이언트가 매 턴마다 대화 기록을 다시 보내기 때문이며, 그래서 대화가 길어질수록 윈도우가 조금씩 차오릅니다.

왜 중요한가

  • 능력. 윈도우가 크면 요청 하나에 코드베이스 전체, 계약서 묶음, 몇 시간 분량의 전사 텍스트를 담을 수 있어, 모델이 그 사이의 사실을 서로 연결할 수 있습니다.
  • 비용. 토큰당 과금 키에서는 윈도우 안의 모든 토큰이 입력으로 과금됩니다. 캐싱은 반복되는 접두부(prefix)의 가격을 낮춰 주지만, 캐시된 토큰도 윈도우를 차지합니다.
  • 품질. 많다고 늘 좋은 것은 아닙니다. Anthropic은 아주 긴 프롬프트에서 정확도가 떨어지는 현상을 “context rot”(번역: 컨텍스트 부패)라고 부릅니다. 보낼 내용을 골라서 보내세요.
  • 지연 시간. 프롬프트가 길면 첫 토큰이 나오기까지 더 오래 걸립니다.

BroadNet Inference에서는

모델 컨텍스트 윈도우
DeepSeek V4.1 Flash 1,048,576 토큰
GLM 5.3 1,048,576 토큰
Qwen3.8 27B 262,144 토큰
BroadNet Gemma 4 VL 26B 32,768 토큰

윈도우에는 프롬프트와 답변이 함께 들어가며, BroadNet은 컨텍스트를 잘라 내지 않습니다. DeepSeek V4.1 Flash, GLM 5.3, Qwen3.8 27B는 답변 전에 추론하므로 여유를 남겨 두세요. 윈도우가 가득 찬 상태에서 출력 예산이 작으면 빈 응답이 돌아옵니다. 추론 모델이 빈 답변을 반환하는 이유를 참고하세요.

무제한 플랜에서는 DeepSeek V4.1 Flash의 100만 토큰 윈도우 전체를 쓸 수 있습니다. 이만큼의 컨텍스트가 검색(retrieval)보다 나은 경우는 100만 토큰 컨텍스트 윈도우 가이드에서 확인하세요.

흔한 실수

  • 윈도우를 출력 길이로 착각하는 것. 출력 한도는 max_tokens로 따로 설정합니다.
  • 전체 대화 기록을 끝없이 다시 보내는 것. 윈도우가 차기 전에 오래된 턴을 요약하거나 버리세요.

자주 묻는 질문

프롬프트가 컨텍스트 윈도우보다 길면 어떻게 되나요?

API가 요청을 거부하며, 보통 400 오류를 반환합니다. 예를 들어 Anthropic은 "prompt is too long"(번역: 프롬프트가 너무 깁니다)을 반환합니다. 일부 채팅 앱은 오래된 메시지를 대신 잘라 주지만, 대부분의 API는 그렇게 하지 않습니다.

컨텍스트 윈도우는 클수록 무조건 좋은가요?

아니요. 긴 프롬프트는 비용이 더 들고 처리 시간도 길어집니다. Anthropic은 토큰 수가 늘어날수록 정확도와 기억(recall)이 떨어질 수 있다고 말합니다. 작업에 필요한 만큼만 보내세요.

BroadNet이 컨텍스트를 잘라 내나요?

아니요. BroadNet Inference는 컨텍스트를 잘라 내지 않습니다. 요청이 들어가지 않으면 직접 줄여야 합니다.

Markdown으로 읽기ChatGPT에 질문하기Claude에 질문하기Perplexity에 질문하기