컨텍스트 윈도우는 요청 한 번에 대한 모델의 작업 기억입니다. 모델이 봐야 하는 모든 내용과 모델이 돌려주는 모든 내용이 이 안에 들어가야 합니다.
작동 방식
윈도우는 토큰 단위로 측정합니다. Anthropic 문서는 이를 “all the text a language model can reference when generating a response, including the response itself”(번역: 언어 모델이 응답을 생성할 때 참조할 수 있는 모든 텍스트이며, 응답 자체도 포함)라고 설명합니다. 여기에는 다음이 포함됩니다.
- 시스템 프롬프트와 이전 턴을 포함한 모든 메시지
- 도구 정의와 도구 결과
- 문서와 이미지
- 숨겨진 추론 토큰을 포함한 출력
즉 예산을 함께 나눠 씁니다. 윈도우가 1,048,576 토큰일 때 프롬프트가 1,040,000 토큰이면 추론과 답변에 남는 공간은 약 8,000 토큰입니다. 이 점을 고려해 max_tokens 값을 정하세요.
모델은 이전 요청을 기억하지 않습니다. 채팅이 이어지는 것처럼 느껴지는 이유는 클라이언트가 매 턴마다 대화 기록을 다시 보내기 때문이며, 그래서 대화가 길어질수록 윈도우가 조금씩 차오릅니다.
왜 중요한가
- 능력. 윈도우가 크면 요청 하나에 코드베이스 전체, 계약서 묶음, 몇 시간 분량의 전사 텍스트를 담을 수 있어, 모델이 그 사이의 사실을 서로 연결할 수 있습니다.
- 비용. 토큰당 과금 키에서는 윈도우 안의 모든 토큰이 입력으로 과금됩니다. 캐싱은 반복되는 접두부(prefix)의 가격을 낮춰 주지만, 캐시된 토큰도 윈도우를 차지합니다.
- 품질. 많다고 늘 좋은 것은 아닙니다. Anthropic은 아주 긴 프롬프트에서 정확도가 떨어지는 현상을 “context rot”(번역: 컨텍스트 부패)라고 부릅니다. 보낼 내용을 골라서 보내세요.
- 지연 시간. 프롬프트가 길면 첫 토큰이 나오기까지 더 오래 걸립니다.
BroadNet Inference에서는
| 모델 | 컨텍스트 윈도우 |
|---|---|
| DeepSeek V4.1 Flash | 1,048,576 토큰 |
| GLM 5.3 | 1,048,576 토큰 |
| Qwen3.8 27B | 262,144 토큰 |
| BroadNet Gemma 4 VL 26B | 32,768 토큰 |
윈도우에는 프롬프트와 답변이 함께 들어가며, BroadNet은 컨텍스트를 잘라 내지 않습니다. DeepSeek V4.1 Flash, GLM 5.3, Qwen3.8 27B는 답변 전에 추론하므로 여유를 남겨 두세요. 윈도우가 가득 찬 상태에서 출력 예산이 작으면 빈 응답이 돌아옵니다. 추론 모델이 빈 답변을 반환하는 이유를 참고하세요.
무제한 플랜에서는 DeepSeek V4.1 Flash의 100만 토큰 윈도우 전체를 쓸 수 있습니다. 이만큼의 컨텍스트가 검색(retrieval)보다 나은 경우는 100만 토큰 컨텍스트 윈도우 가이드에서 확인하세요.
흔한 실수
- 윈도우를 출력 길이로 착각하는 것. 출력 한도는
max_tokens로 따로 설정합니다. - 전체 대화 기록을 끝없이 다시 보내는 것. 윈도우가 차기 전에 오래된 턴을 요약하거나 버리세요.