---
title: "100만 토큰 컨텍스트 윈도우: 효과와 비용 | BroadRouter"
description: "1,048,576토큰에 무엇이 들어가는지, DeepSeek V4.1 Flash에서 비용이 얼마인지, 추론과 캐싱이 계산을 어떻게 바꾸는지, 그리고 언제 여전히 RAG가 나은지 정리했습니다."
url: https://broadrouter.com/ko/blog/million-token-context-window-guide/
lang: ko
updated: 2026-11-14
publisher: BroadRouter (a BroadNet site); API by BroadNet Inference, https://inference.broadnet.ai
---

이 페이지는 영어 원문을 AI의 도움을 받아 번역했습니다. [영어 원문 읽기](https://broadrouter.com/blog/million-token-context-window-guide/) (2026-11-14 업데이트).

# 100만 토큰 컨텍스트 윈도우, 언제 쓸 만하고 언제 아닌가

BroadNet Inference 팀 · 4분 분량 · 게시 2026-11-14

100만 토큰 컨텍스트 윈도우를 쓰면 요청 하나에 코드베이스 전체, 계약서 묶음, 몇 시간 분량의 회의록을 담을 수 있어, 모델이 검색된 조각이 아니라 모든 내용을 한 번에 봅니다. 여러 파일에 걸친 추론과 일회성 분석에서 효과가 크고, 크고 자주 바뀌는 코퍼스에서 반복 조회할 때는 검색이 더 저렴합니다. DeepSeek V4.1 Flash와 GLM 5.3은 1,048,576토큰을 받습니다.

## 핵심 요약

-   DeepSeek V4.1 Flash와 GLM 5.3은 요청당 프롬프트와 답변을 합쳐 1,048,576토큰을 받습니다.
-   답이 여러 파일이나 문서 사이의 연결에 달려 있을 때는 롱 컨텍스트가 검색보다 낫습니다.
-   크고 자주 바뀌는 코퍼스에서 작은 조회를 많이 할 때는 여전히 검색(RAG)이 유리합니다.
-   모델은 긴 입력을 고르게 활용하지 않습니다. 연구에 따르면 중간에 묻힌 사실일수록, 입력이 길어질수록 정확도가 떨어집니다.
-   캐싱은 같은 긴 프롬프트를 다시 보내는 비용을 줄여 줍니다. 무제한 플랜에서는 긴 프롬프트에 추가 비용이 들지 않습니다.
-   윈도우 안에 추론 토큰을 위한 공간을 남겨 두세요.

**이 페이지의 내용**

1.  100만 토큰에는 무엇이 들어가나요?
2.  BroadNet에서 100만 토큰 컨텍스트 윈도우를 지원하는 모델은 무엇인가요?
3.  100만 토큰 윈도우는 언제 쓸 만한가요?
4.  그래도 검색이 더 나은 경우는 언제인가요?
5.  모델은 정말 윈도우 전체를 활용하나요?
6.  100만 토큰 프롬프트의 비용은 얼마인가요?
7.  답변을 위한 공간은 얼마나 남겨야 하나요?
8.  100만 토큰 프롬프트를 위해 코드베이스를 준비하는 방법
9.  BroadNet Inference는 어디에 적합한가요?

_[image: Light shining through towering cliffs made of stacked paper pages.]_

[컨텍스트 윈도우](https://broadrouter.com/ko/glossary/context-window/)는 수천 토큰에서 100만 토큰 이상으로 커졌습니다. BroadNet Inference의 [DeepSeek V4.1 Flash](https://broadrouter.com/ko/models/deepseek-v4.1-flash/)와 [GLM 5.3](https://broadrouter.com/ko/models/glm-5.3/)은 프롬프트와 답변을 합쳐 **요청당 1,048,576토큰**을 받습니다. 이는 구축 방식을 바꿔 놓지만, 모든 프롬프트를 더 좋게 만들어 주지는 않습니다.

## 100만 토큰에는 무엇이 들어가나요?

대략적인 기준을 들자면, 저희 [토크나이저 효율 데이터셋](https://broadrouter.com/data/tokenizer-efficiency/)에서 영어 산문 1,000단어는 5개 토크나이저 평균으로 약 1,290 [토큰](https://broadrouter.com/ko/glossary/token/)이었습니다. 따라서 100만 토큰은 일반 산문으로 대략 810,000 단어입니다.

| 콘텐츠 | 대략적인 판단 |
| --- | --- |
| 중간 규모 코드베이스(수만 줄) | 여유 있게 들어감 |
| 부속 문서가 딸린 긴 계약서 여러 건 | 들어감 |
| 하루 치 회의록 | 들어감 |
| 의존성까지 포함한 대형 모노레포 | 들어가지 않는 경우가 많음, 디렉터리를 선별 |

토큰 수는 언어와 콘텐츠에 따라 다릅니다. 코드와 아랍어 텍스트는 영어 산문보다 문자당 토큰을 더 많이 쓰는 경우가 많습니다. 추정하기보다 실제 요청의 `usage` 블록으로 측정하거나, [컨텍스트 윈도우 계산기](https://broadrouter.com/tools/context-window-calculator/)에서 샘플을 확인하세요.

## BroadNet에서 100만 토큰 컨텍스트 윈도우를 지원하는 모델은 무엇인가요?

| 모델 | 컨텍스트 윈도우 | 입력 | 출력 | 이미지 |
| --- | --- | --- | --- | --- |
| [DeepSeek V4.1 Flash](https://broadrouter.com/ko/models/deepseek-v4.1-flash/) | 1,048,576 | $0.175 | $0.52 | 예 |
| [GLM 5.3](https://broadrouter.com/ko/models/glm-5.3/) | 1,048,576 | $0.78 | $3.46 | 아니요 |
| [Qwen3.8 27B](https://broadrouter.com/ko/models/qwen3.8-27b/) | 262,144 | $0.175 | $2.17 | 예 |
| [BroadNet Gemma 4 VL 26B](https://broadrouter.com/ko/models/gemma-4-vl-26b/) | 32,768 | $0.10 | $0.22 | 예 |

가격은 100만 토큰당 기준입니다. GLM 5.3은 같은 100만 토큰 윈도우에 도구 호출과 구조화된 출력을 더합니다.

## 100만 토큰 윈도우는 언제 쓸 만한가요?

-   **여러 파일에 걸친 추론.** “이 테스트는 왜 실패하나?”는 아무도 함께 검색할 생각을 못 할 파일 다섯 개에 달려 있는 경우가 많습니다.
-   **문서 전체 검토.** 4조와 부속서 B 사이의 충돌을 찾으려면 둘을 함께 봐야 합니다.
-   **일회성 분석.** 한 번만 할 질문이라면 검색 인덱스를 만드는 수고가 얻는 것보다 큽니다.
-   **에이전트.** 모듈 전체를 읽을 수 있는 서브에이전트는 잘못된 추측을 덜 합니다. [병렬 에이전트 실행](https://broadrouter.com/ko/blog/run-parallel-coding-agents-flat-rate/)을 참고하세요.

## 그래도 검색이 더 나은 경우는 언제인가요?

어떤 윈도우보다도 훨씬 큰 자료에서 작은 조회를 많이 할 때, 매분 바뀌는 콘텐츠일 때, 그리고 거대한 프롬프트를 먼저 읽는 것이 지연을 더하는 빠른 대화형 답변일 때는 검색이 유리합니다. 많은 프로덕션 시스템은 둘 다 씁니다. 가장 관련 있는 20만 토큰을 검색한 다음, 롱 컨텍스트 모델이 그 전부를 가로질러 추론하게 합니다. 쿼리당 비용, 지연 시간, 재현율을 나란히 놓고 판단하는 전체 과정은 [롱 컨텍스트 vs RAG](https://broadrouter.com/ko/blog/long-context-vs-rag/)에 있습니다.

## 모델은 정말 윈도우 전체를 활용하나요?

고르게 활용하지는 않습니다. 이 점에 대해서는 연구 결과가 일관됩니다.

-   [Lost in the Middle](https://arxiv.org/abs/2307.03172) 논문(Liu 외)은 성능이 “is often highest when relevant information occurs at the beginning or end of the input context”(번역: 관련 정보가 입력 컨텍스트의 처음이나 끝에 있을 때 가장 높은 경우가 많다)는 결과를 얻었습니다.
-   Chroma의 [Context Rot](https://www.trychroma.com/research/context-rot) 보고서는 18개 모델을 테스트해 단순한 작업에서도 “performance grows increasingly unreliable as input length grows”(번역: 입력 길이가 늘어날수록 성능을 점점 더 신뢰할 수 없게 된다)는 결과를 얻었습니다.

이 연구들은 BroadNet의 모델을 테스트한 것이 아니므로, 측정값이 아니라 경고로 받아들이세요. 실무 규칙은 이렇습니다. 100만 토큰을 받는 윈도우라고 해서 모든 토큰이 똑같은 주의를 받는 것은 아닙니다. 가장 중요한 자료는 처음이나 끝 가까이에 두고, 직접 가진 문서로 재현율을 테스트하세요.

## 100만 토큰 프롬프트의 비용은 얼마인가요?

[종량제](https://broadrouter.com/ko/glossary/pay-as-you-go/) 키에서 DeepSeek V4.1 Flash는 100만 입력 토큰당 $0.175, 100만 [캐시된 입력 토큰](https://broadrouter.com/ko/glossary/cached-input-tokens/)당 $0.0055 요금입니다. 100만 토큰을 꽉 채운 프롬프트는 처음에 약 $0.175 요금이 들고, 프리픽스가 캐시되면 반복 호출에서는 훨씬 적게 듭니다. [캐시 적중률을 높이는 방법](https://broadrouter.com/ko/blog/cached-input-tokens-explained/)을 참고하세요.

[프롬프트 캐싱 계산기](https://broadrouter.com/tools/prompt-caching-calculator/)는 직접 쓰는 프롬프트 크기에서 캐시 적중이 얼마를 절약하는지 보여 줍니다. 계산 예를 들어 보겠습니다. 같은 80만 토큰짜리 계약서 묶음에 대해 질문을 10개 합니다. 캐싱이 없다면 100만 토큰당 $0.175 요금으로 800만 토큰입니다. 문서를 맨 앞에 두고 동일하게 유지하면, 첫 호출은 새 토큰 80만 개를 읽고 이후 아홉 번은 대부분을 100만 토큰당 $0.0055 요금의 캐시에서 읽을 수 있습니다. 바뀌는 것은 질문과 답변뿐입니다.

무제한 플랜에서는 프롬프트 크기가 요금을 바꾸지 않습니다. Full Moon은 세션당 월 $60 요금이며 토큰 계량이 없습니다. 그래서 롱 컨텍스트 에이전트는 [토큰당 과금 대신 정액 플랜](https://broadrouter.com/ko/blog/flat-rate-vs-pay-per-token-llm-api/)을 고르는 흔한 이유입니다.

## 답변을 위한 공간은 얼마나 남겨야 하나요?

윈도우에는 프롬프트**와** 출력이 모두 들어가며, 추론 모델에서는 출력에 사고 과정이 포함됩니다. 프롬프트로 1,040,000토큰을 보내면 [추론](https://broadrouter.com/ko/glossary/reasoning-tokens/)과 답변에 남는 공간은 약 8,000토큰뿐입니다. 여유를 두고, [`max_tokens`](https://broadrouter.com/ko/glossary/max-tokens/)를 명시적으로 설정하고, [추론 모델이 빈 답변을 반환할 수 있는 이유](https://broadrouter.com/ko/guides/reasoning-tokens-empty-response/)를 읽어 보세요.

## 100만 토큰 프롬프트를 위해 코드베이스를 준비하는 방법

1.  **모델에 필요 없는 것은 빼세요.** 락 파일, 빌드 결과물, 벤더링된 의존성, 이미지, 생성된 코드는 토큰을 차지하고 잡음을 더합니다.
2.  **보내기 전에 세세요.** 작은 샘플을 보내 usage에서 `prompt_tokens`를 읽고, 비례해서 늘리세요.
3.  **안정성 순으로 정렬하세요.** 거의 바뀌지 않는 파일을 먼저, 수정 중인 파일을 마지막에, 질문은 맨 끝에 두세요. 그래야 프리픽스가 캐시될 수 있습니다.
4.  **모든 파일에 라벨을 붙이세요.** `=== path/to/file.py ===` 같은 명확한 표시로 파일을 감싸면 모델이 파일을 인용할 수 있습니다.
5.  **인용을 요청하세요.** “근거로 삼은 줄을 인용하세요”라는 요청은 거대한 입력에서 자신 있게 틀리는 실수를 줄여 줍니다.
6.  **측정하세요.** 요청마다 프롬프트 토큰, 캐시된 토큰, 첫 토큰까지의 시간을 로그에 남기세요. [스트리밍](https://broadrouter.com/ko/guides/streaming-chat-completions/)을 쓰면 첫 토큰이 도착하는 즉시 보입니다.

## BroadNet Inference는 어디에 적합한가요?

채팅 모델 중 두 개가 요청당 1,048,576토큰을 받으며, BroadNet은 컨텍스트를 잘라내지 않습니다. 토큰당 과금 키에서는 캐싱 덕분에 반복되는 긴 프롬프트도 부담이 적고, 플랜 세션에서는 프롬프트 크기가 요금에 영향을 주지 않습니다. 코퍼스가 100만 토큰보다 훨씬 크거나 매분 바뀐다면 여전히 검색이 필요하며, 윈도우 크기로는 이를 바꿀 수 없습니다.

관련 무료 도구 (영어)

-   [OpenAI to BroadNet migration helper](https://broadrouter.com/tools/openai-to-broadnet-migration/) Paste OpenAI SDK code; get base URL, key and model edits, a diff and the checks that remain.
-   [max\_tokens calculator for reasoning models](https://broadrouter.com/tools/reasoning-token-budget/) Answer length + reasoning budget + margin = a max\_tokens that does not cut the answer off.
-   [JSON schema generator for LLM structured output](https://broadrouter.com/tools/json-schema-generator/) Sample JSON to strict schema, Pydantic, Zod and a ready request.
-   [LLM JSON output validator](https://broadrouter.com/tools/llm-json-output-validator/) Parse errors by line and column, safe repairs, cut-off detection and JSON Schema checks for model output.

[무료 도구 (영어)](https://broadrouter.com/tools/)

## 이 글의 용어

[종량제(Pay-as-you-go)](https://broadrouter.com/ko/glossary/pay-as-you-go/)

종량제(pay-as-you-go)는 구독이나 최소 약정 없이 토큰, 요청, 오디오 분 같은 단위로 사용량을 측정해 쓴 만큼만 내는 요금 방식입니다. 대부분의 LLM API가 선불 잔액에서 차감하거나 정기 청구서를 발행하는 식으로 이렇게 과금합니다.

[도구 호출(tool calling)](https://broadrouter.com/ko/glossary/tool-calling/)

도구 호출(tool calling)은 함수 호출(function calling)이라고도 하며, 모델이 개발자가 정의한 함수를 실행해 달라는 구조화된 요청을 JSON 인자와 함께 반환하는 LLM API 기능입니다. 함수는 애플리케이션이 실행하고 그 결과를 다시 보냅니다. 모델이 직접 코드를 실행하지는 않습니다.

[입력 토큰과 출력 토큰(input and output tokens)](https://broadrouter.com/ko/glossary/input-and-output-tokens/)

입력 토큰은 언어 모델이 요청에서 읽는 토큰으로, 시스템 프롬프트, 대화 기록, 도구 정의, 이미지가 포함됩니다. 출력 토큰은 모델이 응답으로 생성하는 토큰으로, 추론도 포함됩니다. LLM API는 보통 둘에 따로 가격을 매기며, 대개 출력이 더 비쌉니다.

[캐시된 입력 토큰(cached input tokens)](https://broadrouter.com/ko/glossary/cached-input-tokens/)

캐시된 입력 토큰은 LLM 제공업체가 최근에 처리해 두었다가 다시 계산하지 않고 캐시에서 재사용할 수 있는 프롬프트 토큰입니다. 보통 시스템 프롬프트나 문서처럼 반복되는 접두부(prefix)이며, 제공업체는 이를 새 입력 토큰보다 낮은 단가로 과금합니다.

[토크나이저(tokenizer)](https://broadrouter.com/ko/glossary/tokenizer/)

토크나이저(tokenizer)는 텍스트를 언어 모델이 읽는 정수 토큰 ID 시퀀스로 변환하고, 생성된 ID를 다시 텍스트로 바꾸는 구성 요소입니다. 모델마다 자체 토크나이저가 있으므로, 같은 텍스트도 모델에 따라 토큰 수가 달라질 수 있습니다.

[토큰(token)](https://broadrouter.com/ko/glossary/token/)

토큰은 언어 모델이 읽고 쓰는 텍스트 단위로, 모델의 토크나이저가 만들어 내는 단어, 단어의 일부, 문장 부호 또는 바이트 시퀀스입니다. LLM API는 사용량을 토큰 단위로 집계하고 제한하며, 대개 토큰 단위로 과금합니다.

[AI 에이전트(AI agent)](https://broadrouter.com/ko/glossary/agent/)

AI 에이전트는 언어 모델이 목표를 향해 스스로 단계를 정하는 시스템입니다. 어떤 도구를 호출할지 결정하고, 결과를 읽고, 최종 답변을 내거나 한도에 닿을 때까지 이를 반복합니다. 정해진 지점에서 모델을 호출하는 고정된 스크립트는 보통 워크플로라고 부릅니다.

[Lost in the middle(중간 정보 손실)](https://broadrouter.com/ko/glossary/lost-in-the-middle/)

Lost in the middle은 언어 모델이 긴 입력에서 관련 정보가 처음이나 끝 근처에 있을 때 가장 잘 활용하고, 중간에 있을 때 가장 못 활용하는 경향을 말합니다. Liu 외의 2023년 연구에서 이름이 붙었습니다.

## 자주 묻는 질문

### BroadNet은 긴 프롬프트를 잘라내나요?

아닙니다. BroadNet은 컨텍스트를 잘라내지 않습니다. 프롬프트와 max\_tokens의 합이 모델의 윈도우를 넘는다면, 말없이 잘려 나가기를 기대하지 말고 프롬프트를 줄이세요.

### 100만 토큰은 단어로 몇 개인가요?

언어와 콘텐츠에 따라 다릅니다. BroadRouter 토크나이저 데이터셋에서 영어 산문은 100단어당 약 129 토큰이었으므로(5개 토크나이저 평균으로 1,000단어가 약 1,290 토큰), 1,048,576토큰에는 대략 810,000 단어, 즉 1,000페이지를 훌쩍 넘는 분량이 들어갑니다. 기술 문서, 코드, 아랍어는 토큰이 더 필요하므로 실제 콘텐츠로 세어 보세요.

### 100만 토큰 요청은 느린가요?

모델이 먼저 프롬프트 전체를 읽어야 하므로 짧은 요청보다 시작이 늦습니다. 반복 호출에서는 대개 캐시된 프리픽스가 도움이 됩니다. 직접 가진 프롬프트로 첫 토큰까지의 시간을 측정하세요.

### LLM은 정말 컨텍스트 윈도우 전체를 활용하나요?

고르게 활용하지는 않습니다. Lost in the Middle 논문은 관련 정보가 입력의 처음이나 끝에 있을 때 정확도가 가장 높은 경우가 많다는 결과를 얻었고, Chroma의 Context Rot 보고서는 입력이 길어질수록 신뢰성이 떨어진다는 결과를 얻었습니다. 핵심 자료는 가장자리에 두고 직접 가진 데이터로 테스트하세요.

### 이제 RAG는 그만 써도 되나요?

꼭 그렇지는 않습니다. 모델이 모든 것을 함께 봐야 할 때는 롱 컨텍스트를, 거대한 자료에서 사실 몇 개만 필요할 때는 검색을 쓰세요. 많은 시스템이 둘을 함께 씁니다.

### 프롬프트가 컨텍스트 윈도우보다 크면 어떻게 되나요?

BroadNet이 대신 잘라 주지 않으므로 요청이 의도대로 실행되지 않습니다. 보내기 전에 파일을 빼거나, 오래된 턴을 요약하거나, 관련 부분만 검색해서 넣으세요.

## 이어서 읽기

-   [캐시된 입력 토큰: 프롬프트 캐싱으로 LLM API 요금 줄이기](https://broadrouter.com/ko/blog/cached-input-tokens-explained/)
-   [정액제 LLM API로 코딩 에이전트를 병렬 실행하는 방법](https://broadrouter.com/ko/blog/run-parallel-coding-agents-flat-rate/)
-   [LLM API 정액제 vs 토큰당 과금: 손익분기점 계산](https://broadrouter.com/ko/blog/flat-rate-vs-pay-per-token-llm-api/)
-   [BroadNet의 GPU 하드웨어와 서빙 방식: BroadNet이 밝힌 내용](https://broadrouter.com/ko/blog/broadnet-gpu-fleet-and-serving/)
-   [LLM API 응답 캐싱으로 비용 줄이기: Python 정확 일치 캐시](https://broadrouter.com/ko/blog/cache-llm-responses-cut-cost/)
-   [가이드: 추론 모델이 빈 답변을 반환하는 이유](https://broadrouter.com/ko/guides/reasoning-tokens-empty-response/)
-   [가이드: 채팅 완성 스트리밍과 끊긴 연결 처리하기](https://broadrouter.com/ko/guides/streaming-chat-completions/)

실제 워크로드로 테스트해 보세요. 신규 계정에는 US$5 상당의 초기 크레딧이 제공되며 Gemma 및 음성 전사에 사용할 수 있습니다. DeepSeek, GLM 및 Qwen3.8 모델은 충전이 필요합니다.

[시작하기](https://inference.broadnet.ai/account/?utm_source=broadrouter&utm_medium=referral&utm_campaign=ko-blog-million-token-context-window-guide&utm_content=page-cta) ·

**출처**

-   [BroadNet Inference 기계 판독용 가격 및 컨텍스트 길이 파일(pricing.json) (영어)](https://inference.broadnet.ai/pricing.json?utm_source=broadrouter&utm_medium=referral&utm_campaign=ko-blog-million-token-context-window-guide&utm_content=sources)
-   [BroadNet Inference API 레퍼런스 (영어)](https://inference.broadnet.ai/docs?utm_source=broadrouter&utm_medium=referral&utm_campaign=ko-blog-million-token-context-window-guide&utm_content=sources)
-   [Liu 외, Lost in the Middle: How Language Models Use Long Contexts(arXiv 2307.03172)](https://arxiv.org/abs/2307.03172)
-   [Chroma, Context Rot: How Increasing Input Tokens Impacts LLM Performance(2025년 7월)](https://www.trychroma.com/research/context-rot)
