BroadRouter

100만 토큰 컨텍스트 윈도우, 언제 쓸 만하고 언제 아닌가

BroadNet Inference 팀 · 4분 분량 · 게시

100만 토큰 컨텍스트 윈도우를 쓰면 요청 하나에 코드베이스 전체, 계약서 묶음, 몇 시간 분량의 회의록을 담을 수 있어, 모델이 검색된 조각이 아니라 모든 내용을 한 번에 봅니다. 여러 파일에 걸친 추론과 일회성 분석에서 효과가 크고, 크고 자주 바뀌는 코퍼스에서 반복 조회할 때는 검색이 더 저렴합니다. DeepSeek V4.1 Flash와 GLM 5.3은 1,048,576토큰을 받습니다.

Light shining through towering cliffs made of stacked paper pages.

컨텍스트 윈도우는 수천 토큰에서 100만 토큰 이상으로 커졌습니다. BroadNet Inference의 DeepSeek V4.1 Flash와 GLM 5.3은 프롬프트와 답변을 합쳐 요청당 1,048,576토큰을 받습니다. 이는 구축 방식을 바꿔 놓지만, 모든 프롬프트를 더 좋게 만들어 주지는 않습니다.

100만 토큰에는 무엇이 들어가나요?

대략적인 기준을 들자면, 저희 토크나이저 효율 데이터셋에서 영어 산문 1,000단어는 5개 토크나이저 평균으로 약 1,290 토큰이었습니다. 따라서 100만 토큰은 일반 산문으로 대략 810,000 단어입니다.

콘텐츠 대략적인 판단
중간 규모 코드베이스(수만 줄) 여유 있게 들어감
부속 문서가 딸린 긴 계약서 여러 건 들어감
하루 치 회의록 들어감
의존성까지 포함한 대형 모노레포 들어가지 않는 경우가 많음, 디렉터리를 선별

토큰 수는 언어와 콘텐츠에 따라 다릅니다. 코드와 아랍어 텍스트는 영어 산문보다 문자당 토큰을 더 많이 쓰는 경우가 많습니다. 추정하기보다 실제 요청의 usage 블록으로 측정하거나, 컨텍스트 윈도우 계산기에서 샘플을 확인하세요.

BroadNet에서 100만 토큰 컨텍스트 윈도우를 지원하는 모델은 무엇인가요?

모델 컨텍스트 윈도우 입력 출력 이미지
DeepSeek V4.1 Flash 1,048,576 $0.175 $0.52 예
GLM 5.3 1,048,576 $0.78 $3.46 아니요
Qwen3.8 27B 262,144 $0.175 $2.17 예
BroadNet Gemma 4 VL 26B 32,768 $0.10 $0.22 예

가격은 100만 토큰당 기준입니다. GLM 5.3은 같은 100만 토큰 윈도우에 도구 호출과 구조화된 출력을 더합니다.

100만 토큰 윈도우는 언제 쓸 만한가요?

  • 여러 파일에 걸친 추론. “이 테스트는 왜 실패하나?”는 아무도 함께 검색할 생각을 못 할 파일 다섯 개에 달려 있는 경우가 많습니다.
  • 문서 전체 검토. 4조와 부속서 B 사이의 충돌을 찾으려면 둘을 함께 봐야 합니다.
  • 일회성 분석. 한 번만 할 질문이라면 검색 인덱스를 만드는 수고가 얻는 것보다 큽니다.
  • 에이전트. 모듈 전체를 읽을 수 있는 서브에이전트는 잘못된 추측을 덜 합니다. 병렬 에이전트 실행을 참고하세요.

그래도 검색이 더 나은 경우는 언제인가요?

어떤 윈도우보다도 훨씬 큰 자료에서 작은 조회를 많이 할 때, 매분 바뀌는 콘텐츠일 때, 그리고 거대한 프롬프트를 먼저 읽는 것이 지연을 더하는 빠른 대화형 답변일 때는 검색이 유리합니다. 많은 프로덕션 시스템은 둘 다 씁니다. 가장 관련 있는 20만 토큰을 검색한 다음, 롱 컨텍스트 모델이 그 전부를 가로질러 추론하게 합니다. 쿼리당 비용, 지연 시간, 재현율을 나란히 놓고 판단하는 전체 과정은 롱 컨텍스트 vs RAG에 있습니다.

모델은 정말 윈도우 전체를 활용하나요?

고르게 활용하지는 않습니다. 이 점에 대해서는 연구 결과가 일관됩니다.

  • Lost in the Middle 논문(Liu 외)은 성능이 “is often highest when relevant information occurs at the beginning or end of the input context”(번역: 관련 정보가 입력 컨텍스트의 처음이나 끝에 있을 때 가장 높은 경우가 많다)는 결과를 얻었습니다.
  • Chroma의 Context Rot 보고서는 18개 모델을 테스트해 단순한 작업에서도 “performance grows increasingly unreliable as input length grows”(번역: 입력 길이가 늘어날수록 성능을 점점 더 신뢰할 수 없게 된다)는 결과를 얻었습니다.

이 연구들은 BroadNet의 모델을 테스트한 것이 아니므로, 측정값이 아니라 경고로 받아들이세요. 실무 규칙은 이렇습니다. 100만 토큰을 받는 윈도우라고 해서 모든 토큰이 똑같은 주의를 받는 것은 아닙니다. 가장 중요한 자료는 처음이나 끝 가까이에 두고, 직접 가진 문서로 재현율을 테스트하세요.

100만 토큰 프롬프트의 비용은 얼마인가요?

종량제 키에서 DeepSeek V4.1 Flash는 100만 입력 토큰당 $0.175, 100만 캐시된 입력 토큰당 $0.0055 요금입니다. 100만 토큰을 꽉 채운 프롬프트는 처음에 약 $0.175 요금이 들고, 프리픽스가 캐시되면 반복 호출에서는 훨씬 적게 듭니다. 캐시 적중률을 높이는 방법을 참고하세요.

프롬프트 캐싱 계산기는 직접 쓰는 프롬프트 크기에서 캐시 적중이 얼마를 절약하는지 보여 줍니다. 계산 예를 들어 보겠습니다. 같은 80만 토큰짜리 계약서 묶음에 대해 질문을 10개 합니다. 캐싱이 없다면 100만 토큰당 $0.175 요금으로 800만 토큰입니다. 문서를 맨 앞에 두고 동일하게 유지하면, 첫 호출은 새 토큰 80만 개를 읽고 이후 아홉 번은 대부분을 100만 토큰당 $0.0055 요금의 캐시에서 읽을 수 있습니다. 바뀌는 것은 질문과 답변뿐입니다.

무제한 플랜에서는 프롬프트 크기가 요금을 바꾸지 않습니다. Full Moon은 세션당 월 $60 요금이며 토큰 계량이 없습니다. 그래서 롱 컨텍스트 에이전트는 토큰당 과금 대신 정액 플랜을 고르는 흔한 이유입니다.

답변을 위한 공간은 얼마나 남겨야 하나요?

윈도우에는 프롬프트와 출력이 모두 들어가며, 추론 모델에서는 출력에 사고 과정이 포함됩니다. 프롬프트로 1,040,000토큰을 보내면 추론과 답변에 남는 공간은 약 8,000토큰뿐입니다. 여유를 두고, max_tokens를 명시적으로 설정하고, 추론 모델이 빈 답변을 반환할 수 있는 이유를 읽어 보세요.

100만 토큰 프롬프트를 위해 코드베이스를 준비하는 방법

  1. 모델에 필요 없는 것은 빼세요. 락 파일, 빌드 결과물, 벤더링된 의존성, 이미지, 생성된 코드는 토큰을 차지하고 잡음을 더합니다.
  2. 보내기 전에 세세요. 작은 샘플을 보내 usage에서 prompt_tokens를 읽고, 비례해서 늘리세요.
  3. 안정성 순으로 정렬하세요. 거의 바뀌지 않는 파일을 먼저, 수정 중인 파일을 마지막에, 질문은 맨 끝에 두세요. 그래야 프리픽스가 캐시될 수 있습니다.
  4. 모든 파일에 라벨을 붙이세요. === path/to/file.py === 같은 명확한 표시로 파일을 감싸면 모델이 파일을 인용할 수 있습니다.
  5. 인용을 요청하세요. “근거로 삼은 줄을 인용하세요”라는 요청은 거대한 입력에서 자신 있게 틀리는 실수를 줄여 줍니다.
  6. 측정하세요. 요청마다 프롬프트 토큰, 캐시된 토큰, 첫 토큰까지의 시간을 로그에 남기세요. 스트리밍을 쓰면 첫 토큰이 도착하는 즉시 보입니다.

BroadNet Inference는 어디에 적합한가요?

채팅 모델 중 두 개가 요청당 1,048,576토큰을 받으며, BroadNet은 컨텍스트를 잘라내지 않습니다. 토큰당 과금 키에서는 캐싱 덕분에 반복되는 긴 프롬프트도 부담이 적고, 플랜 세션에서는 프롬프트 크기가 요금에 영향을 주지 않습니다. 코퍼스가 100만 토큰보다 훨씬 크거나 매분 바뀐다면 여전히 검색이 필요하며, 윈도우 크기로는 이를 바꿀 수 없습니다.

자주 묻는 질문

BroadNet은 긴 프롬프트를 잘라내나요?

아닙니다. BroadNet은 컨텍스트를 잘라내지 않습니다. 프롬프트와 max_tokens의 합이 모델의 윈도우를 넘는다면, 말없이 잘려 나가기를 기대하지 말고 프롬프트를 줄이세요.

100만 토큰은 단어로 몇 개인가요?

언어와 콘텐츠에 따라 다릅니다. BroadRouter 토크나이저 데이터셋에서 영어 산문은 100단어당 약 129 토큰이었으므로(5개 토크나이저 평균으로 1,000단어가 약 1,290 토큰), 1,048,576토큰에는 대략 810,000 단어, 즉 1,000페이지를 훌쩍 넘는 분량이 들어갑니다. 기술 문서, 코드, 아랍어는 토큰이 더 필요하므로 실제 콘텐츠로 세어 보세요.

100만 토큰 요청은 느린가요?

모델이 먼저 프롬프트 전체를 읽어야 하므로 짧은 요청보다 시작이 늦습니다. 반복 호출에서는 대개 캐시된 프리픽스가 도움이 됩니다. 직접 가진 프롬프트로 첫 토큰까지의 시간을 측정하세요.

LLM은 정말 컨텍스트 윈도우 전체를 활용하나요?

고르게 활용하지는 않습니다. Lost in the Middle 논문은 관련 정보가 입력의 처음이나 끝에 있을 때 정확도가 가장 높은 경우가 많다는 결과를 얻었고, Chroma의 Context Rot 보고서는 입력이 길어질수록 신뢰성이 떨어진다는 결과를 얻었습니다. 핵심 자료는 가장자리에 두고 직접 가진 데이터로 테스트하세요.

이제 RAG는 그만 써도 되나요?

꼭 그렇지는 않습니다. 모델이 모든 것을 함께 봐야 할 때는 롱 컨텍스트를, 거대한 자료에서 사실 몇 개만 필요할 때는 검색을 쓰세요. 많은 시스템이 둘을 함께 씁니다.

프롬프트가 컨텍스트 윈도우보다 크면 어떻게 되나요?

BroadNet이 대신 잘라 주지 않으므로 요청이 의도대로 실행되지 않습니다. 보내기 전에 파일을 빼거나, 오래된 턴을 요약하거나, 관련 부분만 검색해서 넣으세요.

Markdown으로 읽기ChatGPT에 질문하기Claude에 질문하기Perplexity에 질문하기