BroadRouter
시작하기

토크나이저(tokenizer)

업데이트

토크나이저(tokenizer)는 텍스트를 언어 모델이 읽는 정수 토큰 ID 시퀀스로 변환하고, 생성된 ID를 다시 텍스트로 바꾸는 구성 요소입니다. 모델마다 자체 토크나이저가 있으므로, 같은 텍스트도 모델에 따라 토큰 수가 달라질 수 있습니다.

다른 이름: 토크나이저, 토큰화기, 토큰나이저, LLM 토크나이저, 서브워드 토크나이저, 텍스트 토크나이저, tokenizer, LLM tokenizer, tokenizer.json, subword tokenizer, text tokenizer

텍스트가 몇 개의 토큰이 되는지, 그래서 컨텍스트 윈도우와 청구서를 얼마나 차지하는지는 토크나이저가 결정합니다.

작동 방식

토크나이저는 두 부분으로 이루어집니다. 텍스트 조각을 정수 ID에 대응시키는 고정된 어휘, 그리고 텍스트를 그 조각으로 나누는 규칙입니다. Hugging Face 문서는 흔히 쓰는 알고리즘을 서브워드 방식으로 설명합니다. 자주 쓰는 단어는 통째로 남고, 드문 단어는 더 작은 알려진 조각으로 나뉩니다. 그래서 “annoyingly”는 “annoying” + “ly”가 될 수 있습니다. 현재 대부분의 LLM은 바이트 페어 인코딩(BPE)이나 그 변형을 씁니다.

인코딩은 세 단계로 진행됩니다.

  1. 사전 토큰화. 공백, 문장 부호, 숫자를 기준으로 나눕니다.
  2. 조각을 ID로 변환. 학습된 병합 규칙을 적용하고 각 조각을 어휘에서 찾습니다.
  3. 특수 토큰 추가. 채팅 템플릿이 메시지를 역할 표시로 감싸며, 이것도 토큰으로 계산됩니다.

디코딩은 2단계를 거꾸로 수행합니다. 오픈 웨이트 모델이라면 이 모든 것이 모델 저장소의 tokenizer.json 파일에 들어 있습니다.

왜 중요한가

토크나이저가 다르면 같은 텍스트도 토큰 수가 다릅니다. 저희는 데이터셋의 텍스트를 모델마다 버전을 고정한 토크나이저로 인코딩했습니다(영어: Wikipedia와 Project Gutenberg 산문, 아랍어: FLORES-200 문장 2,009개와 Wikipedia 도입부 세 개, 2026-11-15 측정, 100단어당 토큰 = 토큰 / 단어 x 100).

텍스트 DeepSeek V4.1 Flash GLM 5.3 Qwen3.8 27B Gemma 4 GPT o200k
영어 산문, 1,183단어 1,507 → 127.4 1,526 → 129.0 1,561 → 132.0 1,537 → 129.9 1,501 → 126.9
아랍어 MSA, 39,037단어 86,690 → 222.1 95,230 → 243.9 71,424 → 183.0 79,120 → 202.7 73,593 → 188.5

영어는 어디서나 비슷합니다. 아랍어는 그렇지 않습니다. 같은 텍스트에 GLM 5.3은 Qwen3.8 27B보다 95,230 / 71,424 = 1.33배의 토큰이 필요합니다. 토큰당 가격이라면 이 차이가 곧 비용 차이이며, 컨텍스트 윈도우에 들어가는 아랍어 분량도 달라집니다. Gemma 열은 Google의 기본 Gemma 4 토크나이저를 썼습니다. BroadNet의 빌드는 이 모델을 기반으로 하며, 토크나이저도 그대로 유지한다고 가정했습니다. 모델별 전체 수치와 CSV, JSON 다운로드는 토크나이저 효율 데이터셋에 있습니다.

BroadNet Inference에서는

BroadNet은 종량제 채팅을 입력 토큰과 출력 토큰 기준으로 청구하고, 응답마다 usage 객체에 토큰 수를 알려 주므로 기준이 되는 숫자는 API가 반환하는 값입니다. 보내기 전에 추정하려면 같은 고정 버전의 토크나이저 파일을 불러오는 토큰 계산기나 아랍어 토큰 계산기에 텍스트를 붙여 넣으세요. 전체 측정 결과는 아랍어와 영어의 단어당 토큰 수에 있습니다.

흔한 실수

  • 한 모델의 토크나이저로 세고 다른 모델로 청구받는 것. 호출하는 모델의 토크나이저를 쓰세요.
  • 채팅 템플릿을 잊는 것. 역할 표시와 시스템 프롬프트가 더하는 토큰은 일반 텍스트 기준 계산에서 빠집니다.

자주 묻는 질문

모든 LLM이 같은 토크나이저를 쓰나요?

아니요. 모델 계열마다 자체 어휘로 토크나이저를 학습합니다. 저희 토크나이저 데이터셋에서 같은 아랍어 39,037단어가 Qwen3.8 27B에서는 71,424토큰, GLM 5.3에서는 95,230토큰이었습니다.

모델의 토크나이저는 어디에서 찾나요?

오픈 웨이트 모델이라면 모델의 Hugging Face 저장소에 있는 tokenizer.json 파일입니다. Hugging Face tokenizers 라이브러리로 불러오면 토큰 수를 정확히 셀 수 있습니다.

토크나이저와 토큰화는 같은 건가요?

토큰화는 텍스트를 토큰으로 나누는 과정입니다. 토크나이저는 특정 모델 하나를 위해 그 과정을 수행하는 파일과 코드입니다.

Markdown으로 읽기ChatGPT에 질문하기Claude에 질문하기Perplexity에 질문하기