텍스트가 몇 개의 토큰이 되는지, 그래서 컨텍스트 윈도우와 청구서를 얼마나 차지하는지는 토크나이저가 결정합니다.
작동 방식
토크나이저는 두 부분으로 이루어집니다. 텍스트 조각을 정수 ID에 대응시키는 고정된 어휘, 그리고 텍스트를 그 조각으로 나누는 규칙입니다. Hugging Face 문서는 흔히 쓰는 알고리즘을 서브워드 방식으로 설명합니다. 자주 쓰는 단어는 통째로 남고, 드문 단어는 더 작은 알려진 조각으로 나뉩니다. 그래서 “annoyingly”는 “annoying” + “ly”가 될 수 있습니다. 현재 대부분의 LLM은 바이트 페어 인코딩(BPE)이나 그 변형을 씁니다.
인코딩은 세 단계로 진행됩니다.
- 사전 토큰화. 공백, 문장 부호, 숫자를 기준으로 나눕니다.
- 조각을 ID로 변환. 학습된 병합 규칙을 적용하고 각 조각을 어휘에서 찾습니다.
- 특수 토큰 추가. 채팅 템플릿이 메시지를 역할 표시로 감싸며, 이것도 토큰으로 계산됩니다.
디코딩은 2단계를 거꾸로 수행합니다. 오픈 웨이트 모델이라면 이 모든 것이 모델 저장소의 tokenizer.json 파일에 들어 있습니다.
왜 중요한가
토크나이저가 다르면 같은 텍스트도 토큰 수가 다릅니다. 저희는 데이터셋의 텍스트를 모델마다 버전을 고정한 토크나이저로 인코딩했습니다(영어: Wikipedia와 Project Gutenberg 산문, 아랍어: FLORES-200 문장 2,009개와 Wikipedia 도입부 세 개, 2026-11-15 측정, 100단어당 토큰 = 토큰 / 단어 x 100).
| 텍스트 | DeepSeek V4.1 Flash | GLM 5.3 | Qwen3.8 27B | Gemma 4 | GPT o200k |
|---|---|---|---|---|---|
| 영어 산문, 1,183단어 | 1,507 → 127.4 | 1,526 → 129.0 | 1,561 → 132.0 | 1,537 → 129.9 | 1,501 → 126.9 |
| 아랍어 MSA, 39,037단어 | 86,690 → 222.1 | 95,230 → 243.9 | 71,424 → 183.0 | 79,120 → 202.7 | 73,593 → 188.5 |
영어는 어디서나 비슷합니다. 아랍어는 그렇지 않습니다. 같은 텍스트에 GLM 5.3은 Qwen3.8 27B보다 95,230 / 71,424 = 1.33배의 토큰이 필요합니다. 토큰당 가격이라면 이 차이가 곧 비용 차이이며, 컨텍스트 윈도우에 들어가는 아랍어 분량도 달라집니다. Gemma 열은 Google의 기본 Gemma 4 토크나이저를 썼습니다. BroadNet의 빌드는 이 모델을 기반으로 하며, 토크나이저도 그대로 유지한다고 가정했습니다. 모델별 전체 수치와 CSV, JSON 다운로드는 토크나이저 효율 데이터셋에 있습니다.
BroadNet Inference에서는
BroadNet은 종량제 채팅을 입력 토큰과 출력 토큰 기준으로 청구하고, 응답마다 usage 객체에 토큰 수를 알려 주므로 기준이 되는 숫자는 API가 반환하는 값입니다. 보내기 전에 추정하려면 같은 고정 버전의 토크나이저 파일을 불러오는 토큰 계산기나 아랍어 토큰 계산기에 텍스트를 붙여 넣으세요. 전체 측정 결과는 아랍어와 영어의 단어당 토큰 수에 있습니다.
흔한 실수
- 한 모델의 토크나이저로 세고 다른 모델로 청구받는 것. 호출하는 모델의 토크나이저를 쓰세요.
- 채팅 템플릿을 잊는 것. 역할 표시와 시스템 프롬프트가 더하는 토큰은 일반 텍스트 기준 계산에서 빠집니다.