어휘 크기는 모델이 토큰 하나로 표현할 수 있는 텍스트 조각이 몇 종류인지를 알려 줍니다.
작동 방식
BPE 토크나이저의 어휘는 기본 기호에 학습한 모든 병합을 더한 것입니다. Hugging Face 문서는 초기 GPT를 예로 듭니다. 기본 토큰 478개 + 병합 40,000개 = 40,478개입니다. 목표 크기는 만드는 쪽이 학습 전에 정합니다.
2026-11-14에 Hugging Face에서 각 모델의 고정된 버전 tokenizer.json을 읽어 어휘를 확인했습니다.
| 토크나이저 | 어휘 항목 수 | 특수 토큰 포함 전체 ID 수 |
|---|---|---|
| DeepSeek V4.1 Flash | 128,000 | 129,280 |
| GLM 5.3 | 154,820 | 154,856 |
| Qwen3.8 27B | 248,044 | 248,077 |
| Gemma 4 26B A4B(Google 기본) | 262,144 | 262,144 |
| OpenAI o200k_base(참고) | 199,998 | 200,019 |
Gemma 4 모델 카드에 적힌 262K 어휘와 일치합니다. Qwen3.8 카드는 임베딩 크기를 “padded”(번역: 패딩됨) 248,320으로 표기하는데, 실제로 쓰이는 ID 248,077개보다 큽니다.
왜 중요한가
API 사용자에게 어휘 크기는 단어당 비용을 간접적으로 알려 주는 힌트입니다. 중요한 것은 병합이 어떤 텍스트로 학습되었느냐입니다. 토크나이저 데이터셋에서 같은 현대 표준 아랍어 39,037단어의 100단어당 토큰 수를 비교해 보세요.
- DeepSeek V4.1 Flash, 어휘 128,000개: 86,690 / 39,037 x 100 = 222.1
- GLM 5.3, 어휘 154,820개: 95,230 / 39,037 x 100 = 243.9
- Qwen3.8 27B, 어휘 248,044개: 71,424 / 39,037 x 100 = 183.0
- Gemma 4, 어휘 262,144개: 79,120 / 39,037 x 100 = 202.7
GLM 5.3은 DeepSeek보다 어휘가 많지만 이 텍스트에서는 토큰을 더 씁니다. Gemma는 어휘가 가장 많지만 가장 압축적이지는 않습니다. 영어 산문에서는 다섯 개 모두 100단어당 127~132토큰 사이여서, 어휘 크기의 영향이 거의 없습니다.
원칙은 이렇습니다. 어휘 수치로 비용을 추정하지 말고, 모델의 토크나이저로 내 텍스트를 직접 측정하세요.
BroadNet Inference에서는
BroadNet은 어휘 크기를 공개하지 않습니다. 위 수치는 공개 모델 저장소에서 가져온 것입니다. Gemma 행은 Google 기본 토크나이저를 기준으로 했으며, BroadNet의 Gemma 4 VL 26B 빌드도 이를 그대로 쓴다고 가정했습니다. 내 프롬프트에서 어떤 차이가 나는지는 토큰 카운터로 확인하고, 아랍어용 모델을 고를 때는 아랍어용 LLM 고르기와 단어당 토큰 수 연구를 함께 읽어 보세요.