Sinasabi ng vocabulary size kung ilang magkakaibang piraso ng text ang kayang katawanin ng model gamit ang iisang token.
Paano ito gumagana
Ang vocabulary ng isang BPE tokenizer ay ang mga base symbol nito kasama ang bawat merge na natutunan nito. Ginagamit ng dokumentasyon ng Hugging Face ang orihinal na GPT bilang halimbawa: 478 base token + 40,000 merge = 40,478. Pinipili ng gumagawa ang target na laki bago mag-training.
Binasa namin ang mga vocabulary mula sa naka-pin na tokenizer.json ng bawat model sa Hugging Face noong 2026-11-14:
| Tokenizer | Mga entry sa vocabulary | Kabuuang ID kasama ang special tokens |
|---|---|---|
| DeepSeek V4.1 Flash | 128,000 | 129,280 |
| GLM 5.3 | 154,820 | 154,856 |
| Qwen3.8 27B | 248,044 | 248,077 |
| Gemma 4 26B A4B (base ng Google) | 262,144 | 262,144 |
| OpenAI o200k_base (sanggunian) | 199,998 | 200,019 |
Nakasaad sa model card ng Gemma 4 ang 262K na vocabulary, na tugma. Nakalista sa card ng Qwen3.8 ang embedding size na 248,320 na “padded”, mas malaki kaysa sa 248,077 ID na talagang ginagamit.
Bakit ito mahalaga
Para sa gumagamit ng API, hindi direktang palatandaan ng gastos kada salita ang vocabulary size. Ang mahalaga ay kung anong text ang pinag-trainan ng mga merge. Ikumpara ang token kada 100 salita para sa parehong 39,037 na salita ng Modern Standard Arabic sa aming tokenizer dataset:
- DeepSeek V4.1 Flash, 128,000 entry: 86,690 / 39,037 x 100 = 222.1
- GLM 5.3, 154,820 entry: 95,230 / 39,037 x 100 = 243.9
- Qwen3.8 27B, 248,044 entry: 71,424 / 39,037 x 100 = 183.0
- Gemma 4, 262,144 entry: 79,120 / 39,037 x 100 = 202.7
Mas marami ang entry ng GLM 5.3 kaysa sa DeepSeek pero mas maraming token ang nagagamit nito sa text na ito. Ang Gemma ang may pinakamaraming entry pero hindi ito ang pinakasiksik. Para sa English prose, nasa pagitan ng 127 at 132 token kada 100 salita ang lahat ng lima, kaya halos walang epekto doon ang vocabulary size.
Ang patakaran: sukatin ang sarili mong text gamit ang tokenizer ng model sa halip na hulaan ang gastos mula sa numero ng vocabulary.
Sa BroadNet Inference
Hindi naglalathala ang BroadNet ng mga vocabulary size; galing sa mga public model repo ang mga numero sa itaas. Base tokenizer ng Google ang ginamit sa row ng Gemma, na ipinapalagay naming pinanatili ng Gemma 4 VL 26B build ng BroadNet. Para makita ang epekto sa sarili mong mga prompt, gamitin ang token counter, at para sa pagpili ng model sa Arabic, basahin ang pagpili ng LLM para sa Arabic kasabay ng pag-aaral sa token kada salita.