Vocabulary size cho biết model có thể biểu diễn bao nhiêu mẩu văn bản khác nhau bằng một token duy nhất.
Cách hoạt động
Từ vựng của một tokenizer BPE gồm các ký hiệu cơ sở cộng với mọi lần merge nó học được. Tài liệu Hugging Face lấy GPT gốc làm ví dụ: 478 token cơ sở + 40.000 lần merge = 40.478. Người xây tokenizer chọn kích thước mục tiêu trước khi huấn luyện.
Chúng tôi đã đọc từ vựng từ file tokenizer.json đã ghim phiên bản của từng model trên Hugging Face vào ngày 2026-11-14:
| Tokenizer | Số mục từ vựng | Tổng số ID kể cả token đặc biệt |
|---|---|---|
| DeepSeek V4.1 Flash | 128,000 | 129,280 |
| GLM 5.3 | 154,820 | 154,856 |
| Qwen3.8 27B | 248,044 | 248,077 |
| Gemma 4 26B A4B (bản gốc của Google) | 262,144 | 262,144 |
| OpenAI o200k_base (tham chiếu) | 199,998 | 200,019 |
Model card Gemma 4 ghi từ vựng 262K, khớp với số trên. Card của Qwen3.8 ghi kích thước embedding 248.320 “padded” (Bản dịch: đã padding), lớn hơn 248.077 ID thực sự được dùng.
Vì sao quan trọng
Với người dùng API, vocabulary size là một gợi ý gián tiếp về chi phí cho mỗi từ. Điều quyết định là các lần merge được huấn luyện trên loại văn bản nào. Hãy so số token trên 100 từ cho cùng 39,037 từ tiếng Ả Rập chuẩn hiện đại trong bộ dữ liệu tokenizer của chúng tôi:
- DeepSeek V4.1 Flash, 128.000 mục: 86,690 / 39,037 x 100 = 222.1
- GLM 5.3, 154.820 mục: 95,230 / 39,037 x 100 = 243.9
- Qwen3.8 27B, 248.044 mục: 71,424 / 39,037 x 100 = 183.0
- Gemma 4, 262.144 mục: 79,120 / 39,037 x 100 = 202.7
GLM 5.3 có nhiều mục hơn DeepSeek nhưng dùng nhiều token hơn với văn bản này. Gemma có nhiều mục nhất nhưng không phải gọn nhất. Với văn xuôi tiếng Anh, cả năm đều nằm trong khoảng 127 đến 132 token trên 100 từ, nên vocabulary size gần như không ảnh hưởng ở đó.
Nguyên tắc: hãy đo văn bản của chính bạn bằng tokenizer của model thay vì suy ra chi phí từ con số từ vựng.
Trên BroadNet Inference
BroadNet không công bố vocabulary size; các số liệu trên lấy từ repo model công khai. Hàng Gemma dùng tokenizer gốc của Google, và chúng tôi giả định bản build Gemma 4 VL 26B của BroadNet giữ nguyên tokenizer này. Để xem ảnh hưởng trên prompt của bạn, hãy dùng công cụ đếm token; để chọn model cho tiếng Ả Rập, hãy đọc chọn LLM cho tiếng Ả Rập cùng với nghiên cứu token trên mỗi từ.