Saiz perbendaharaan kata memberitahu anda berapa banyak cebisan teks berbeza yang boleh diwakili model dengan satu token.
Cara ia berfungsi
Perbendaharaan kata tokenizer BPE ialah simbol asasnya ditambah setiap merge yang dipelajarinya. Dokumentasi Hugging Face memberi GPT asal sebagai contoh: 478 token asas + 40,000 merge = 40,478. Pembina memilih saiz sasaran sebelum latihan.
Kami membaca perbendaharaan kata daripada tokenizer.json yang disematkan bagi setiap model di Hugging Face pada 2026-11-14:
| Tokenizer | Entri perbendaharaan kata | Jumlah ID termasuk token khas |
|---|---|---|
| DeepSeek V4.1 Flash | 128,000 | 129,280 |
| GLM 5.3 | 154,820 | 154,856 |
| Qwen3.8 27B | 248,044 | 248,077 |
| Gemma 4 26B A4B (asas Google) | 262,144 | 262,144 |
| OpenAI o200k_base (rujukan) | 199,998 | 200,019 |
Kad model Gemma 4 menyatakan perbendaharaan kata 262K, yang sepadan. Kad Qwen3.8 menyenaraikan saiz embedding 248,320 “padded” (berpad), lebih besar daripada 248,077 ID yang sebenarnya digunakan.
Mengapa ia penting
Bagi pengguna API, saiz perbendaharaan kata ialah petunjuk tidak langsung tentang kos setiap perkataan. Yang penting ialah teks apa yang digunakan untuk melatih merge itu. Bandingkan token setiap 100 perkataan untuk 39,037 perkataan Bahasa Arab Standard Moden yang sama dalam set data tokenizer kami:
- DeepSeek V4.1 Flash, 128,000 entri: 86,690 / 39,037 x 100 = 222.1
- GLM 5.3, 154,820 entri: 95,230 / 39,037 x 100 = 243.9
- Qwen3.8 27B, 248,044 entri: 71,424 / 39,037 x 100 = 183.0
- Gemma 4, 262,144 entri: 79,120 / 39,037 x 100 = 202.7
GLM 5.3 mempunyai lebih banyak entri daripada DeepSeek tetapi menggunakan lebih banyak token pada teks ini. Gemma mempunyai entri paling banyak tetapi bukan yang paling padat. Untuk prosa bahasa Inggeris, kesemua lima berada antara 127 dan 132 token setiap 100 perkataan, jadi saiz perbendaharaan kata hampir tidak memberi kesan di situ.
Peraturannya: ukur teks anda sendiri dengan tokenizer model, jangan meneka kos daripada nombor perbendaharaan kata.
Di BroadNet Inference
BroadNet tidak menerbitkan saiz perbendaharaan kata; angka di atas datang daripada repo model awam. Baris Gemma menggunakan tokenizer asas Google, yang kami andaikan dikekalkan oleh binaan Gemma 4 VL 26B BroadNet. Untuk melihat kesannya pada prompt anda sendiri, gunakan pembilang token, dan untuk memilih model bagi bahasa Arab baca memilih LLM untuk bahasa Arab bersama kajian token setiap perkataan.