---
title: "Apakah saiz perbendaharaan kata dalam tokenizer LLM?"
description: "Saiz perbendaharaan kata ialah bilangan token berbeza yang diketahui model. Saiz DeepSeek, GLM, Qwen, Gemma, dan mengapa lebih besar tidak semestinya kurang token."
url: https://broadrouter.com/ms/glossary/vocabulary-size/
lang: ms
updated: 2026-11-16
publisher: BroadRouter (a BroadNet site); API by BroadNet Inference, https://inference.broadnet.ai
---

Diterjemahkan daripada bahasa Inggeris dengan bantuan AI. [Baca versi asal dalam bahasa Inggeris](https://broadrouter.com/glossary/vocabulary-size/) (dikemas kini 2026-11-16).

# Saiz perbendaharaan kata (vocabulary size)

Dikemas kini 2026-11-16

Saiz perbendaharaan kata ialah bilangan token berbeza dalam tokenizer model bahasa, setiap satu dengan ID dan embeddingnya sendiri. Perbendaharaan kata yang lebih besar boleh mengekod teks biasa dalam lebih sedikit token, tetapi ia membesarkan lapisan embedding dan output, dan hanya membantu untuk teks yang digunakan untuk melatihnya.

Juga dikenali sebagai: vocabulary size, vocab size, vocab\_size, saiz vocab, perbendaharaan kata tokenizer, tokenizer vocabulary, token vocabulary

Saiz perbendaharaan kata memberitahu anda berapa banyak cebisan teks berbeza yang boleh diwakili model dengan satu [token](https://broadrouter.com/ms/glossary/token/).

## Cara ia berfungsi

Perbendaharaan kata tokenizer [BPE](https://broadrouter.com/ms/glossary/bpe/) ialah simbol asasnya ditambah setiap merge yang dipelajarinya. Dokumentasi Hugging Face memberi GPT asal sebagai contoh: 478 token asas + 40,000 merge = 40,478. Pembina memilih saiz sasaran sebelum latihan.

Kami membaca perbendaharaan kata daripada `tokenizer.json` yang disematkan bagi setiap model di Hugging Face pada 2026-11-14:

| Tokenizer | Entri perbendaharaan kata | Jumlah ID termasuk token khas |
| --- | --- | --- |
| DeepSeek V4.1 Flash | 128,000 | 129,280 |
| GLM 5.3 | 154,820 | 154,856 |
| Qwen3.8 27B | 248,044 | 248,077 |
| Gemma 4 26B A4B (asas Google) | 262,144 | 262,144 |
| OpenAI o200k\_base (rujukan) | 199,998 | 200,019 |

Kad model Gemma 4 menyatakan perbendaharaan kata 262K, yang sepadan. Kad Qwen3.8 menyenaraikan saiz embedding 248,320 “padded” (berpad), lebih besar daripada 248,077 ID yang sebenarnya digunakan.

## Mengapa ia penting

Bagi pengguna API, saiz perbendaharaan kata ialah petunjuk tidak langsung tentang kos setiap perkataan. Yang penting ialah teks apa yang digunakan untuk melatih merge itu. Bandingkan token setiap 100 perkataan untuk 39,037 perkataan Bahasa Arab Standard Moden yang sama dalam [set data tokenizer](https://broadrouter.com/data/tokenizer-efficiency/) kami:

-   DeepSeek V4.1 Flash, 128,000 entri: 86,690 / 39,037 x 100 = 222.1
-   GLM 5.3, 154,820 entri: 95,230 / 39,037 x 100 = 243.9
-   Qwen3.8 27B, 248,044 entri: 71,424 / 39,037 x 100 = 183.0
-   Gemma 4, 262,144 entri: 79,120 / 39,037 x 100 = 202.7

GLM 5.3 mempunyai lebih banyak entri daripada DeepSeek tetapi menggunakan lebih banyak token pada teks ini. Gemma mempunyai entri paling banyak tetapi bukan yang paling padat. Untuk prosa bahasa Inggeris, kesemua lima berada antara 127 dan 132 token setiap 100 perkataan, jadi saiz perbendaharaan kata hampir tidak memberi kesan di situ.

Peraturannya: ukur teks anda sendiri dengan [tokenizer](https://broadrouter.com/ms/glossary/tokenizer/) model, jangan meneka kos daripada nombor perbendaharaan kata.

## Di BroadNet Inference

BroadNet tidak menerbitkan saiz perbendaharaan kata; angka di atas datang daripada repo model awam. Baris Gemma menggunakan tokenizer asas Google, yang kami andaikan dikekalkan oleh binaan Gemma 4 VL 26B BroadNet. Untuk melihat kesannya pada prompt anda sendiri, gunakan [pembilang token](https://broadrouter.com/tools/token-counter/), dan untuk memilih model bagi bahasa Arab baca [memilih LLM untuk bahasa Arab](https://broadrouter.com/ms/blog/choosing-an-llm-for-arabic/) bersama [kajian token setiap perkataan](https://broadrouter.com/ms/blog/tokens-per-word-arabic-english/).

## Soalan lazim

### Adakah perbendaharaan kata yang lebih besar bermakna kurang token?

Selalunya, tetapi tidak sentiasa. Dalam ujian kami pada 2026-11-14, Gemma 4 mempunyai perbendaharaan kata terbesar (262,144) tetapi menggunakan 347 token untuk teks bahasa Arab yang dikodkan oleh Qwen3.8 27B, dengan 248,044 entri, dalam 316.

### Mengapa vocab\_size dan fail tokenizer tidak sepadan?

Konfigurasi model kerap mengepad jadual embedding kepada nombor bulat dan menyimpan ID untuk token khas. Qwen3.8 27B menyenaraikan saiz berpad 248,320, manakala tokenizer.json-nya menggunakan ID 0 hingga 248,076 (ID bermula pada 0), jadi 248,077 kesemuanya.

### Di mana saya boleh cari saiz perbendaharaan kata sesuatu model?

Dalam config.json model sebagai vocab\_size, atau dengan memuatkan tokenizer.json-nya dan mengira entri. Nilai dalam config selalunya berpad, jadi fail tokenizer memberi kiraan tepat token yang digunakan.

## Lihat juga

-   [Tokenizer (pengtoken)](https://broadrouter.com/ms/glossary/tokenizer/) (istilah)
-   [Byte pair encoding (BPE)](https://broadrouter.com/ms/glossary/bpe/) (istilah)
-   [Token](https://broadrouter.com/ms/glossary/token/) (istilah)
-   [Tetingkap konteks (context window)](https://broadrouter.com/ms/glossary/context-window/) (istilah)
-   [Token setiap perkataan Arab vs Inggeris: mengapa Arab lebih mahal](https://broadrouter.com/ms/blog/tokens-per-word-arabic-english/) (artikel)
-   [Memilih API LLM untuk bahasa Arab: apa yang perlu diuji](https://broadrouter.com/ms/blog/choosing-an-llm-for-arabic/) (artikel)

Cuba dengan beban kerja sebenar anda. Akaun baharu bermula dengan kredit US$5 untuk Gemma dan transkripsi. DeepSeek, GLM dan Qwen3.8 memerlukan tambah nilai.

[Mulakan](https://inference.broadnet.ai/account/?utm_source=broadrouter&utm_medium=referral&utm_campaign=ms-glossary-vocabulary-size&utm_content=page-cta) ·

**Sumber**

-   [Hugging Face Transformers, algoritma tokenization (saiz perbendaharaan kata sebagai simbol asas tambah merge)](https://huggingface.co/docs/transformers/tokenizer_summary)
-   [Kad model Hugging Face, google/gemma-4-26B-A4B-it (perbendaharaan kata 262K)](https://huggingface.co/google/gemma-4-26B-A4B-it)
-   [Kad model Hugging Face, Qwen/Qwen3.8-27B (embedding berpad 248,320)](https://huggingface.co/Qwen/Qwen3.8-27B)
-   [Repo model Hugging Face, zai-org/GLM-5.3 (sumber tokenizer.json GLM)](https://huggingface.co/zai-org/GLM-5.3)
