BroadRouter

Ukuran kosakata (vocabulary size)

Diperbarui

Vocabulary size (ukuran kosakata) adalah jumlah token berbeda di tokenizer sebuah model bahasa, masing-masing dengan ID dan embedding sendiri. Kosakata yang lebih besar bisa mengodekan teks umum dengan lebih sedikit token, tetapi memperbesar lapisan embedding dan output, dan hanya membantu untuk teks yang dipakai melatih kosakatanya.

Disebut juga: ukuran kosakata, vocabulary size, kosakata tokenizer, ukuran vocab, jumlah token tokenizer, vocab size, vocab_size, tokenizer vocabulary, token vocabulary

Vocabulary size memberi tahu berapa banyak potongan teks berbeda yang bisa direpresentasikan model dengan satu token.

Cara kerjanya

Kosakata tokenizer BPE terdiri atas simbol dasarnya ditambah setiap merge yang dipelajarinya. Dokumentasi Hugging Face memberi contoh GPT generasi pertama: 478 token dasar + 40.000 merge = 40.478. Pembuat tokenizer memilih ukuran target sebelum pelatihan.

Kami membaca kosakata dari tokenizer.json yang di-pin untuk setiap model di Hugging Face pada 2026-11-14:

Tokenizer Entri kosakata Total ID termasuk token khusus
DeepSeek V4.1 Flash 128.000 129.280
GLM 5.3 154.820 154.856
Qwen3.8 27B 248.044 248.077
Gemma 4 26B A4B (basis Google) 262.144 262.144
OpenAI o200k_base (referensi) 199.998 200.019

Model card Gemma 4 menyebut kosakata 262K, dan itu cocok. Model card Qwen3.8 mencantumkan ukuran embedding 248.320 “padded” (terjemahan: dengan padding), lebih besar dari 248.077 ID yang benar-benar dipakai.

Mengapa penting

Bagi pengguna API, vocabulary size adalah petunjuk tidak langsung tentang biaya per kata. Yang menentukan adalah teks apa yang dipakai melatih merge-nya. Bandingkan token per 100 kata untuk 39,037 kata Bahasa Arab Standar Modern yang sama di dataset tokenizer kami:

  • DeepSeek V4.1 Flash, 128.000 entri: 86,690 / 39,037 x 100 = 222.1
  • GLM 5.3, 154.820 entri: 95,230 / 39,037 x 100 = 243.9
  • Qwen3.8 27B, 248.044 entri: 71,424 / 39,037 x 100 = 183.0
  • Gemma 4, 262.144 entri: 79,120 / 39,037 x 100 = 202.7

GLM 5.3 punya lebih banyak entri daripada DeepSeek, tetapi memakai lebih banyak token pada teks ini. Gemma punya entri terbanyak, tetapi bukan yang paling ringkas. Untuk prosa bahasa Inggris, kelimanya berada di antara 127 dan 132 token per 100 kata, jadi di sana vocabulary size hampir tidak berpengaruh.

Aturannya: ukur teks Anda sendiri dengan tokenizer model tersebut, alih-alih menebak biaya dari angka kosakatanya.

Di BroadNet Inference

BroadNet tidak memublikasikan vocabulary size; angka di atas berasal dari repo model publik. Baris Gemma memakai tokenizer basis Google, yang kami asumsikan tetap dipakai oleh build Gemma 4 VL 26B milik BroadNet. Untuk melihat efeknya pada prompt Anda sendiri, pakai penghitung token, dan untuk memilih model bagi bahasa Arab, baca memilih LLM untuk bahasa Arab bersama studi token per kata.

Pertanyaan umum

Apakah kosakata yang lebih besar berarti lebih sedikit token?

Sering, tetapi tidak selalu. Dalam uji kami pada 2026-11-14, Gemma 4 punya kosakata terbesar (262.144), tetapi memakai 347 token untuk teks Arab yang dikodekan Qwen3.8 27B, dengan 248.044 entri, dalam 316 token.

Kenapa vocab_size dan file tokenizer tidak cocok?

Config model sering mem-padding tabel embedding ke angka bulat dan menyisihkan ID untuk token khusus. Qwen3.8 27B mencantumkan ukuran dengan padding 248.320, sementara tokenizer.json-nya memakai ID 0 sampai 248.076 (ID dimulai dari 0), jadi totalnya 248.077.

Di mana saya bisa menemukan vocabulary size sebuah model?

Di config.json model sebagai vocab_size, atau dengan memuat tokenizer.json-nya dan menghitung entrinya. Nilai di config sering sudah di-padding, jadi file tokenizer memberi jumlah pasti token yang dipakai.

Baca sebagai MarkdownTanya ChatGPTTanya ClaudeTanya Perplexity