BroadRouter

Vocabulary size (kích thước từ vựng)

Cập nhật

Vocabulary size là số token khác nhau trong tokenizer của model ngôn ngữ, mỗi token có ID và embedding riêng. Từ vựng lớn hơn có thể mã hóa văn bản thông dụng bằng ít token hơn, nhưng làm lớp embedding, lớp đầu ra to hơn, và chỉ giúp với loại văn bản đã dùng huấn luyện từ vựng.

Còn gọi là: vocabulary size là gì, kích thước từ vựng, kích thước bộ từ vựng, từ vựng tokenizer, vocabulary size, vocab size, vocab_size, tokenizer vocabulary, token vocabulary

Vocabulary size cho biết model có thể biểu diễn bao nhiêu mẩu văn bản khác nhau bằng một token duy nhất.

Cách hoạt động

Từ vựng của một tokenizer BPE gồm các ký hiệu cơ sở cộng với mọi lần merge nó học được. Tài liệu Hugging Face lấy GPT gốc làm ví dụ: 478 token cơ sở + 40.000 lần merge = 40.478. Người xây tokenizer chọn kích thước mục tiêu trước khi huấn luyện.

Chúng tôi đã đọc từ vựng từ file tokenizer.json đã ghim phiên bản của từng model trên Hugging Face vào ngày 2026-11-14:

Tokenizer Số mục từ vựng Tổng số ID kể cả token đặc biệt
DeepSeek V4.1 Flash 128,000 129,280
GLM 5.3 154,820 154,856
Qwen3.8 27B 248,044 248,077
Gemma 4 26B A4B (bản gốc của Google) 262,144 262,144
OpenAI o200k_base (tham chiếu) 199,998 200,019

Model card Gemma 4 ghi từ vựng 262K, khớp với số trên. Card của Qwen3.8 ghi kích thước embedding 248.320 “padded” (Bản dịch: đã padding), lớn hơn 248.077 ID thực sự được dùng.

Vì sao quan trọng

Với người dùng API, vocabulary size là một gợi ý gián tiếp về chi phí cho mỗi từ. Điều quyết định là các lần merge được huấn luyện trên loại văn bản nào. Hãy so số token trên 100 từ cho cùng 39,037 từ tiếng Ả Rập chuẩn hiện đại trong bộ dữ liệu tokenizer của chúng tôi:

  • DeepSeek V4.1 Flash, 128.000 mục: 86,690 / 39,037 x 100 = 222.1
  • GLM 5.3, 154.820 mục: 95,230 / 39,037 x 100 = 243.9
  • Qwen3.8 27B, 248.044 mục: 71,424 / 39,037 x 100 = 183.0
  • Gemma 4, 262.144 mục: 79,120 / 39,037 x 100 = 202.7

GLM 5.3 có nhiều mục hơn DeepSeek nhưng dùng nhiều token hơn với văn bản này. Gemma có nhiều mục nhất nhưng không phải gọn nhất. Với văn xuôi tiếng Anh, cả năm đều nằm trong khoảng 127 đến 132 token trên 100 từ, nên vocabulary size gần như không ảnh hưởng ở đó.

Nguyên tắc: hãy đo văn bản của chính bạn bằng tokenizer của model thay vì suy ra chi phí từ con số từ vựng.

Trên BroadNet Inference

BroadNet không công bố vocabulary size; các số liệu trên lấy từ repo model công khai. Hàng Gemma dùng tokenizer gốc của Google, và chúng tôi giả định bản build Gemma 4 VL 26B của BroadNet giữ nguyên tokenizer này. Để xem ảnh hưởng trên prompt của bạn, hãy dùng công cụ đếm token; để chọn model cho tiếng Ả Rập, hãy đọc chọn LLM cho tiếng Ả Rập cùng với nghiên cứu token trên mỗi từ.

Câu hỏi thường gặp

Từ vựng lớn hơn có nghĩa là ít token hơn không?

Thường là vậy, nhưng không phải lúc nào cũng thế. Trong bài test ngày 2026-11-14 của chúng tôi, Gemma 4 có từ vựng lớn nhất (262.144) nhưng dùng 347 token cho một đoạn văn tiếng Ả Rập mà Qwen3.8 27B, với 248.044 mục, mã hóa bằng 316 token.

Vì sao vocab_size và file tokenizer lệch nhau?

Config của model thường padding bảng embedding lên một số tròn và giữ sẵn ID cho token đặc biệt. Qwen3.8 27B ghi kích thước đã padding là 248.320, trong khi tokenizer.json dùng ID từ 0 đến 248.076 (ID bắt đầu từ 0), tức tổng cộng 248.077.

Tìm vocabulary size của một model ở đâu?

Trong config.json của model, ở trường vocab_size, hoặc tải tokenizer.json và đếm số mục. Giá trị trong config thường đã được padding, nên file tokenizer cho con số chính xác về số token thực sự được dùng.

Đọc dạng MarkdownHỏi ChatGPTHỏi ClaudeHỏi Perplexity