BroadRouter

語彙サイズ(vocabulary size)

更新日

語彙サイズとは、トークナイザーにある異なるトークンの数で、各トークンが固有の ID とエンベディングを持ちます。大きいほど一般的なテキストを少ないトークンで表せますが、埋め込み層と出力層が大きくなり、効果は語彙の学習に使ったテキストに限られます。

別名: 語彙数、ボキャブラリーサイズ、語彙表、トークナイザーの語彙、vocabulary size、vocab size、vocab_size、tokenizer vocabulary、token vocabulary

語彙サイズは、モデルが 1 つのトークンで表せるテキスト片が何種類あるかを示します。

仕組み

BPE トークナイザーの語彙は、基本記号と、学習したすべてのマージからなります。Hugging Face のドキュメントは初代 GPT を例に挙げています。基本トークン 478 + マージ 40,000 = 40,478 です。目標のサイズは、作成者が学習前に決めます。

2026-11-14 に、Hugging Face 上の各モデルの固定バージョンの tokenizer.json から語彙を読み取りました。

トークナイザー 語彙エントリ数 特殊トークンを含む ID の総数
DeepSeek V4.1 Flash 128,000 129,280
GLM 5.3 154,820 154,856
Qwen3.8 27B 248,044 248,077
Gemma 4 26B A4B(Google のベース) 262,144 262,144
OpenAI o200k_base(参考) 199,998 200,019

Gemma 4 のモデルカードには 262K の語彙と書かれており、一致します。Qwen3.8 のモデルカードは埋め込みサイズを 248,320 とし “padded”(訳:パディング済み)と記していて、実際に使われる 248,077 個の ID より大きくなっています。

なぜ重要か

API の利用者にとって、語彙サイズは単語あたりのコストの間接的な手がかりにすぎません。効いてくるのは、マージがどのテキストで学習されたかです。トークナイザーのデータセットで、同じ 39,037 語の現代標準アラビア語について、100 語あたりのトークン数を比べてみましょう。

  • DeepSeek V4.1 Flash、128,000 エントリ:86,690 / 39,037 x 100 = 222.1
  • GLM 5.3、154,820 エントリ:95,230 / 39,037 x 100 = 243.9
  • Qwen3.8 27B、248,044 エントリ:71,424 / 39,037 x 100 = 183.0
  • Gemma 4、262,144 エントリ:79,120 / 39,037 x 100 = 202.7

GLM 5.3 は DeepSeek よりエントリが多いのに、このテキストではトークンを多く使います。Gemma はエントリが最多ですが、最もコンパクトではありません。英語の文章では 5 つとも 100 語あたり 127〜132 トークンに収まるため、語彙サイズはほとんど関係ありません。

原則として、語彙の数字からコストを推測するのではなく、モデルのトークナイザーで自分のテキストを測ってください。

BroadNet Inference では

BroadNet は語彙サイズを公表していません。上の数字は公開されているモデルリポジトリによるものです。Gemma の行は Google のベーストークナイザーを使っており、BroadNet の Gemma 4 VL 26B ビルドもこれを引き継いでいると仮定しています。自分のプロンプトへの影響を確かめるにはトークンカウンターを使ってください。アラビア語でのモデル選びについては、アラビア語向け LLM の選び方と単語あたりトークン数の調査をあわせて読んでください。

よくある質問

語彙が大きいほどトークン数は少なくなりますか?

多くの場合はそうですが、常にではありません。2026-11-14 の私たちのテストでは、語彙が最大の Gemma 4(262,144)が、あるアラビア語テキストに 347 トークンを使い、語彙 248,044 の Qwen3.8 27B は 316 トークンでした。

vocab_size とトークナイザーファイルの値が合わないのはなぜですか?

モデルの設定では、埋め込みテーブルをきりのよい数にパディングし、特殊トークン用の ID を予約することがよくあります。Qwen3.8 27B のパディング後のサイズは 248,320 ですが、tokenizer.json が使う ID は 0 から 248,076 まで(ID は 0 から始まる)で、合計 248,077 個です。

モデルの語彙サイズはどこで確認できますか?

モデルの config.json の vocab_size を見るか、tokenizer.json を読み込んでエントリ数を数えます。設定値はパディングされていることが多いので、実際に使われているトークンの正確な数はトークナイザーファイルでわかります。

Markdown で読むChatGPT に聞くClaude に聞くPerplexity に聞く