BroadRouter
始める

トークナイザー(tokenizer)

更新日

トークナイザーとは、テキストを言語モデルが読む整数のトークン ID の列に変換し、生成された ID をテキストに戻す部品です。モデルごとに独自のトークナイザーがあるため、同じテキストでもモデルによってトークン数が変わります。

別名: トークナイザ、LLM トークナイザー、サブワードトークナイザー、トークン化、tokenizer.json、tokenizer、LLM tokenizer、subword tokenizer、text tokenizer

トークナイザーは、テキストが何個のトークンになるかを決めます。つまり、コンテキストウィンドウと請求額をどれだけ使うかを決めます。

仕組み

トークナイザーには 2 つの部分があります。テキストの断片を整数 ID に対応させる固定の語彙と、テキストをその断片に分けるルールです。Hugging Face のドキュメントは、一般的なアルゴリズムをサブワード方式として説明しています。よく使われる単語はそのまま残し、まれな単語は既知の小さな断片に分けるので、“annoyingly” は “annoying” + “ly” になりえます。現在の LLM の多くはバイトペアエンコーディング(BPE)かその派生を使っています。

エンコードは 3 段階です。

  1. 事前トークン化。 空白、句読点、数字で区切ります。
  2. 断片を ID に変換。 学習済みのマージを適用し、各断片を語彙で引きます。
  3. 特殊トークンを追加。 チャットテンプレートがメッセージをロールのマーカーで囲み、これもトークンに数えられます。

デコードは手順 2 の逆です。オープンウェイトモデルでは、これらすべてがモデルリポジトリの tokenizer.json ファイルに入っています。

なぜ重要か

トークナイザーが違えば、同じテキストでも数が変わります。データセットのテキストを各モデルの固定版トークナイザーでエンコードしました(英語:Wikipedia と Project Gutenberg の散文、アラビア語:FLORES-200 の 2,009 文と Wikipedia の導入部 3 つ、2026-11-15 測定、100 語あたりのトークン数 = トークン数 / 語数 × 100)。

テキスト DeepSeek V4.1 Flash GLM 5.3 Qwen3.8 27B Gemma 4 GPT o200k
英語の散文、1,183 語 1,507 → 127.4 1,526 → 129.0 1,561 → 132.0 1,537 → 129.9 1,501 → 126.9
アラビア語(MSA)、39,037 語 86,690 → 222.1 95,230 → 243.9 71,424 → 183.0 79,120 → 202.7 73,593 → 188.5

英語はどのモデルでも近い値です。アラビア語はそうではありません。同じテキストに対して、GLM 5.3 は Qwen3.8 27B の 95,230 / 71,424 = 1.33 倍のトークンを必要とします。トークン単価の料金では、この差がそのままコストの差になり、コンテキストウィンドウに入るアラビア語の量も変わります。Gemma の列は Google のベースの Gemma 4 トークナイザーを使っています。BroadNet のビルドはこのモデルをベースにしており、トークナイザーも同じだと仮定しています。モデルごとの全データは、CSV と JSON のダウンロード付きでトークナイザー効率データセットにあります。

BroadNet Inference の場合

BroadNet は従量課金のチャットを入力トークンと出力トークンで課金し、各レスポンスの usage オブジェクトで数を報告するので、正式な数は API が返す値です。送る前に見積もるなら、トークンカウンターかアラビア語トークンカウンターにテキストを貼り付けてください。同じ固定版のトークナイザーファイルを読み込んでいます。測定の全容はアラビア語と英語の 1 語あたりのトークン数にあります。

よくある間違い

  • あるモデルのトークナイザーで数え、別のモデルで課金される。呼び出すモデルのトークナイザーを使ってください。
  • チャットテンプレートを忘れる。ロールのマーカーとシステムプロンプトがトークンを増やし、プレーンテキストでの計数では漏れます。

よくある質問

すべての LLM が同じトークナイザーを使っていますか?

いいえ。モデルファミリーごとに独自の語彙でトークナイザーを学習しています。私たちのトークナイザーのデータセットでは、同じ 39,037 語のアラビア語が Qwen3.8 27B では 71,424 トークン、GLM 5.3 では 95,230 トークンでした。

モデルのトークナイザーはどこにありますか?

オープンウェイトモデルなら、Hugging Face のリポジトリにある tokenizer.json ファイルです。Hugging Face の tokenizers ライブラリで読み込めば、トークン数を正確に数えられます。

トークナイザーとトークン化は同じものですか?

トークン化(tokenization)は、テキストをトークンに分ける処理のことです。トークナイザーは、特定のモデルのためにその処理を行うファイルとコードです。

Markdown で読むChatGPT に聞くClaude に聞くPerplexity に聞く