トークナイザーは、テキストが何個のトークンになるかを決めます。つまり、コンテキストウィンドウと請求額をどれだけ使うかを決めます。
仕組み
トークナイザーには 2 つの部分があります。テキストの断片を整数 ID に対応させる固定の語彙と、テキストをその断片に分けるルールです。Hugging Face のドキュメントは、一般的なアルゴリズムをサブワード方式として説明しています。よく使われる単語はそのまま残し、まれな単語は既知の小さな断片に分けるので、“annoyingly” は “annoying” + “ly” になりえます。現在の LLM の多くはバイトペアエンコーディング(BPE)かその派生を使っています。
エンコードは 3 段階です。
- 事前トークン化。 空白、句読点、数字で区切ります。
- 断片を ID に変換。 学習済みのマージを適用し、各断片を語彙で引きます。
- 特殊トークンを追加。 チャットテンプレートがメッセージをロールのマーカーで囲み、これもトークンに数えられます。
デコードは手順 2 の逆です。オープンウェイトモデルでは、これらすべてがモデルリポジトリの tokenizer.json ファイルに入っています。
なぜ重要か
トークナイザーが違えば、同じテキストでも数が変わります。データセットのテキストを各モデルの固定版トークナイザーでエンコードしました(英語:Wikipedia と Project Gutenberg の散文、アラビア語:FLORES-200 の 2,009 文と Wikipedia の導入部 3 つ、2026-11-15 測定、100 語あたりのトークン数 = トークン数 / 語数 × 100)。
| テキスト | DeepSeek V4.1 Flash | GLM 5.3 | Qwen3.8 27B | Gemma 4 | GPT o200k |
|---|---|---|---|---|---|
| 英語の散文、1,183 語 | 1,507 → 127.4 | 1,526 → 129.0 | 1,561 → 132.0 | 1,537 → 129.9 | 1,501 → 126.9 |
| アラビア語(MSA)、39,037 語 | 86,690 → 222.1 | 95,230 → 243.9 | 71,424 → 183.0 | 79,120 → 202.7 | 73,593 → 188.5 |
英語はどのモデルでも近い値です。アラビア語はそうではありません。同じテキストに対して、GLM 5.3 は Qwen3.8 27B の 95,230 / 71,424 = 1.33 倍のトークンを必要とします。トークン単価の料金では、この差がそのままコストの差になり、コンテキストウィンドウに入るアラビア語の量も変わります。Gemma の列は Google のベースの Gemma 4 トークナイザーを使っています。BroadNet のビルドはこのモデルをベースにしており、トークナイザーも同じだと仮定しています。モデルごとの全データは、CSV と JSON のダウンロード付きでトークナイザー効率データセットにあります。
BroadNet Inference の場合
BroadNet は従量課金のチャットを入力トークンと出力トークンで課金し、各レスポンスの usage オブジェクトで数を報告するので、正式な数は API が返す値です。送る前に見積もるなら、トークンカウンターかアラビア語トークンカウンターにテキストを貼り付けてください。同じ固定版のトークナイザーファイルを読み込んでいます。測定の全容はアラビア語と英語の 1 語あたりのトークン数にあります。
よくある間違い
- あるモデルのトークナイザーで数え、別のモデルで課金される。呼び出すモデルのトークナイザーを使ってください。
- チャットテンプレートを忘れる。ロールのマーカーとシステムプロンプトがトークンを増やし、プレーンテキストでの計数では漏れます。