---
title: "トークナイザーとは？LLM がテキストをトークンに分ける仕組み | BroadRouter"
description: "トークナイザーはテキストを LLM が読むトークン ID に変換します。仕組みと、同じテキストでもモデルごとにトークン数が違う理由を、アラビア語の実測データ付きで解説します。"
url: https://broadrouter.com/ja/glossary/tokenizer/
lang: ja
updated: 2026-11-16
publisher: BroadRouter (a BroadNet site); API by BroadNet Inference, https://inference.broadnet.ai
---

このページは英語の原文を AI の支援を受けて翻訳したものです。 [英語の原文を読む](https://broadrouter.com/glossary/tokenizer/) (2026-11-16 更新).

# トークナイザー（tokenizer）

更新日 2026-11-16

トークナイザーとは、テキストを言語モデルが読む整数のトークン ID の列に変換し、生成された ID をテキストに戻す部品です。モデルごとに独自のトークナイザーがあるため、同じテキストでもモデルによってトークン数が変わります。

別名： トークナイザ、LLM トークナイザー、サブワードトークナイザー、トークン化、tokenizer.json、tokenizer、LLM tokenizer、subword tokenizer、text tokenizer

トークナイザーは、テキストが何個の[トークン](https://broadrouter.com/ja/glossary/token/)になるかを決めます。つまり、コンテキストウィンドウと請求額をどれだけ使うかを決めます。

## 仕組み

トークナイザーには 2 つの部分があります。テキストの断片を整数 ID に対応させる固定の語彙と、テキストをその断片に分けるルールです。Hugging Face のドキュメントは、一般的なアルゴリズムをサブワード方式として説明しています。よく使われる単語はそのまま残し、まれな単語は既知の小さな断片に分けるので、“annoyingly” は “annoying” + “ly” になりえます。現在の LLM の多くは[バイトペアエンコーディング（BPE）](https://broadrouter.com/ja/glossary/bpe/)かその派生を使っています。

エンコードは 3 段階です。

1.  **事前トークン化。** 空白、句読点、数字で区切ります。
2.  **断片を ID に変換。** 学習済みのマージを適用し、各断片を語彙で引きます。
3.  **特殊トークンを追加。** チャットテンプレートがメッセージをロールのマーカーで囲み、これもトークンに数えられます。

デコードは手順 2 の逆です。オープンウェイトモデルでは、これらすべてがモデルリポジトリの `tokenizer.json` ファイルに入っています。

## なぜ重要か

トークナイザーが違えば、同じテキストでも数が変わります。データセットのテキストを各モデルの固定版トークナイザーでエンコードしました（英語：Wikipedia と Project Gutenberg の散文、アラビア語：FLORES-200 の 2,009 文と Wikipedia の導入部 3 つ、2026-11-15 測定、100 語あたりのトークン数 = トークン数 / 語数 × 100）。

| テキスト | DeepSeek V4.1 Flash | GLM 5.3 | Qwen3.8 27B | Gemma 4 | GPT o200k |
| --- | --- | --- | --- | --- | --- |
| 英語の散文、1,183 語 | 1,507 → 127.4 | 1,526 → 129.0 | 1,561 → 132.0 | 1,537 → 129.9 | 1,501 → 126.9 |
| アラビア語（MSA）、39,037 語 | 86,690 → 222.1 | 95,230 → 243.9 | 71,424 → 183.0 | 79,120 → 202.7 | 73,593 → 188.5 |

英語はどのモデルでも近い値です。アラビア語はそうではありません。同じテキストに対して、GLM 5.3 は Qwen3.8 27B の 95,230 / 71,424 = 1.33 倍のトークンを必要とします。トークン単価の料金では、この差がそのままコストの差になり、[コンテキストウィンドウ](https://broadrouter.com/ja/glossary/context-window/)に入るアラビア語の量も変わります。Gemma の列は Google のベースの Gemma 4 トークナイザーを使っています。BroadNet のビルドはこのモデルをベースにしており、トークナイザーも同じだと仮定しています。モデルごとの全データは、CSV と JSON のダウンロード付きで[トークナイザー効率データセット](https://broadrouter.com/data/tokenizer-efficiency/)にあります。

## BroadNet Inference の場合

BroadNet は従量課金のチャットを[入力トークンと出力トークン](https://broadrouter.com/ja/glossary/input-and-output-tokens/)で課金し、各レスポンスの `usage` オブジェクトで数を報告するので、正式な数は API が返す値です。送る前に見積もるなら、[トークンカウンター](https://broadrouter.com/tools/token-counter/)か[アラビア語トークンカウンター](https://broadrouter.com/tools/arabic-token-counter/)にテキストを貼り付けてください。同じ固定版のトークナイザーファイルを読み込んでいます。測定の全容は[アラビア語と英語の 1 語あたりのトークン数](https://broadrouter.com/ja/blog/tokens-per-word-arabic-english/)にあります。

## よくある間違い

-   あるモデルのトークナイザーで数え、別のモデルで課金される。呼び出すモデルのトークナイザーを使ってください。
-   チャットテンプレートを忘れる。ロールのマーカーとシステムプロンプトがトークンを増やし、プレーンテキストでの計数では漏れます。

## よくある質問

### すべての LLM が同じトークナイザーを使っていますか？

いいえ。モデルファミリーごとに独自の語彙でトークナイザーを学習しています。私たちのトークナイザーのデータセットでは、同じ 39,037 語のアラビア語が Qwen3.8 27B では 71,424 トークン、GLM 5.3 では 95,230 トークンでした。

### モデルのトークナイザーはどこにありますか？

オープンウェイトモデルなら、Hugging Face のリポジトリにある tokenizer.json ファイルです。Hugging Face の tokenizers ライブラリで読み込めば、トークン数を正確に数えられます。

### トークナイザーとトークン化は同じものですか？

トークン化（tokenization）は、テキストをトークンに分ける処理のことです。トークナイザーは、特定のモデルのためにその処理を行うファイルとコードです。

## 関連項目

-   [トークン（token）](https://broadrouter.com/ja/glossary/token/) (用語)
-   [バイトペアエンコーディング（BPE）](https://broadrouter.com/ja/glossary/bpe/) (用語)
-   [語彙サイズ（vocabulary size）](https://broadrouter.com/ja/glossary/vocabulary-size/) (用語)
-   [入力トークンと出力トークン（input and output tokens）](https://broadrouter.com/ja/glossary/input-and-output-tokens/) (用語)
-   [コンテキストウィンドウ（context window）](https://broadrouter.com/ja/glossary/context-window/) (用語)
-   [チャットテンプレート（chat template）](https://broadrouter.com/ja/glossary/chat-template/) (用語)
-   [Unicode 正規化（Unicode normalization）](https://broadrouter.com/ja/glossary/unicode-normalization/) (用語)
-   [OpenAI Python SDK を BroadNet Inference で使う](https://broadrouter.com/ja/guides/openai-python-sdk/) (ガイド)
-   [アラビア語と英語の 1 語あたりのトークン数：アラビア語が高くつく理由](https://broadrouter.com/ja/blog/tokens-per-word-arabic-english/) (記事)
-   [LLM リクエストを送る前にトークン数を数える方法](https://broadrouter.com/ja/blog/count-tokens-before-sending/) (記事)
-   [アラビア語のプロンプトエンジニアリング：文体、RTL、数字、混在テキスト](https://broadrouter.com/ja/blog/arabic-prompt-engineering/) (記事)

実際のワークロードで試してください。 新規アカウントには US$5 の初回クレジットがあり、Gemma、文字起こし に使えます。DeepSeek、GLM、Qwen3.8 はチャージが必要です。

[始める](https://inference.broadnet.ai/account/?utm_source=broadrouter&utm_medium=referral&utm_campaign=ja-glossary-tokenizer&utm_content=page-cta) ·

**出典**

-   [Hugging Face Transformers、トークン化のアルゴリズム（2026-11-16 確認）](https://huggingface.co/docs/transformers/tokenizer_summary)
-   [Hugging Face のモデルリポジトリ、Qwen/Qwen3.8-27B（2026-11-16 確認）](https://huggingface.co/Qwen/Qwen3.8-27B)
-   [Hugging Face のモデルリポジトリ、deepseek-ai/DeepSeek-V4.1-Flash（2026-11-16 確認）](https://huggingface.co/deepseek-ai/DeepSeek-V4.1-Flash)
-   [Hugging Face のモデルリポジトリ、google/gemma-4-26B-A4B-it（2026-11-16 確認）](https://huggingface.co/google/gemma-4-26B-A4B-it)
