モデルは文字や単語をそのまま見ているわけではありません。見ているのは整数の列で、それぞれが固定された語彙の中のテキスト片を表しています。このテキスト片がトークンです。
しくみ
トークナイザーは、モデルが読む前にテキストを分割します。現在の多くのモデルは、バイトペアエンコーディング(BPE)のようなサブワード方式を使います。よく使われる単語はそのまま残り、まれな単語は部分に分かれます。Hugging Face の例では、annoyingly が annoying と ly に分かれることがあります。
バイトレベルの BPE は 256 通りのバイト値から始まるため、絵文字やあらゆる文字体系を含め、どんな入力でもエンコードできます。
英語について、OpenAI の目安は 1 トークンあたり約 4 文字、または 0.75 単語です。つまり 100 トークンはおよそ 75 単語になります。現行の 5 種類のトークナイザーで英語の文章を測った BroadRouter の結果は、100 単語あたり約 129 トークン、1,000 単語あたり 1,290 トークンで、この目安に近い値でした。ただし、どちらの比率も目安にすぎません。
- アラビア語を含むほかの言語は、主に英語で学習したトークナイザーでは 1 単語あたりのトークン数が多くなりがちです。
- コード、数字、空白は、文章とは違う形でトークン化されます。
- モデルのファミリーごとに語彙が異なります。
送信前に見積もるには、トークンカウンターにテキストを貼り付けてください。実際のトークン数は、各レスポンスの usage ブロックで API が報告します。
"usage": { "prompt_tokens": 1200, "completion_tokens": 340, "total_tokens": 1540 }
なぜ重要か
LLM API のほとんどの数字は、トークンを単位にしています。
- 料金。 トークン課金の API は、100 万入力トークンと出力トークンあたりで課金し、多くの場合それぞれ単価が違います。
- 上限。 コンテキストウィンドウと
max_tokensはトークンで測られ、多くのレート制限も 1 分あたりのトークン数で数えます。 - 速度。 生成速度は毎秒トークン数で示されます。
同じテキストでも、モデルによってトークン数が変わります。特にアラビア語で差が出ます。トークナイザー効率のデータセットでは、英語、アラビア語、コードについて、モデルごとの 100 単語あたりのトークン数を測定しています。
BroadNet Inference の場合
チャットモデルは 100 万トークンあたりで料金が決まります。DeepSeek V4.1 Flash では、新しい入力が $0.175、キャッシュ入力が $0.0055、出力が $0.52 です。BroadNet Gemma 4 VL 26B は入力 $0.10、出力 $0.22 です。全モデルの単価は料金ページにあります。
定額プランでは、トークンはまったく計量されません。DeepSeek V4.1 Flash のセッションにはトークンメーターがなく、実際の制約は速度(毎秒約 100 トークン)です。音声認識モデルはトークンではなく、音声 1 分単位で課金されます。
よくある間違い
- 英語以外のテキストのコストを単語数から見積もること。実際のサンプルで
usageを測ってください。 - 推論モデルが考える過程でも出力トークンを使うことを忘れること。推論トークンを参照してください。