BroadRouter
始める

トークン(token)

更新日

トークンとは、言語モデルが読み書きするテキストの単位です。モデルのトークナイザーが作る単語、単語の一部、句読点、バイト列のいずれかにあたります。LLM API は利用量をトークンで数え、上限を設け、通常はトークン単位で課金します。

別名: トークン、トークン数、トークン化、トークナイズ、LLM トークン、token、LLM token、tokens、tokenization

モデルは文字や単語をそのまま見ているわけではありません。見ているのは整数の列で、それぞれが固定された語彙の中のテキスト片を表しています。このテキスト片がトークンです。

しくみ

トークナイザーは、モデルが読む前にテキストを分割します。現在の多くのモデルは、バイトペアエンコーディング(BPE)のようなサブワード方式を使います。よく使われる単語はそのまま残り、まれな単語は部分に分かれます。Hugging Face の例では、annoyingly が annoying と ly に分かれることがあります。

バイトレベルの BPE は 256 通りのバイト値から始まるため、絵文字やあらゆる文字体系を含め、どんな入力でもエンコードできます。

英語について、OpenAI の目安は 1 トークンあたり約 4 文字、または 0.75 単語です。つまり 100 トークンはおよそ 75 単語になります。現行の 5 種類のトークナイザーで英語の文章を測った BroadRouter の結果は、100 単語あたり約 129 トークン、1,000 単語あたり 1,290 トークンで、この目安に近い値でした。ただし、どちらの比率も目安にすぎません。

  • アラビア語を含むほかの言語は、主に英語で学習したトークナイザーでは 1 単語あたりのトークン数が多くなりがちです。
  • コード、数字、空白は、文章とは違う形でトークン化されます。
  • モデルのファミリーごとに語彙が異なります。

送信前に見積もるには、トークンカウンターにテキストを貼り付けてください。実際のトークン数は、各レスポンスの usage ブロックで API が報告します。

"usage": { "prompt_tokens": 1200, "completion_tokens": 340, "total_tokens": 1540 }

なぜ重要か

LLM API のほとんどの数字は、トークンを単位にしています。

同じテキストでも、モデルによってトークン数が変わります。特にアラビア語で差が出ます。トークナイザー効率のデータセットでは、英語、アラビア語、コードについて、モデルごとの 100 単語あたりのトークン数を測定しています。

BroadNet Inference の場合

チャットモデルは 100 万トークンあたりで料金が決まります。DeepSeek V4.1 Flash では、新しい入力が $0.175、キャッシュ入力が $0.0055、出力が $0.52 です。BroadNet Gemma 4 VL 26B は入力 $0.10、出力 $0.22 です。全モデルの単価は料金ページにあります。

定額プランでは、トークンはまったく計量されません。DeepSeek V4.1 Flash のセッションにはトークンメーターがなく、実際の制約は速度(毎秒約 100 トークン)です。音声認識モデルはトークンではなく、音声 1 分単位で課金されます。

よくある間違い

  • 英語以外のテキストのコストを単語数から見積もること。実際のサンプルで usage を測ってください。
  • 推論モデルが考える過程でも出力トークンを使うことを忘れること。推論トークンを参照してください。

よくある質問

1,000 トークンは英語で何単語くらいですか?

英語の文章では、BroadRouter が 5 種類のトークナイザーで測定した結果、約 775 単語です(英語 1,000 単語が約 1,290 トークンでした)。OpenAI の目安「1 トークンは単語の約 4 分の 3」では 750 単語になります。ほかの言語やコード、ほかのモデルのトークナイザーでは比率が変わるため、正確さが必要な場合はそのモデル自身のトークナイザーで数えてください。

画像や音声もトークンとして数えられますか?

ビジョンモデルに送った画像は入力トークンに変換され、通常は画像が大きいほど多くのトークンを使います。音声認識 API は、トークンではなく音声 1 分あたりで料金が決まることが多くあります。

同じ文章でもモデルによってトークン数が違うのはなぜですか?

モデルのファミリーごとに独自のトークナイザーと語彙を持っているため、同じ文でも分割される数が変わります。

Markdown で読むChatGPT に聞くClaude に聞くPerplexity に聞く