---
title: "LLM のトークンとは？文字数との違いと料金をわかりやすく解説 | BroadRouter"
description: "トークンは LLM が読み書きするテキストの単位で、API の課金や上限の単位でもあります。トークナイザーによる分割、単語数の目安、コストを左右する理由を解説します。"
url: https://broadrouter.com/ja/glossary/token/
lang: ja
updated: 2026-11-14
publisher: BroadRouter (a BroadNet site); API by BroadNet Inference, https://inference.broadnet.ai
---

このページは英語の原文を AI の支援を受けて翻訳したものです。 [英語の原文を読む](https://broadrouter.com/glossary/token/) (2026-11-14 更新).

# トークン（token）

更新日 2026-11-14

トークンとは、言語モデルが読み書きするテキストの単位です。モデルのトークナイザーが作る単語、単語の一部、句読点、バイト列のいずれかにあたります。LLM API は利用量をトークンで数え、上限を設け、通常はトークン単位で課金します。

別名： トークン、トークン数、トークン化、トークナイズ、LLM トークン、token、LLM token、tokens、tokenization

モデルは文字や単語をそのまま見ているわけではありません。見ているのは整数の列で、それぞれが固定された語彙の中のテキスト片を表しています。このテキスト片がトークンです。

## しくみ

[トークナイザー](https://broadrouter.com/ja/glossary/tokenizer/)は、モデルが読む前にテキストを分割します。現在の多くのモデルは、[バイトペアエンコーディング（BPE）](https://broadrouter.com/ja/glossary/bpe/)のようなサブワード方式を使います。よく使われる単語はそのまま残り、まれな単語は部分に分かれます。Hugging Face の例では、`annoyingly` が `annoying` と `ly` に分かれることがあります。

バイトレベルの BPE は 256 通りのバイト値から始まるため、絵文字やあらゆる文字体系を含め、どんな入力でもエンコードできます。

英語について、OpenAI の目安は 1 トークンあたり約 4 文字、または 0.75 単語です。つまり 100 トークンはおよそ 75 単語になります。現行の 5 種類のトークナイザーで英語の文章を測った BroadRouter の結果は、100 単語あたり約 129 トークン、1,000 単語あたり 1,290 トークンで、この目安に近い値でした。ただし、どちらの比率も目安にすぎません。

-   アラビア語を含むほかの言語は、主に英語で学習したトークナイザーでは 1 単語あたりのトークン数が多くなりがちです。
-   コード、数字、空白は、文章とは違う形でトークン化されます。
-   モデルのファミリーごとに語彙が異なります。

送信前に見積もるには、[トークンカウンター](https://broadrouter.com/tools/token-counter/)にテキストを貼り付けてください。実際のトークン数は、各レスポンスの `usage` ブロックで API が報告します。

```json
"usage": { "prompt_tokens": 1200, "completion_tokens": 340, "total_tokens": 1540 }
```

## なぜ重要か

LLM API のほとんどの数字は、トークンを単位にしています。

-   **料金。** トークン課金の API は、100 万[入力トークンと出力トークン](https://broadrouter.com/ja/glossary/input-and-output-tokens/)あたりで課金し、多くの場合それぞれ単価が違います。
-   **上限。** [コンテキストウィンドウ](https://broadrouter.com/ja/glossary/context-window/)と `max_tokens` はトークンで測られ、多くのレート制限も 1 分あたりのトークン数で数えます。
-   **速度。** 生成速度は[毎秒トークン数](https://broadrouter.com/ja/glossary/tokens-per-second/)で示されます。

同じテキストでも、モデルによってトークン数が変わります。特にアラビア語で差が出ます。[トークナイザー効率のデータセット](https://broadrouter.com/data/tokenizer-efficiency/)では、英語、アラビア語、コードについて、モデルごとの 100 単語あたりのトークン数を測定しています。

## BroadNet Inference の場合

チャットモデルは 100 万トークンあたりで料金が決まります。[DeepSeek V4.1 Flash](https://broadrouter.com/ja/models/deepseek-v4.1-flash/) では、新しい入力が $0.175、[キャッシュ入力](https://broadrouter.com/ja/glossary/cached-input-tokens/)が $0.0055、出力が $0.52 です。[BroadNet Gemma 4 VL 26B](https://broadrouter.com/ja/models/gemma-4-vl-26b/) は入力 $0.10、出力 $0.22 です。全モデルの単価は[料金ページ](https://broadrouter.com/ja/pricing/)にあります。

定額プランでは、トークンはまったく計量されません。DeepSeek V4.1 Flash のセッションにはトークンメーターがなく、実際の制約は速度（毎秒約 100 トークン）です。音声認識モデルはトークンではなく、音声 1 分単位で課金されます。

## よくある間違い

-   英語以外のテキストのコストを単語数から見積もること。実際のサンプルで `usage` を測ってください。
-   推論モデルが考える過程でも出力トークンを使うことを忘れること。[推論トークン](https://broadrouter.com/ja/glossary/reasoning-tokens/)を参照してください。

## よくある質問

### 1,000 トークンは英語で何単語くらいですか？

英語の文章では、BroadRouter が 5 種類のトークナイザーで測定した結果、約 775 単語です（英語 1,000 単語が約 1,290 トークンでした）。OpenAI の目安「1 トークンは単語の約 4 分の 3」では 750 単語になります。ほかの言語やコード、ほかのモデルのトークナイザーでは比率が変わるため、正確さが必要な場合はそのモデル自身のトークナイザーで数えてください。

### 画像や音声もトークンとして数えられますか？

ビジョンモデルに送った画像は入力トークンに変換され、通常は画像が大きいほど多くのトークンを使います。音声認識 API は、トークンではなく音声 1 分あたりで料金が決まることが多くあります。

### 同じ文章でもモデルによってトークン数が違うのはなぜですか？

モデルのファミリーごとに独自のトークナイザーと語彙を持っているため、同じ文でも分割される数が変わります。

## 関連項目

-   [入力トークンと出力トークン（input and output tokens）](https://broadrouter.com/ja/glossary/input-and-output-tokens/) (用語)
-   [キャッシュ入力トークン（cached input tokens）](https://broadrouter.com/ja/glossary/cached-input-tokens/) (用語)
-   [コンテキストウィンドウ（context window）](https://broadrouter.com/ja/glossary/context-window/) (用語)
-   [トークン毎秒（TPS、tokens per second）](https://broadrouter.com/ja/glossary/tokens-per-second/) (用語)
-   [トークナイザー（tokenizer）](https://broadrouter.com/ja/glossary/tokenizer/) (用語)
-   [バイトペアエンコーディング（BPE）](https://broadrouter.com/ja/glossary/bpe/) (用語)
-   [語彙サイズ（vocabulary size）](https://broadrouter.com/ja/glossary/vocabulary-size/) (用語)
-   [logprobs（対数確率）](https://broadrouter.com/ja/glossary/logprobs/) (用語)
-   [chat completions のストリーミングと接続切断への対処](https://broadrouter.com/ja/guides/streaming-chat-completions/) (ガイド)
-   [キャッシュ入力トークンとは：LLM API の請求額を下げる方法](https://broadrouter.com/ja/blog/cached-input-tokens-explained/) (記事)
-   [LLM API は定額とトークン課金のどちらが得か：損益分岐の計算](https://broadrouter.com/ja/blog/flat-rate-vs-pay-per-token-llm-api/) (記事)

実際のワークロードで試してください。 新規アカウントには US$5 の初回クレジットがあり、Gemma、文字起こし に使えます。DeepSeek、GLM、Qwen3.8 はチャージが必要です。

[始める](https://inference.broadnet.ai/account/?utm_source=broadrouter&utm_medium=referral&utm_campaign=ja-glossary-token&utm_content=page-cta) ·

**出典**

-   [Hugging Face Transformers、トークン化のアルゴリズム（BPE、Unigram、WordPiece）](https://huggingface.co/docs/transformers/tokenizer_summary)
-   [OpenAI、主要な概念（トークンの目安）](https://developers.openai.com/api/docs/concepts)
-   [BroadNet Inference の機械可読な料金表（pricing.json） （英語）](https://inference.broadnet.ai/pricing.json?utm_source=broadrouter&utm_medium=referral&utm_campaign=ja-glossary-token&utm_content=sources)
