BroadRouter

LLM リクエストを送る前にトークン数を数える方法

BroadNet Inference チーム · 約 5 分で読めます · 公開日 · 更新日

モデルのトークナイザーが公開されていればそれで数え、非公開なら実リクエストの usage から言語・内容別に「1 トークンあたりの文字数」を校正します。10〜20% の余裕を足し、プロンプトと max_tokens の合計がコンテキストウィンドウに収まるか確認します。思考するモデルでは推論トークンの分も空けます。

リクエストを送る前にトークン数を知っておくべき理由は 3 つあります。コンテキストウィンドウに収めるため、適切な max_tokens を決めるため、そしてコストを見積もるためです。正確な数はモデル自身のトークナイザーからしか得られません。精度の高い見積もりは校正から得られます。この記事では、実測値を使って両方の方法を説明します。

モデルによってトークン数が違うのはなぜですか?

トークナイザーは、テキストを固定の語彙から取った断片に分割します。モデルファミリーはそれぞれ独自のトークナイザーを学習させています。語彙が大きいほど、また特定の言語のデータを多く使って学習しているほど、その言語のトークン数は少なくなります。つまり「このプロンプトは何トークンか」の答えは、モデルごとに違います。

同じ短いカスタマーサービスのメッセージを 4 言語に訳したものと、小さな Python 関数、請求書の JSON オブジェクトを測定しました。OpenAI の数は tiktoken(GPT-4 世代の cl100k_base と GPT-4o 世代の o200k_base)によるものです。オープンモデルの数は、各ファミリーが Hugging Face で公開しているトークナイザーファイルを使い、チャットテンプレートを含めずに 2026 年 11 月 14 日に数えました。

テキスト(同じ意味) 文字数 cl100k_base o200k_base DeepSeek V4.1 Flash GLM 5.3 Qwen3.8 27B Gemma 4
英語、31 単語 173 37 37 37 38 39 39
スペイン語 160 47 40 50 45 43 42
アラビア語 142 102 46 55 58 48 49
中国語 54 51 37 34 35 36 38
Python 関数 94 33 33 35 33 35 38
請求書 JSON 140 59 60 63 60 72 72

各行のサンプルは 1 つだけなので、ベンチマークではなく例として見てください。それでも 3 つの教訓は成り立ちます。まず、トークナイザーの世代が効きます。アラビア語のテキストは cl100k_base から o200k_base で半分以下になりました。次に、オープンモデル同士でも違いがあります。同じアラビア語のテキストが 48〜58 トークン、JSON が 60〜72 トークンでした。そして、構造化されたコンテンツはどこでもトークン密度が高く、JSON はどのトークナイザーでも 1 トークンあたり約 2 文字でした。

無料のトークンカウンターや、DeepSeek、Qwen、GPT 向けのファミリー別カウンターで、自分のテキストでも同じことを試せます。プロンプトの修正でどれだけ減るかを見るには、プロンプトのトークン差分ツールで 2 つのバージョンを比べてください。アラビア語がなぜ特にトークンを多く使うのかは、長めのテキストで測ったアラビア語と英語の 1 単語あたりのトークン数で解説しています。

トークン数を正確に数えるには?

モデルのトークナイザーが公開されていれば、読み込んでローカルで数えます。OpenAI のモデルなら次のとおりです。

import tiktoken
enc = tiktoken.encoding_for_model("gpt-4o")
n = len(enc.encode(text))

オープンウェイトのモデルファミリーでは、トークナイザーはたいてい Hugging Face でモデルと一緒に公開されていて、AutoTokenizer.from_pretrained(...) で読み込めます。注意点が 2 つあります。チャットテンプレートがロールや区切りのためのトークンを追加すること、そして API プロバイダーがデプロイしているバージョンが公開ファイルと違う場合があることです。BroadNet の API リファレンスには、トークン数を数えるエンドポイントもモデルごとのトークナイザーも記載されていません。そのため公開トークナイザーで近い見積もりは得られますが、正確な数は呼び出し後の usage.prompt_tokens で確認します。

トークナイザーが非公開のとき、トークン数はどう見積もりますか?

モデルごとに一度校正し、その後はローカルで見積もります。

import os
from openai import OpenAI

client = OpenAI(base_url="https://inference.broadnet.ai/v1", api_key=os.environ["BROADNET_API_KEY"])

def prompt_tokens(model, text):
    r = client.chat.completions.create(
        model=model, max_tokens=1000,  # room for reasoning on thinking models
        messages=[{"role": "user", "content": text}],
    )
    return r.usage.prompt_tokens

def measure(model, samples: dict[str, list[str]]):
    base = prompt_tokens(model, "hi")  # chat-template overhead plus one short word
    ratios = {}
    for kind, texts in samples.items():
        chars = toks = 0
        for t in texts:
            chars += len(t)
            toks += prompt_tokens(model, t) - base
        ratios[kind] = chars / toks
    return ratios  # e.g. {"english": 4.1, "arabic": 2.9, "json": 2.3}

def estimate(text, kind, ratios, overhead=10):
    return int(len(text) / ratios[kind]) + overhead

コンテンツの種類ごとに、20 個以上の実際のサンプル(lorem ipsum ではなく、実際に使うプロンプト)を使ってください。1 単語だけのベースラインリクエストで、チャットテンプレートの固定オーバーヘッドを差し引きます。estimate はそれを overhead として足し戻すので、測定したベースラインの値を設定してください。BroadNet でいちばん安いモデルで校正するのは、実際にそのモデルを呼ぶ場合だけにしてください。Gemma 4 VL 26B の比率は DeepSeek V4.1 Flash には当てはまりません。画像も入力トークンとして課金され、大きな画像ほど多く使うので、解像度ごとに別途校正してください。

max_tokens とコンテキストにはどれくらい余裕を持たせるべきですか?

ウィンドウにはプロンプトと出力の両方が含まれます。推論モデルでは、出力に隠れた思考も含まれ、推論トークンとして報告されます。予算は次のように組みます。

  1. プロンプトの見積もり = 校正したトークン数 × 1.15(15% の安全マージン)。
  2. 回答の予算 = 許容する最長の回答。
  3. 推論の予算 = 思考するモデルでは最低 1,000 トークン。上限が小さいと空の回答が返ることがあるため、BroadNet のドキュメントは 1,000 以上、または reasoning_effort: "low" を推奨しています。
  4. max_tokens = 回答の予算 + 推論の予算。
  5. 確認:プロンプトの見積もり + max_tokens ≤ コンテキストウィンドウ。収まらなければ、回答ではなくプロンプトを削ります。

公開されている料金ファイルによる、BroadNet Inference のコンテキストウィンドウは次のとおりです。

モデル コンテキストウィンドウ 出力 16K、余裕 15% のときの実用的なプロンプト上限
DeepSeek V4.1 Flash 1,048,576 約 897,000
GLM 5.3 1,048,576 約 897,000
Qwen3.8 27B 262,144 約 213,000
Gemma 4 VL 26B 32,768 約 14,000

上限の列は (ウィンドウ − 16,384) ÷ 1.15 を切り捨てた値です。16,384 を自分の max_tokens に置き換えてください。

トークン数の見積もりでよくある失敗は?

  • トークンではなく単語を数える。「1 トークン = 0.75 単語」は英語の目安です。29 単語のアラビア語サンプルは、トークナイザーによって 46〜102 トークンでした。
  • **ツールとシステムプロンプトを忘れる。**ツールのスキーマは JSON で、トークン密度が高めです。プロンプトの一部として数えてください。
  • **黙って切り詰めてくれると思い込む。**古いメッセージを知らせずに捨てるツールもあります。BroadNet はコンテキストを削らないとしているので、サーバーに切ってもらうのではなく、送信前にサイズを確認してください。コンテキストウィンドウ計算ツールがこの確認をしてくれます。
  • **履歴が伸びることを無視する。**チャットやエージェントのループでは、プロンプトはターンごとに長くなります。予算はセッションごとに一度ではなく、呼び出しのたびに確認してください。安定した履歴はキャッシュにも乗りやすくなります。キャッシュ向けのプロンプト構成を参照してください。

アラビア語を扱うなら、トークナイザーは自分のテキストでモデルを試すべき理由がもう 1 つ増えるということです。そのほかの点はアラビア語向け LLM の選び方にまとめています。トークン数を月額の請求に換算するには、リリース前に LLM API のコストを見積もる方法をご覧ください。

BroadNet Inference が向いている場面

BroadNet Inference はすべてのレスポンスで prompt_tokens、completion_tokens、そしてモデルが報告する場合はキャッシュトークンと推論トークンの数を返します。校正に必要なのはこれだけです。カウント用エンドポイントやモデルごとのトークナイザーは公開していないので、送信前の数はあくまで見積もりです。100 万トークンのモデルでの長いコンテキストの扱いはコンテキストウィンドウのガイドで、100 万トークンあたりの料金は料金ページで確認できます。

よくある質問

1 単語は何トークンですか?

BroadRouter のトークナイザーデータセット(5 つのトークナイザーをまとめたもの。BroadNet の 4 つのチャットモデルのトークナイザーと OpenAI の o200k_base で、記事の例の表には cl100k_base も加えています)では、英語 1,000 単語は約 1,290 トークン、1 単語あたり約 1.29 トークンでした。よく使われる目安「1 トークン = 0.75 単語」は、英語の文章ならおおむね当たっています。アラビア語などの非ラテン文字やコードは、1 単語あたりのトークン数が多くなります。実際に呼び出すモデルで、自分のテキストを測ってください。

DeepSeek、Qwen、Gemma のトークン数を tiktoken で数えられますか?

大まかな見積もりとしてだけ使えます。tiktoken が実装しているのは OpenAI のエンコーディングです。ほかのモデルファミリーは独自のトークナイザーを持ち、多くは Hugging Face で公開されていて、数え方が違います。usage フィールドで校正してください。

DeepSeek、Qwen、GLM、Gemma のトークン数を数える無料ツールはありますか?

あります。BroadRouter の無料トークンカウンターは、これらのモデルファミリーが公開しているトークナイザーをブラウザ内で動かすので、テキストが手元のマシンから出ることはありません。チャットテンプレートで数トークン増えるため、結果は API が報告する値の見積もりとして扱ってください。

プロンプトがコンテキストウィンドウより長いとどうなりますか?

ほとんどの API はエラーを返します。古いメッセージを黙って削るツールもあります。BroadNet はコンテキストを削らないので、送信前にプロンプトと max_tokens の合計がウィンドウに収まるか確認してください。

max_tokens にはどれくらい余裕を持たせるべきですか?

想定される最長の回答を見積もり、思考するモデルなら推論の予算を足し、見積もり誤差に備えてウィンドウの 10〜20% を空けておきます。

Markdown で読むChatGPT に聞くClaude に聞くPerplexity に聞く