BroadRouter

プロンプトのトークンを減らす:システムプロンプト、ツール、データの実測

BroadNet Inference チーム · 約 7 分で読めます · 公開日 · 更新日

まず prompt_tokens を記録し、最大の部分を探してトークナイザーで前後を比べます。5 つのトークナイザーで、冗長なシステムプロンプトの削減は 68〜71%、CSV は圧縮 JSON より 31〜41% 少なくなりました。3 つのモデルで、削ったシステムプロンプトと短いツール 3 個(冗長な 10 個の代わり)でリクエスト全体が約 65〜71% 減りました。

プロンプトが短いほど費用は下がり、コンテキストウィンドウに作業用の余裕が残り、たいていは最初のトークンも早く返ってきます。しかし「プロンプトを短くしよう」という助言は漠然としています。この記事では、現実的なサポートボットのプロンプトを 1 つ用意し、4 つのオープンモデルの実際のトークナイザーと OpenAI の o200k_base で一般的な削り方を計測して、どの修正に時間をかける価値があるかを示します。

コーディングエージェントを運用しているなら、そのループはエージェントのトークン予算で扱っています。この記事が扱うのはアプリケーションのプロンプト、つまりチャットボット、分類器、抽出ジョブです。

どう計測したか?

以下の数値はすべて、2026 年 11 月 15 日に当サイトが計測したものです。

  • **トークナイザー。**DeepSeek V4.1 Flash、GLM 5.3、Qwen3.8 27B、Google の Gemma 4 26B A4B の公式 tokenizer.json を、それぞれ固定した Hugging Face のリビジョン(出典を参照)で、Hugging Face tokenizers 0.23.3 で読み込みました。GPT モデルとの比較用に、tiktoken 0.14.0 の o200k_base も使いました。特殊トークンは付加していません。
  • **レンダリング後のプロンプト。**DeepSeek、GLM、Qwen については、各モデルが公開している chat_template.jinja(Jinja2 サンドボックス)で、システムプロンプト、ツール、履歴、質問を含むリクエスト全体をレンダリングし、その結果も数えました。これはサーバーがトークン化する内容に近いものの、プロバイダーが別のテンプレートを使うこともあるので、最終的には API の usage.prompt_tokens を正としてください。
  • **テキスト。**架空の通信会社の合成サポートボットです:261 語のシステムプロンプト、ツール 10 個、few-shot 例 8 個、注文データ 40 行、20 ターンの履歴、31 語のアラビア語の段落。プロンプト 1 つはデータポイント 1 つにすぎません。削減量は環境によって変わりますが、方法はそのまま使えます。

BroadNet の Gemma 4 VL 26B は Google のモデルをベースにしているので、その数値は推定値です。それ以外は各モデル自身のファイルを使っています。

どの削り方がいちばんトークンを減らすか?

元のテキストでの変更前 → 変更後と、削減率です。

変更 DeepSeek V4.1 Flash GLM 5.3 Qwen3.8 27B Gemma 4 GPT o200k
システムプロンプト:261 語 → 66 語 295 → 88 (70%) 294 → 89 (70%) 297 → 95 (68%) 297 → 96 (68%) 293 → 86 (71%)
Few-shot:例 8 個 → 3 個 157 → 69 (56%) 157 → 69 (56%) 156 → 71 (54%) 156 → 71 (54%) 152 → 69 (55%)
40 行:インデント付き JSON → 圧縮 JSON 2,446 → 1,606 (34%) 2,460 → 1,581 (36%) 3,180 → 1,980 (38%) 3,210 → 2,010 (37%) 2,446 → 1,567 (36%)
40 行:圧縮 JSON → CSV 1,606 → 948 (41%) 1,581 → 960 (39%) 1,980 → 1,359 (31%) 2,010 → 1,382 (31%) 1,567 → 946 (40%)
ツール 10 個:冗長 → 短い説明 1,224 → 806 (34%) 1,214 → 797 (34%) 1,225 → 806 (34%) 1,252 → 827 (34%) 1,202 → 796 (34%)
冗長なツール 10 個 → 短いツール 3 個 1,224 → 258 (79%) 1,214 → 257 (79%) 1,225 → 266 (78%) 1,252 → 276 (78%) 1,202 → 255 (79%)
アラビア語の段落:母音記号付き → 記号なし 193 → 74 (62%) 267 → 78 (71%) 151 → 62 (59%) 180 → 64 (64%) 218 → 62 (72%)

英語の文章では削減率がトークナイザー間で近いので、あるモデルで効く削り方は他のモデルでも効きます。このパターンから外れる行が 2 つあります。注文データは、どの形式でも Qwen と Gemma が DeepSeek と GLM より 23〜46% 多くトークンを使いました。これらのトークナイザーは数字を 1 桁ずつに分割するためで、100200 は Qwen では 6 トークン、DeepSeek では 2 トークンです。そしてアラビア語の発音記号は、一部のトークナイザーに他よりはるかに大きく影響します。

リクエスト全体ではどうなるか?

元のテキストではチャットテンプレートが抜けています。各モデル自身のテンプレートで、同じ顧客の質問を使ってレンダリングし、プロンプト全体を計測しました。

リクエスト DeepSeek V4.1 Flash GLM 5.3 Qwen3.8 27B
A. 冗長なシステムプロンプト + 冗長なツール 10 個 1,677 1,535 1,797
B. 削ったシステムプロンプト + 短いツール 10 個 1,052 913 1,176
C. 削ったシステムプロンプト + 短いツール 3 個 574 443 636
D. 削ったシステムプロンプト、ツールなし 136 121 174
C + 過去 20 ターンをそのまま 2,374 2,243 2,693
C + 3 行の要約 + 直近 4 ターン 979 849 1,103

A から C への変更で、各リクエストが約 65〜71% 減りました(Qwen で 64.6%、GLM で 71.1%)。その大半はツールによるものです。冗長なシステムプロンプトでレンダリングすると、冗長なツール 10 個で DeepSeek は 1,334、GLM は 1,209、Qwen は 1,421 トークン増えました。C の短いツール 3 個は D に比べて 322〜462 の増加です。ツール呼び出しのスキーマは、モデルが使うかどうかに関係なく、すべてのリクエストに乗ります。

量が増えると、これは大きな差になります。Qwen3.8 27B では、A から C で 1 リクエストあたり 1,161 トークン減ります。月 100,000 リクエストなら約 1 億 1,600 万入力トークン、標準の入力単価で月 116 × $0.175 です。

システムプロンプトを壊さずに削るには?

261 語のプロンプトと 66 語のプロンプトは、同じ 7 つのルールを持っています。削り方はすべて同じ種類のものでした。

  1. モデルへの丁寧な言い回しをやめる。“It is very important that you always remain polite and courteous at all times”(訳:常に礼儀正しく丁寧であり続けることが非常に重要です)はまるごと削除しました。役割の行がそれを含意しています。
  2. 1 行に 1 ルール。“Please make sure that you always…”(訳:必ず常に……するようにしてください)のような文を箇条書きに置き換えます。
  3. **重複をまとめる。**言語に関する 3 文は “Reply in the customer’s language (Arabic or English), briefly.”(訳:顧客の言語(アラビア語または英語)で簡潔に返答する。)になりました。
  4. デフォルトの言い直しを削除する。“Remember to always be helpful!”(訳:常に役に立つことを忘れずに!)は何も変えません。

そしてテストします。ルールが抜け落ちた短いプロンプトは、節約分より大きな損失を生みます。モデルを切り替える前の評価と同じように、同じ 50〜100 件の実際の入力で両方のバージョンを実行して比べてください。

few-shot 例はいくつ必要か?

たいていのプロンプトに入っている数より少なくて済みます。few-shot の例は、呼び出しのたびに料金がかかります。アラビア語の分類器での方言の例のように、それがないとモデルが誤るものは残し、すでに正しくできているものは削ってください。8 個から 3 個に減らすと、例のブロックが 54〜56% 減りました。3 個で足りるかどうかはトークンではなく精度の問題なので、自分のテストセットで確認してください。

ツール、データ、履歴は送り方を変えるべきか?

**ツール。**現在のステップで使えるツールだけを送ってください。請求に関する質問に必要なのは get_account、get_bill、create_ticket で、order_esim は不要です。説明は、モデルがツールを選んで引数を埋めるのに必要な分だけに短くします。ここではインデントは関係ありません。レンダリングしたテンプレートはどれも tools 配列を tojson で再シリアライズするので、整形した tools 配列も圧縮したものと同じコストです。

**メッセージ内のデータ。**メッセージに貼り付けたデータは、書いたとおりに送られます。少なくとも JSON は圧縮してください。フラットなレコードなら、CSV や TSV で繰り返しのキーをなくせます。テストでは圧縮 JSON よりトークンが 31〜41% 少なくなりました。入れ子のデータは JSON のままにします。モデルが列を正しく読めているか確認してください。

**履歴。**過去のターンはすべて送り直されます。古い 16 ターンを 3 行の要約に置き換え、直近 4 ターンをそのまま残すと、Qwen のプロンプトが 2,693 から 1,103 トークンになりました。要約は、ユーザーがあとで触れるかもしれない細部を落とします。また、要約を書き換えるとプレフィックスが変わり、キャッシュが壊れます。いつ圧縮するかは長時間動くエージェントのコンテキスト管理で扱っています。

**アラビア語の発音記号。**アラビア語はほとんど短母音の記号なしで書かれます。辞書、教科書、宗教文献などから来た入力で母音記号が完全に付いている場合、記号(U+064B〜U+0652)を取り除くと、段落が 59〜72% 減りました。教育や詩など、タスクが記号に依存する場合は残してください。正規化すべき他の文字はアラビア語テキストの正規化で、英語とのより大きな差はアラビア語の 1 語あたりのトークン数で扱っています。

キャッシュはどう位置づけられるか?

キャッシュはプロンプトを縮めるのではなく、繰り返される部分を安くします。OpenAI のキャッシュガイドは “the entire rendered prefix”(訳:レンダリング後のプレフィックス全体)が一致する必要があるとし、固定の指示を先頭に置くよう勧めています。BroadNet の料金ページはキャッシュ入力を “usually the repeated start of recent requests, such as a long system prompt”(訳:通常は、長いシステムプロンプトなど、直近のリクエストで繰り返される先頭部分)と説明しており、設定は不要で、ドキュメントでは usage.prompt_tokens_details.cached_tokens でヒットを報告するとしています。

つまり順番は、まず短くし、次に短くしたプレフィックスを安定させることです。システムプロンプトとツールを先頭に置き、毎回バイト単位まで同一にします。次に履歴を追記のみで置き、新しいメッセージを最後にします。Qwen3.8 27B では、キャッシュ入力は 100 万あたり $0.0435、新規入力は $0.175 です。レイアウトとプレフィックスの再利用を確かめるテストはキャッシュのためのプロンプト構成にあります。キャッシュされたトークンもコンテキストウィンドウは消費します。

自分のプロンプトをどう計測するか?

請求から始めます。呼び出し箇所ごとに usage.prompt_tokens を 1 日記録し、最大のものを見つけます。そのうえで次のスクリプトでバージョンをローカルで比べます。2 つのファイルの変更前と変更後のトークン数を表示します。

# pip install tokenizers tiktoken huggingface_hub
import json, sys
import tiktoken
from huggingface_hub import hf_hub_download
from tokenizers import Tokenizer

def hf(repo, rev):
    return Tokenizer.from_file(hf_hub_download(repo, "tokenizer.json", revision=rev))

COUNTERS = {
    "Qwen3.8 27B": hf("Qwen/Qwen3.8-27B", "37561816e66b5b9153b1b64c10968c18c1e6f4a0").encode,
    "GPT o200k": tiktoken.get_encoding("o200k_base").encode,
}

def n(enc, text):
    out = enc(text)
    return len(out.ids if hasattr(out, "ids") else out)

def diff(before, after):
    for name, enc in COUNTERS.items():
        a, b = n(enc, before), n(enc, after)
        print(f"{name:12} {a:6} -> {b:6}  saved {a - b} ({100 * (a - b) / a:.0f}%)")

if __name__ == "__main__":
    diff(open(sys.argv[1], encoding="utf-8").read(), open(sys.argv[2], encoding="utf-8").read())

2 つのシステムプロンプトで実行した結果は次のとおりです。

Qwen3.8 27B     297 ->     95  saved 202 (68%)
GPT o200k       293 ->     86  saved 207 (71%)

4 モデルすべてを比べるには、出典リストにある他のモデルのリポジトリを追加してください。ブラウザで手早く確認するなら、プロンプトのトークン差分ツールで 2 つのバージョンを並べて比較でき、トークンカウンターで 1 つを数えられます。デプロイ後は、テンプレートを含む usage.prompt_tokens で削減を確認してください。

BroadNet Inference が向いているケース

BroadRouter は BroadNet のサイトです。BroadNet Inference はプロンプトトークンを各モデルの入力単価で課金し、キャッシュ単価があるモデルでは繰り返されるプレフィックスをキャッシュから読んでキャッシュ単価で課金します。そのため、短いプロンプトも安定したプレフィックスも、どちらも請求額を下げます。Gemma 4 VL 26B のコンテキストは 32,768 トークンなので、削ることは費用だけでなく収まるかどうかにも関わります。DeepSeek V4.1 Flash のプランにはトークンメーターがありませんが、1,048,576 トークンのコンテキストの上限は変わらず、短いプロンプトのほうが早く返るのも同じです。プロンプトは各リクエストのあと保持されません。

よくある質問

プロンプトのトークン数を減らすにはどうすればよいですか?

まず計測します。usage.prompt_tokens を記録し、最大の部分を見つけます。そのうえで、計測で削減量が大きかった順に:ステップに必要なツールだけを送る、ツールとシステムプロンプトの文言を短くする、表は JSON ではなく CSV で送る、few-shot 例は結果を変えるものだけに絞る、古い会話ターンを要約する、です。

整形(インデント付き)JSON はトークンを多く使いますか?

はい。テストでは、インデント付き JSON 40 行を圧縮すると、トークナイザーによって 34〜38% 減り、CSV で送ると 57〜61% 減りました。逆に言えば、インデント付き JSON は圧縮 JSON より 52〜61%、CSV より 132〜159% 多くのトークンを使います。例外はツールスキーマです。チャットテンプレートが再シリアライズするので、tools 配列のインデントはモデルに届きません。

ツール定義は何トークン使いますか?

文言とモデルのテンプレートによります。説明の長いツール 10 個で、DeepSeek V4.1 Flash、GLM 5.3、Qwen3.8 27B のレンダリング後のプロンプトが約 1,200〜1,400 トークン増えました。説明の短いツール 3 個では約 320〜460 の増加でした。

アラビア語の発音記号でトークン数は増えますか?

大きく増えます。31 語の現代標準アラビア語の段落は、5 つのトークナイザーで、発音記号なしで 62〜78 トークン、母音記号を完全に付けると 151〜267 トークンでした。アラビア語の文章はほとんど記号なしで書かれるので、詩や教育などタスクで必要でない限り、入力から取り除いてください。

プロンプトキャッシュとプロンプトの短縮では、どちらがよいですか?

両方を組み合わせます。キャッシュは繰り返されるプレフィックスを安くしますが、コンテキストウィンドウは消費し、料金もかかります。まず短くし、そのうえで短くしたプレフィックスをすべてのリクエストの先頭でバイト単位まで同一に保ち、キャッシュから読まれるようにします。

自分で数えたトークン数が API の prompt_tokens と違うのはなぜですか?

API が数えるのはレンダリング後のプロンプトです。メッセージがチャットテンプレートで包まれ、ツールスキーマがテンプレート独自の形式で加わります。元のテキストにトークナイザーをかけるだけでは、これが抜け落ちます。バージョンの比較にはトークナイザーを、請求には usage.prompt_tokens を使ってください。

Markdown で読むChatGPT に聞くClaude に聞くPerplexity に聞く