BroadRouter

Bawasan ang prompt token: sinukat na tipid sa system prompt at tools

Ng BroadNet Inference team · 7 minutong basa · Nailathala · Na-update

Sukatin muna: i-log ang prompt_tokens kada call, hanapin ang pinakamalaking bahagi, at ikumpara ang bago at pagkatapos gamit ang tokenizer. Sa limang tokenizer, 68 hanggang 71% ang natipid sa pagbabawas ng mahabang system prompt at 31 hanggang 41% na mas kaunting token ang CSV kaysa sa minified na JSON. Sa tatlong model, mga 65 hanggang 71% ang nabawas sa buong request ng pinaikling system prompt na may 3 maikling tool imbes na 10.

Mas mura ang mas maiikling prompt, nag-iiwan ng mas malaking bahagi ng context window para sa trabaho, at kadalasang mas maagang naibabalik ang unang token. Pero malabong payo ang “paikliin ang prompt”. Sinusukat ng post na ito ang mga karaniwang pagbabawas sa isang makatotohanang prompt ng support bot, gamit ang totoong tokenizer ng apat na open model at ang o200k_base ng OpenAI, para makita mo kung aling mga edit ang sulit sa oras mo.

Kung nagpapatakbo ka ng coding agent, sinasaklaw ng agent token budget ang loop na iyon. Tungkol sa mga application prompt ang post na ito: mga chatbot, classifier at extraction job.

Paano kami nagsukat?

Amin ang lahat ng bilang sa ibaba, ginawa noong Nobyembre 15, 2026:

  • Mga tokenizer. Ang opisyal na tokenizer.json file ng DeepSeek V4.1 Flash, GLM 5.3, Qwen3.8 27B at Gemma 4 26B A4B ng Google, bawat isa sa naka-pin na Hugging Face revision (tingnan ang Sources), na-load gamit ang Hugging Face tokenizers 0.23.3. Dagdag ang o200k_base mula sa tiktoken 0.14.0, para ikumpara sa mga GPT model. Hindi idinagdag ang mga special token.
  • Mga rendered na prompt. Para sa DeepSeek, GLM at Qwen, ni-render din namin ang buong request sa nakalathalang chat_template.jinja ng bawat model (Jinja2 sandbox), kasama ang system prompt, tools, history at tanong, at binilang ang resulta. Malapit iyon sa tinotokenize ng server, pero puwedeng ibang template ang gamitin ng provider, kaya ituring na huling salita ang usage.prompt_tokens ng API.
  • Text. Isang synthetic na support bot para sa isang kathang-isip na telecom: 261-salitang system prompt, 10 tool, 8 few-shot example, 40 order row, 20-turn na history at 31-salitang Arabic na talata. Isang data point lang ang isang prompt. Mag-iiba ang matitipid mo; pero magagamit mo ang parehong paraan.

Batay sa model ng Google ang Gemma 4 VL 26B ng BroadNet, kaya tantiya ang bilang nito. Sariling file ng mga model ang ginamit ng iba.

Aling mga pagbabawas ang pinakamaraming natitipid na token?

Raw na text, bago → pagkatapos, kasama ang bahaging natipid:

Pagbabago DeepSeek V4.1 Flash GLM 5.3 Qwen3.8 27B Gemma 4 GPT o200k
System prompt: 261 salita → 66 salita 295 → 88 (70%) 294 → 89 (70%) 297 → 95 (68%) 297 → 96 (68%) 293 → 86 (71%)
Few-shot: 8 example → 3 157 → 69 (56%) 157 → 69 (56%) 156 → 71 (54%) 156 → 71 (54%) 152 → 69 (55%)
40 row: naka-indent na JSON → minified na JSON 2,446 → 1,606 (34%) 2,460 → 1,581 (36%) 3,180 → 1,980 (38%) 3,210 → 2,010 (37%) 2,446 → 1,567 (36%)
40 row: minified na JSON → CSV 1,606 → 948 (41%) 1,581 → 960 (39%) 1,980 → 1,359 (31%) 2,010 → 1,382 (31%) 1,567 → 946 (40%)
10 tool: mahaba → maikling description 1,224 → 806 (34%) 1,214 → 797 (34%) 1,225 → 806 (34%) 1,252 → 827 (34%) 1,202 → 796 (34%)
10 mahabang tool → 3 maikli 1,224 → 258 (79%) 1,214 → 257 (79%) 1,225 → 266 (78%) 1,252 → 276 (78%) 1,202 → 255 (79%)
Arabic na talata: kumpleto ang patinig → simple 193 → 74 (62%) 267 → 78 (71%) 151 → 62 (59%) 180 → 64 (64%) 218 → 62 (72%)

Halos pareho ang mga percentage sa iba’t ibang tokenizer para sa English na prosa, kaya ang pagbabawas na nakakatulong sa isang model ay nakakatulong din sa iba. Dalawang row ang lumilihis sa pattern na iyon. 23 hanggang 46% na mas maraming token ang order data sa Qwen at Gemma kaysa sa DeepSeek at GLM sa bawat format, dahil hinahati ng tokenizer nila ang mga numero sa iisang digit: 6 na token ang 100200 sa Qwen at 2 sa DeepSeek. At mas matindi ang tama ng Arabic diacritics sa ilang tokenizer kaysa sa iba.

Ano ang itsura ng buong request?

Hindi nakikita ng raw na text ang chat template. Ni-render sa sariling template ng bawat model, gamit ang parehong tanong ng customer, ito ang sukat ng buong prompt:

Request DeepSeek V4.1 Flash GLM 5.3 Qwen3.8 27B
A. Mahabang system prompt + 10 mahabang tool 1,677 1,535 1,797
B. Pinaikling system prompt + 10 maikling tool 1,052 913 1,176
C. Pinaikling system prompt + 3 maikling tool 574 443 636
D. Pinaikling system prompt, walang tools 136 121 174
C + 20 naunang turn nang buo 2,374 2,243 2,693
C + 3-linyang buod + huling 4 na turn 979 849 1,103

Mula A papuntang C, mga 65 hanggang 71% ang nabawas sa bawat request (64.6% sa Qwen, 71.1% sa GLM). Karamihan noon ay galing sa tools. Kapag ni-render kasama ang mahabang system prompt, nagdagdag ang 10 mahabang tool ng 1,334 token sa DeepSeek, 1,209 sa GLM at 1,421 sa Qwen; nagdagdag naman ang 3 maikling tool sa C ng 322 hanggang 462 kumpara sa D. Kasama ang mga tool calling schema sa bawat request, gamitin man ito ng model o hindi.

Sa malaking volume, lumalaki ito. Sa Qwen3.8 27B, 1,161 token kada request ang natitipid mula A papuntang C. Sa 100,000 request kada buwan, mga 116 milyong input token iyon, o 116 × $0.175 kada buwan sa standard na presyo ng input.

Paano paikliin ang system prompt nang hindi ito nasisira?

Parehong pitong patakaran ang dala ng 261-salita at 66-salitang prompt namin. Iisang uri lang ang lahat ng pagbabawas:

  1. Tanggalin ang pagiging magalang sa model. Ang “It is very important that you always remain polite and courteous at all times” (salin: Napakahalaga na lagi kang magalang at mapitagan sa lahat ng oras) ay naging wala: ipinapahiwatig na ito ng role line.
  2. Isang patakaran kada linya. Pinalitan ng mga bullet ang mga pangungusap na “Please make sure that you always…” (salin: Pakitiyak na lagi mong…).
  3. Pagsamahin ang mga doble. Ang tatlong pangungusap tungkol sa wika ay naging “Reply in the customer’s language (Arabic or English), briefly.” (salin: Sumagot sa wika ng customer (Arabic o English), nang maikli.)
  4. Burahin ang mga default na inuulit lang. Walang binabago ang “Remember to always be helpful!” (salin: Tandaang laging maging matulungin!).

Pagkatapos, mag-test. Mas malaki ang gastos ng mas maikling prompt na nawalan ng patakaran kaysa sa natitipid nito. Patakbuhin ang dalawang bersyon sa parehong 50 hanggang 100 totoong input at ikumpara, gaya ng sa pag-evaluate ng LLM bago lumipat.

Ilang few-shot example ang kailangan mo?

Mas kaunti kaysa sa dala ng karamihan ng prompt. Binabayaran sa bawat call ang bawat few-shot example. Panatilihin ang mga nag-aayos ng pagkakamaling ginagawa ng model kapag wala sila, gaya ng example sa dialect para sa isang Arabic classifier, at tanggalin ang mga tama na ang sagot ng model kahit wala sila. 54 hanggang 56% ng examples block ang natipid ng pagbabawas namin mula 8 papuntang 3. Kung sapat ang 3 para sa task mo ay tanong ng accuracy, hindi ng token, kaya suriin ito sa test set mo.

Dapat mo bang ipadala nang iba ang tools, data at history?

Tools. Ipadala lang ang mga tool na magagamit ng kasalukuyang step. Kailangan ng tanong tungkol sa billing ang get_account, get_bill at create_ticket, hindi ang order_esim. Paikliin ang mga description sa kailangan lang ng model para pumili at punan ang tool. Walang epekto rito ang indentation: lahat ng template na ni-render namin ay sine-serialize ulit ang tools array gamit ang tojson, kaya pareho ang gastos ng pretty-printed at minified na tools array.

Data sa mga mensahe. Ipinapadala nang eksakto kung paano isinulat ang data na idinidikit mo sa isang mensahe. I-minify man lang ang JSON. Para sa mga flat na record, inaalis ng CSV o TSV ang mga paulit-ulit na key: 31 hanggang 41% na mas kaunting token kaysa sa minified na JSON sa test namin. Manatiling JSON ang nested na data. Tiyaking nababasa pa rin nang tama ng model ang mga column.

History. Ipinapadala ulit ang bawat nakaraang turn. Nang palitan ng tatlong-linyang buod ang 16 na lumang turn, at panatilihing buo ang huling apat na turn, bumaba ang Qwen prompt mula 2,693 hanggang 1,103 token. Nawawala sa buod ang mga detalyeng puwedeng balikan ng user, at binabago ng pag-rewrite nito ang prefix, na sumisira sa caching. Sinasaklaw ng context management ng long-running agent kung kailan dapat mag-compact.

Arabic diacritics. Karamihan ng Arabic ay isinusulat nang walang maiikling patinig. Kung kumpleto ang patinig ng input mo, mula sa diksyunaryo, textbook o relihiyosong source, 59 hanggang 72% ang nabawas sa talata namin nang tanggalin ang mga marka (U+064B hanggang U+0652). Panatilihin ang mga ito kapag nakadepende sa kanila ang task, gaya ng pagtuturo o tula. Sinasaklaw ng Arabic text normalization ang iba pang character na sulit i-normalize, at ng token kada salita sa Arabic ang mas malawak na agwat sa English.

Saan pumapasok ang caching?

Hindi pinaliliit ng caching ang prompt. Pinapamura nito ang paulit-ulit na bahagi. Sinasabi ng caching guide ng OpenAI na dapat tumugma ang “the entire rendered prefix” (salin: ang buong rendered prefix) at pinapayong ilagay muna ang mga stable na instruction. Inilalarawan ng pricing page ng BroadNet ang cached input bilang “usually the repeated start of recent requests, such as a long system prompt” (salin: kadalasan ang paulit-ulit na simula ng mga kamakailang request, gaya ng mahabang system prompt), na walang kailangang i-setup, at iniuulat ng docs nito ang mga hit sa usage.prompt_tokens_details.cached_tokens.

Kaya ito ang pagkakasunod: paikliin muna, pagkatapos ay gawing stable ang pinaikling prefix. System prompt at tools muna, byte-identical sa bawat call; sunod ang history, dinudugtungan lang; huli ang bagong mensahe. Sa Qwen3.8 27B, $0.0435 kada 1M ang cached input laban sa $0.175. Nasa prompt structure para sa caching ang layout at isang test na nagpapatunay na nagagamit ulit ang prefix. Kasama pa rin sa context window ang mga cached token.

Paano sukatin ang sarili mong prompt?

Magsimula sa bill. I-log ang usage.prompt_tokens kada call site nang isang araw at hanapin ang pinakamalaki. Pagkatapos, ikumpara ang mga bersyon nang lokal gamit ang script na ito, na nagpi-print ng bilang bago at pagkatapos para sa dalawang file:

# pip install tokenizers tiktoken huggingface_hub
import json, sys
import tiktoken
from huggingface_hub import hf_hub_download
from tokenizers import Tokenizer

def hf(repo, rev):
    return Tokenizer.from_file(hf_hub_download(repo, "tokenizer.json", revision=rev))

COUNTERS = {
    "Qwen3.8 27B": hf("Qwen/Qwen3.8-27B", "37561816e66b5b9153b1b64c10968c18c1e6f4a0").encode,
    "GPT o200k": tiktoken.get_encoding("o200k_base").encode,
}

def n(enc, text):
    out = enc(text)
    return len(out.ids if hasattr(out, "ids") else out)

def diff(before, after):
    for name, enc in COUNTERS.items():
        a, b = n(enc, before), n(enc, after)
        print(f"{name:12} {a:6} -> {b:6}  saved {a - b} ({100 * (a - b) / a:.0f}%)")

if __name__ == "__main__":
    diff(open(sys.argv[1], encoding="utf-8").read(), open(sys.argv[2], encoding="utf-8").read())

Nang patakbuhin ito sa dalawang system prompt namin, ito ang na-print:

Qwen3.8 27B     297 ->     95  saved 202 (68%)
GPT o200k       293 ->     86  saved 207 (71%)

Idagdag ang repo ng ibang model mula sa listahan ng Sources para ikumpara ang apat. Para sa mabilis na check sa browser, ikinukumpara ng prompt token diff ang dalawang bersyon nang magkatabi, at binibilang ng token counter ang isa. Pagkatapos mag-deploy, kumpirmahin ang natipid sa usage.prompt_tokens, na kasama ang template.

Saan pumapasok ang BroadNet Inference

Ang BroadRouter ay site ng BroadNet. Sinisingil ng BroadNet Inference ang mga prompt token sa presyo ng input ng bawat model at binabasa ang mga paulit-ulit na prefix mula sa cache sa cached na presyo kung may ganoon ang model, kaya parehong nagpapababa ng bill ang mas maiikling prompt at stable na prefix. May 32,768-token na context ang Gemma 4 VL 26B, kung saan mahalaga ang pagbabawas para magkasya at para sa gastos. Sa mga DeepSeek V4.1 Flash plan, walang token meter, pero umiiral pa rin ang 1,048,576-token na context, at mas maaga pa ring bumabalik ang mas maikling prompt. Hindi itinatago ang mga prompt pagkatapos ng bawat request.

Mga tanong

Paano ko babawasan ang bilang ng token sa prompt ko?

Sukatin muna: i-log ang usage.prompt_tokens at hanapin ang pinakamalaking bahagi. Pagkatapos, ayon sa pagkakasunod ng pinakamalaking natipid sa sukat namin: ipadala lang ang mga tool na kailangan ng step, paikliin ang wording ng tools at system prompt, ipadala ang mga table bilang CSV at hindi JSON, bawasan ang few-shot example sa mga nakakapagpabago ng resulta, at ibuod ang mga lumang chat turn.

Mas maraming token ba ang pretty-printed na JSON?

Oo. Sa test namin, 34 hanggang 38% ng token ang natipid sa pag-minify ng 40 row ng naka-indent na JSON, depende sa tokenizer, at 57 hanggang 61% kapag ipinadala bilang CSV. Sa kabilang banda, 52 hanggang 61% na mas maraming token ang naka-indent na JSON kaysa sa minified na JSON at 132 hanggang 159% na mas marami kaysa sa CSV. Eksepsiyon ang mga tool schema: sine-serialize ulit ng mga chat template ang mga ito, kaya hindi umaabot sa model ang indentation sa tools array mo.

Ilang token ang ginagamit ng tool definitions?

Nakadepende sa wording at sa template ng model. Ang 10 tool namin na may mahahabang description ay nagdagdag ng mga 1,200 hanggang 1,400 token sa isang rendered na prompt sa DeepSeek V4.1 Flash, GLM 5.3 at Qwen3.8 27B. Ang tatlong tool na may maiikling description ay nagdagdag ng mga 320 hanggang 460.

Nagpapataas ba ng bilang ng token ang Arabic diacritics?

Malaki. Ang isang 31-salitang MSA na talata ay 62 hanggang 78 token kung walang diacritics at 151 hanggang 267 token kung kumpleto ang patinig, sa limang tokenizer. Karamihan ng Arabic na text ay isinusulat nang wala ang mga ito, kaya tanggalin ang mga ito sa input maliban kung kailangan ng task, gaya ng tula o pagtuturo.

Mas mahusay ba ang prompt caching kaysa paikliin ang prompt?

Magkatuwang sila. Pinapamura ng caching ang paulit-ulit na prefix, pero kasama pa rin ito sa context window at may presyo pa rin. Paikliin muna, pagkatapos ay panatilihing byte-identical ang pinaikling prefix sa simula ng bawat request para mabasa ito mula sa cache.

Bakit iba ang bilang ko ng token sa prompt_tokens ng API?

Binibilang ng API ang rendered na prompt: ang mga mensahe mo na nakabalot sa chat template, dagdag ang mga tool schema sa sariling format ng template. Hindi iyon nakikita ng tokenizer na pinatakbo sa raw na text mo. Gamitin ang tokenizer para ikumpara ang mga bersyon, at ang usage.prompt_tokens para sa bill.

Basahin bilang MarkdownTanungin ang ChatGPTTanungin ang ClaudeTanungin ang Perplexity