BroadRouter

Kurangkan token prompt: penjimatan terukur untuk system prompt, tools

Oleh pasukan BroadNet Inference · 7 minit bacaan · Diterbitkan · Dikemas kini

Ukur dahulu: log prompt_tokens setiap panggilan, cari bahagian terbesar, dan bandingkan sebelum dan selepas dengan tokenizer model. Merentas lima tokenizer, memangkas system prompt yang panjang berjela menjimatkan 68 hingga 71% dan CSV menggunakan 31 hingga 41% kurang token berbanding JSON yang dimampatkan. Pada tiga model, system prompt yang dipangkas dengan 3 tool ringkas dan bukannya 10 yang panjang mengurangkan permintaan penuh yang dirender sebanyak kira-kira 65 hingga 71%.

Prompt yang lebih pendek berharga lebih murah, meninggalkan lebih banyak ruang tetingkap konteks untuk kerja, dan biasanya memulangkan token pertama lebih cepat. Tetapi “pendekkan prompt” ialah nasihat yang samar. Artikel ini mengukur pemangkasan biasa pada satu prompt bot sokongan yang realistik, dengan tokenizer sebenar empat model terbuka dan o200k_base OpenAI, supaya anda dapat melihat suntingan mana yang berbaloi dengan masa anda.

Jika anda menjalankan ejen pengekodan, bajet token ejen merangkumi gelung itu. Artikel ini tentang prompt aplikasi: chatbot, pengelas dan kerja pengekstrakan.

Bagaimanakah kami mengukur?

Semua kiraan di bawah ialah kiraan kami, dibuat pada 15 November 2026:

  • Tokenizer. Fail tokenizer.json rasmi untuk DeepSeek V4.1 Flash, GLM 5.3, Qwen3.8 27B dan Gemma 4 26B A4B Google, masing-masing pada revisi Hugging Face yang ditetapkan (lihat Sumber), dimuatkan dengan Hugging Face tokenizers 0.23.3. Ditambah o200k_base daripada tiktoken 0.14.0, untuk perbandingan dengan model GPT. Token khas tidak ditambah.
  • Prompt yang dirender. Untuk DeepSeek, GLM dan Qwen, kami juga merender permintaan penuh melalui chat_template.jinja yang diterbitkan setiap model (kotak pasir Jinja2), dengan system prompt, tools, sejarah dan soalan, dan mengira hasilnya. Itu hampir dengan apa yang ditokenkan oleh pelayan, tetapi penyedia boleh menggunakan templat yang berbeza, jadi anggap usage.prompt_tokens API sebagai kata putus.
  • Teks. Bot sokongan sintetik untuk syarikat telekom rekaan: system prompt 261 perkataan, 10 tool, 8 contoh few-shot, 40 baris pesanan, sejarah 20 giliran dan satu perenggan Arab 31 perkataan. Satu prompt ialah satu titik data. Penjimatan anda akan berbeza; kaedahnya boleh digunakan semula.

Gemma 4 VL 26B BroadNet berasaskan model Google, jadi kiraannya ialah anggaran. Yang lain menggunakan fail model itu sendiri.

Pemangkasan manakah yang paling banyak menjimatkan token?

Teks mentah, sebelum → selepas, dengan bahagian yang dijimatkan:

Perubahan DeepSeek V4.1 Flash GLM 5.3 Qwen3.8 27B Gemma 4 GPT o200k
System prompt: 261 perkataan → 66 perkataan 295 → 88 (70%) 294 → 89 (70%) 297 → 95 (68%) 297 → 96 (68%) 293 → 86 (71%)
Few-shot: 8 contoh → 3 157 → 69 (56%) 157 → 69 (56%) 156 → 71 (54%) 156 → 71 (54%) 152 → 69 (55%)
40 baris: JSON berinden → JSON dimampatkan 2,446 → 1,606 (34%) 2,460 → 1,581 (36%) 3,180 → 1,980 (38%) 3,210 → 2,010 (37%) 2,446 → 1,567 (36%)
40 baris: JSON dimampatkan → CSV 1,606 → 948 (41%) 1,581 → 960 (39%) 1,980 → 1,359 (31%) 2,010 → 1,382 (31%) 1,567 → 946 (40%)
10 tool: penerangan panjang → ringkas 1,224 → 806 (34%) 1,214 → 797 (34%) 1,225 → 806 (34%) 1,252 → 827 (34%) 1,202 → 796 (34%)
10 tool panjang → 3 tool ringkas 1,224 → 258 (79%) 1,214 → 257 (79%) 1,225 → 266 (78%) 1,252 → 276 (78%) 1,202 → 255 (79%)
Perenggan Arab: berbaris penuh → tanpa baris 193 → 74 (62%) 267 → 78 (71%) 151 → 62 (59%) 180 → 64 (64%) 218 → 62 (72%)

Peratusannya serupa merentas tokenizer untuk prosa Inggeris, jadi pemangkasan yang membantu pada satu model membantu pada yang lain juga. Dua baris melanggar corak itu. Data pesanan memerlukan 23 hingga 46% lebih banyak token pada Qwen dan Gemma berbanding DeepSeek dan GLM dalam setiap format, kerana tokenizer mereka memecahkan nombor kepada digit tunggal: 100200 ialah 6 token pada Qwen dan 2 pada DeepSeek. Dan baris Arab memberi kesan jauh lebih teruk pada sesetengah tokenizer berbanding yang lain.

Bagaimanakah rupa satu permintaan penuh?

Teks mentah terlepas templat chat. Apabila dirender melalui templat setiap model sendiri, dengan soalan pelanggan yang sama, prompt penuh yang diukur:

Permintaan DeepSeek V4.1 Flash GLM 5.3 Qwen3.8 27B
A. System prompt panjang + 10 tool panjang 1,677 1,535 1,797
B. System prompt dipangkas + 10 tool ringkas 1,052 913 1,176
C. System prompt dipangkas + 3 tool ringkas 574 443 636
D. System prompt dipangkas, tanpa tools 136 121 174
C + 20 giliran terdahulu secara penuh 2,374 2,243 2,693
C + ringkasan 3 baris + 4 giliran terakhir 979 849 1,103

Beralih dari A ke C memotong kira-kira 65 hingga 71% daripada setiap permintaan (64.6% pada Qwen, 71.1% pada GLM). Kebanyakannya datang daripada tools. Apabila dirender dengan system prompt yang panjang, 10 tool panjang menambah 1,334 token pada DeepSeek, 1,209 pada GLM dan 1,421 pada Qwen; 3 tool ringkas dalam C menambah 322 hingga 462 berbanding D. Skema panggilan alat dibawa pada setiap permintaan, sama ada model menggunakannya atau tidak.

Pada volum tinggi, ini bertambah. Pada Qwen3.8 27B, A ke C menjimatkan 1,161 token setiap permintaan. Pada 100,000 permintaan sebulan, itu kira-kira 116 juta token input, atau 116 × $0.175 sebulan pada harga input standard.

Bagaimanakah memangkas system prompt tanpa merosakkannya?

Prompt 261 perkataan dan prompt 66 perkataan kami membawa tujuh peraturan yang sama. Semua pemangkasan adalah daripada jenis yang sama:

  1. Buang kesopanan terhadap model. “It is very important that you always remain polite and courteous at all times” (Terjemahan: Adalah sangat penting anda sentiasa bersopan santun pada setiap masa) menjadi tiada: baris peranan sudah membayangkannya.
  2. Satu peraturan setiap baris. Titik peluru menggantikan ayat “Please make sure that you always…” (Terjemahan: Sila pastikan anda sentiasa…).
  3. Gabungkan pendua. Tiga ayat tentang bahasa menjadi “Reply in the customer’s language (Arabic or English), briefly.” (Terjemahan: Balas dalam bahasa pelanggan (Arab atau Inggeris), secara ringkas.)
  4. Padam lalai yang diulang. “Remember to always be helpful!” (Terjemahan: Ingat untuk sentiasa membantu!) tidak mengubah apa-apa.

Kemudian uji. Prompt yang lebih pendek yang kehilangan satu peraturan merugikan lebih daripada yang dijimatkannya. Jalankan kedua-dua versi pada 50 hingga 100 input sebenar yang sama dan bandingkan, seperti dalam menilai LLM sebelum bertukar.

Berapa banyak contoh few-shot yang anda perlukan?

Lebih sedikit daripada yang dibawa oleh kebanyakan prompt. Setiap contoh few-shot dibayar pada setiap panggilan. Kekalkan contoh yang membetulkan kesilapan yang dibuat oleh model tanpanya, seperti contoh dialek untuk pengelas bahasa Arab, dan buang contoh yang sudah dijawab dengan betul oleh model. Pemangkasan 8 → 3 kami menjimatkan 54 hingga 56% daripada blok contoh. Sama ada 3 mencukupi untuk tugasan anda ialah soalan ketepatan, bukan soalan token, jadi semaknya pada set ujian anda.

Patutkah anda menghantar tools, data dan sejarah secara berbeza?

Tools. Hantar hanya tools yang boleh digunakan oleh langkah semasa. Soalan pengebilan memerlukan get_account, get_bill dan create_ticket, bukan order_esim. Ringkaskan penerangan kepada apa yang model perlukan untuk memilih dan mengisi tool itu. Inden tidak penting di sini: templat yang kami render semuanya menyiri semula tatasusunan tools dengan tojson, jadi tatasusunan tools yang dicetak cantik berharga sama dengan yang dimampatkan.

Data dalam mesej. Data yang anda tampal ke dalam mesej dihantar sebagaimana ditulis. Sekurang-kurangnya mampatkan JSON. Untuk rekod rata, CSV atau TSV membuang kunci yang berulang: 31 hingga 41% kurang token berbanding JSON dimampatkan dalam ujian kami. Data bersarang kekal sebagai JSON. Pastikan model masih membaca lajur dengan betul.

Sejarah. Setiap giliran lalu dihantar semula. Menggantikan 16 giliran lama dengan ringkasan tiga baris, dan mengekalkan empat giliran terakhir sebagaimana asal, mengurangkan prompt Qwen daripada 2,693 kepada 1,103 token. Ringkasan membuang butiran yang mungkin dirujuk semula oleh pengguna, dan menulis semula ringkasan mengubah prefix, yang merosakkan cache. Pengurusan konteks ejen yang berjalan lama merangkumi bila untuk memadatkan.

Baris Arab. Kebanyakan teks Arab ditulis tanpa vokal pendek. Jika input anda berbaris penuh, daripada kamus, buku teks atau sumber agama, membuang tanda-tanda itu (U+064B hingga U+0652) mengurangkan perenggan kami sebanyak 59 hingga 72%. Kekalkannya apabila tugasan bergantung padanya, seperti pengajaran atau puisi. Penormalan teks Arab merangkumi aksara lain yang berbaloi dinormalkan, dan token setiap perkataan dalam bahasa Arab merangkumi jurang yang lebih luas dengan bahasa Inggeris.

Di manakah peranan cache?

Cache tidak mengecilkan prompt. Ia menjadikan bahagian yang berulang lebih murah. Panduan cache OpenAI menyatakan “the entire rendered prefix” (Terjemahan: keseluruhan prefix yang dirender) mesti sepadan dan menasihatkan supaya arahan yang stabil diletakkan dahulu. Halaman harga BroadNet menerangkan input cache sebagai “usually the repeated start of recent requests, such as a long system prompt” (Terjemahan: biasanya permulaan berulang bagi permintaan terkini, seperti system prompt yang panjang), tanpa apa-apa untuk disediakan, dan dokumentasinya melaporkan hit dalam usage.prompt_tokens_details.cached_tokens.

Jadi urutannya ialah: pendekkan dahulu, kemudian jadikan prefix yang dipendekkan itu stabil. System prompt dan tools dahulu, sama byte demi byte pada setiap panggilan; sejarah seterusnya, tambah sahaja; mesej baharu terakhir. Pada Qwen3.8 27B, input cache berharga $0.0435 bagi setiap 1M berbanding $0.175. Struktur prompt untuk cache mengandungi susun atur dan ujian yang membuktikan prefix digunakan semula. Token cache masih dikira dalam tetingkap konteks.

Bagaimanakah mengukur prompt anda sendiri?

Mulakan dengan bil. Log usage.prompt_tokens bagi setiap tempat panggilan selama sehari dan cari yang terbesar. Kemudian bandingkan versi secara setempat dengan skrip ini, yang mencetak kiraan sebelum dan selepas untuk dua fail:

# pip install tokenizers tiktoken huggingface_hub
import json, sys
import tiktoken
from huggingface_hub import hf_hub_download
from tokenizers import Tokenizer

def hf(repo, rev):
    return Tokenizer.from_file(hf_hub_download(repo, "tokenizer.json", revision=rev))

COUNTERS = {
    "Qwen3.8 27B": hf("Qwen/Qwen3.8-27B", "37561816e66b5b9153b1b64c10968c18c1e6f4a0").encode,
    "GPT o200k": tiktoken.get_encoding("o200k_base").encode,
}

def n(enc, text):
    out = enc(text)
    return len(out.ids if hasattr(out, "ids") else out)

def diff(before, after):
    for name, enc in COUNTERS.items():
        a, b = n(enc, before), n(enc, after)
        print(f"{name:12} {a:6} -> {b:6}  saved {a - b} ({100 * (a - b) / a:.0f}%)")

if __name__ == "__main__":
    diff(open(sys.argv[1], encoding="utf-8").read(), open(sys.argv[2], encoding="utf-8").read())

Menjalankannya pada dua system prompt kami mencetak:

Qwen3.8 27B     297 ->     95  saved 202 (68%)
GPT o200k       293 ->     86  saved 207 (71%)

Tambah repo model lain daripada senarai Sumber untuk membandingkan keempat-empatnya. Untuk semakan pantas dalam pelayar, perbezaan token prompt membandingkan dua versi sebelah-menyebelah, dan pengira token mengira satu. Selepas anda menggunakannya, sahkan penjimatan dalam usage.prompt_tokens, yang merangkumi templat.

Di manakah BroadNet Inference sesuai

BroadRouter ialah laman BroadNet. BroadNet Inference mengebil token prompt pada harga input setiap model dan membaca prefix berulang daripada cache pada harga cache di mana model mempunyainya, jadi prompt yang lebih pendek dan prefix yang stabil kedua-duanya menurunkan bil. Gemma 4 VL 26B mempunyai konteks 32,768 token, di mana pemangkasan penting untuk muat dan juga untuk kos. Pada pelan DeepSeek V4.1 Flash tiada meter token, tetapi konteks 1,048,576 token masih terpakai, dan prompt yang lebih pendek masih kembali lebih cepat. Prompt tidak disimpan selepas setiap permintaan.

Soalan lazim

Bagaimanakah saya mengurangkan bilangan token dalam prompt saya?

Ukur dahulu: log usage.prompt_tokens dan cari bahagian terbesar. Kemudian, mengikut urutan penjimatan terbesar yang kami ukur: hantar hanya tools yang diperlukan oleh langkah, ringkaskan kata-kata tool dan system prompt, hantar jadual sebagai CSV bukan JSON, kurangkan contoh few-shot kepada yang mengubah hasil, dan ringkaskan giliran chat lama.

Adakah JSON yang dicetak cantik menggunakan lebih banyak token?

Ya. Dalam ujian kami, memampatkan 40 baris JSON berinden menjimatkan 34 hingga 38% token, bergantung pada tokenizer, dan menghantarnya sebagai CSV menjimatkan 57 hingga 61%. Dari sudut lain, JSON berinden mengambil 52 hingga 61% lebih banyak token berbanding JSON dimampatkan dan 132 hingga 159% lebih banyak berbanding CSV. Skema tool ialah pengecualian: templat chat menyirinya semula, jadi inden dalam tatasusunan tools anda tidak sampai kepada model.

Berapa banyak token yang digunakan oleh definisi tool?

Bergantung pada kata-kata dan templat model. 10 tool kami dengan penerangan panjang menambah kira-kira 1,200 hingga 1,400 token pada prompt yang dirender pada DeepSeek V4.1 Flash, GLM 5.3 dan Qwen3.8 27B. Tiga tool dengan penerangan ringkas menambah kira-kira 320 hingga 460.

Adakah baris Arab meningkatkan bilangan token?

Sangat banyak. Satu perenggan MSA 31 perkataan mengambil 62 hingga 78 token tanpa baris dan 151 hingga 267 token apabila berbaris penuh, merentas lima tokenizer. Kebanyakan teks Arab ditulis tanpa baris, jadi buang baris daripada input melainkan tugasan, seperti puisi atau pengajaran, memerlukannya.

Adakah prompt caching lebih baik daripada memendekkan prompt?

Kedua-duanya saling melengkapi. Cache menjadikan prefix berulang lebih murah, tetapi ia masih dikira dalam tetingkap konteks dan masih ada harganya. Pendekkan dahulu, kemudian kekalkan prefix yang dipendekkan itu sama byte demi byte pada permulaan setiap permintaan supaya ia boleh dibaca daripada cache.

Mengapakah kiraan token saya berbeza daripada prompt_tokens API?

API mengira prompt yang dirender: mesej anda yang dibalut dalam templat chat, ditambah skema tool dalam format templat itu sendiri. Tokenizer yang dijalankan pada teks mentah anda terlepas perkara itu. Gunakan tokenizer untuk membandingkan versi, dan usage.prompt_tokens untuk bil.

Baca sebagai MarkdownTanya ChatGPTTanya ClaudeTanya Perplexity