BroadRouter

پرامپٹ ٹوکن کیسے کم کریں: سسٹم پرامپٹ، ٹولز، ڈیٹا کی ناپی گئی کٹوتی

BroadNet Inference ٹیم · 7 منٹ کی پڑھائی · شائع شدہ · اپ ڈیٹ

پہلے ناپیں: ہر کال کے prompt_tokens لاگ کریں، سب سے بڑا حصہ ڈھونڈیں، اور ماڈل کے ٹوکنائزر سے پہلے اور بعد کا فرق دیکھیں۔ پانچ ٹوکنائزرز پر، طویل سسٹم پرامپٹ چھوٹا کرنے سے 68 سے 71% بچے اور CSV نے منیفائیڈ JSON سے 31 سے 41% کم ٹوکن لیے۔ تین ماڈلز پر، چھوٹا سسٹم پرامپٹ اور 10 لمبے ٹولز کی جگہ 3 مختصر ٹولز سے پوری رینڈر شدہ درخواست تقریباً 65 سے 71% کم ہوئی۔

مختصر پرامپٹس کی لاگت کم ہوتی ہے، کام کے لیے کانٹیکسٹ ونڈو میں زیادہ جگہ بچتی ہے، اور عموماً پہلا ٹوکن جلدی آتا ہے۔ لیکن “پرامپٹ چھوٹا کرو” ایک مبہم مشورہ ہے۔ یہ پوسٹ ایک حقیقت کے قریب سپورٹ بوٹ پرامپٹ پر عام کٹوتیوں کو ناپتی ہے، چار اوپن ماڈلز کے اصل ٹوکنائزرز اور OpenAI کے o200k_base سے، تاکہ آپ دیکھ سکیں کون سی تبدیلیاں آپ کے وقت کے لائق ہیں۔

اگر آپ کوڈنگ ایجنٹ چلاتے ہیں تو ایجنٹ کا ٹوکن بجٹ اس لوپ کو کور کرتا ہے۔ یہ پوسٹ ایپلیکیشن پرامپٹس کے بارے میں ہے: چیٹ بوٹس، کلاسیفائرز اور ایکسٹریکشن جابز۔

ہم نے کیسے ناپا؟

نیچے کی تمام گنتیاں ہماری ہیں، 15 نومبر 2026 کو کی گئیں:

  • ٹوکنائزرز۔ DeepSeek V4.1 Flash، GLM 5.3، Qwen3.8 27B اور Google کے Gemma 4 26B A4B کی سرکاری tokenizer.json فائلیں، ہر ایک ایک مقررہ Hugging Face ریویژن پر (حوالہ جات دیکھیں)، Hugging Face tokenizers 0.23.3 سے لوڈ کی گئیں۔ ساتھ میں GPT ماڈلز سے موازنے کے لیے tiktoken 0.14.0 سے o200k_base۔ اسپیشل ٹوکن شامل نہیں کیے گئے۔
  • رینڈر شدہ پرامپٹس۔ DeepSeek، GLM اور Qwen کے لیے ہم نے پوری درخواستیں ہر ماڈل کے شائع شدہ chat_template.jinja (Jinja2 سینڈ باکس) سے بھی رینڈر کیں، سسٹم پرامپٹ، ٹولز، ہسٹری اور سوال کے ساتھ، اور نتیجہ گنا۔ یہ اس کے قریب ہے جو سرور ٹوکنائز کرتا ہے، لیکن فراہم کنندہ مختلف ٹیمپلیٹ استعمال کر سکتا ہے، اس لیے API کے usage.prompt_tokens کو حتمی سمجھیں۔
  • متن۔ ایک فرضی ٹیلی کام کا مصنوعی سپورٹ بوٹ: 261 الفاظ کا سسٹم پرامپٹ، 10 ٹولز، 8 few-shot مثالیں، 40 آرڈر قطاریں، 20 ٹرنز کی ہسٹری اور 31 الفاظ کا عربی پیراگراف۔ ایک پرامپٹ ایک ڈیٹا پوائنٹ ہے۔ آپ کی بچت مختلف ہو گی؛ طریقہ وہی رہے گا۔

BroadNet کا Gemma 4 VL 26B، Google کے ماڈل پر مبنی ہے، اس لیے اس کی گنتی ایک تخمینہ ہے۔ باقی ماڈلز کی گنتی ان کی اپنی فائلوں سے ہے۔

کون سی کٹوتیاں سب سے زیادہ ٹوکن بچاتی ہیں؟

خام متن، پہلے → بعد، بچت کے حصے کے ساتھ:

تبدیلی DeepSeek V4.1 Flash GLM 5.3 Qwen3.8 27B Gemma 4 GPT o200k
سسٹم پرامپٹ: 261 الفاظ → 66 الفاظ 295 → 88 (70%) 294 → 89 (70%) 297 → 95 (68%) 297 → 96 (68%) 293 → 86 (71%)
Few-shot: 8 مثالیں → 3 157 → 69 (56%) 157 → 69 (56%) 156 → 71 (54%) 156 → 71 (54%) 152 → 69 (55%)
40 قطاریں: انڈینٹ شدہ JSON → منیفائیڈ JSON 2,446 → 1,606 (34%) 2,460 → 1,581 (36%) 3,180 → 1,980 (38%) 3,210 → 2,010 (37%) 2,446 → 1,567 (36%)
40 قطاریں: منیفائیڈ JSON → CSV 1,606 → 948 (41%) 1,581 → 960 (39%) 1,980 → 1,359 (31%) 2,010 → 1,382 (31%) 1,567 → 946 (40%)
10 ٹولز: لمبی → مختصر وضاحتیں 1,224 → 806 (34%) 1,214 → 797 (34%) 1,225 → 806 (34%) 1,252 → 827 (34%) 1,202 → 796 (34%)
10 لمبے ٹولز → 3 مختصر 1,224 → 258 (79%) 1,214 → 257 (79%) 1,225 → 266 (78%) 1,252 → 276 (78%) 1,202 → 255 (79%)
عربی پیراگراف: مکمل اعراب → سادہ 193 → 74 (62%) 267 → 78 (71%) 151 → 62 (59%) 180 → 64 (64%) 218 → 62 (72%)

انگریزی نثر کے لیے فیصد تمام ٹوکنائزرز پر ملتے جلتے ہیں، اس لیے جو کٹوتی ایک ماڈل پر مدد کرتی ہے وہ دوسروں پر بھی کرتی ہے۔ دو قطاریں یہ پیٹرن توڑتی ہیں۔ آرڈر ڈیٹا ہر فارمیٹ میں Qwen اور Gemma پر DeepSeek اور GLM سے 23 سے 46% زیادہ ٹوکن کا پڑا، کیونکہ ان کے ٹوکنائزرز اعداد کو ایک ایک ہندسے میں توڑتے ہیں: 100200 Qwen پر 6 ٹوکن ہے اور DeepSeek پر 2۔ اور عربی اعراب کچھ ٹوکنائزرز پر دوسروں سے کہیں زیادہ بھاری پڑتے ہیں۔

پوری درخواست کیسی دکھتی ہے؟

خام متن چیٹ ٹیمپلیٹ کو چھوڑ دیتا ہے۔ ہر ماڈل کے اپنے ٹیمپلیٹ سے رینڈر کر کے، صارف کے ایک ہی سوال کے ساتھ، ناپا گیا پورا پرامپٹ:

درخواست DeepSeek V4.1 Flash GLM 5.3 Qwen3.8 27B
A. لمبا سسٹم پرامپٹ + 10 لمبے ٹولز 1,677 1,535 1,797
B. مختصر سسٹم پرامپٹ + 10 مختصر ٹولز 1,052 913 1,176
C. مختصر سسٹم پرامپٹ + 3 مختصر ٹولز 574 443 636
D. مختصر سسٹم پرامپٹ، کوئی ٹول نہیں 136 121 174
C + پچھلے 20 ٹرنز مکمل 2,374 2,243 2,693
C + 3 لائن کا خلاصہ + آخری 4 ٹرنز 979 849 1,103

A سے C پر جانے سے ہر درخواست کا تقریباً 65 سے 71% کم ہوا (Qwen پر 64.6%، GLM پر 71.1%)۔ اس کا زیادہ تر حصہ ٹولز سے آیا۔ لمبے سسٹم پرامپٹ کے ساتھ رینڈر کرنے پر 10 لمبے ٹولز نے DeepSeek پر 1,334، GLM پر 1,209 اور Qwen پر 1,421 ٹوکن جوڑے؛ C کے 3 مختصر ٹولز نے D کے اوپر 322 سے 462 جوڑے۔ ٹول کالنگ اسکیما ہر درخواست کے ساتھ جاتے ہیں، ماڈل انہیں استعمال کرے یا نہ کرے۔

بڑے حجم پر یہ جمع ہوتا جاتا ہے۔ Qwen3.8 27B پر A سے C ہر درخواست پر 1,161 ٹوکن بچاتا ہے۔ 100,000 درخواستیں ماہانہ پر یہ تقریباً 11 کروڑ 60 لاکھ (116M) ان پٹ ٹوکن ہیں، یعنی اسٹینڈرڈ ان پٹ قیمت پر ہر مہینے 116 × $0.175۔

سسٹم پرامپٹ کو توڑے بغیر مختصر کیسے کریں؟

ہمارے 261 الفاظ اور 66 الفاظ والے پرامپٹس میں وہی سات اصول ہیں۔ تمام کٹوتیاں ایک ہی قسم کی تھیں:

  1. ماڈل سے رسمی شائستگی ہٹائیں۔ “It is very important that you always remain polite and courteous at all times” (ترجمہ: یہ بہت ضروری ہے کہ آپ ہر وقت مہذب اور خوش اخلاق رہیں) مکمل طور پر ہٹ گیا: کردار والی لائن سے یہ خود سمجھ آتا ہے۔
  2. ہر لائن پر ایک اصول۔ “Please make sure that you always…” (ترجمہ: براہِ کرم یقینی بنائیں کہ آپ ہمیشہ…) والے جملوں کی جگہ بلٹس۔
  3. دہراؤ ملائیں۔ زبان کے بارے میں تین جملے بن گئے “Reply in the customer’s language (Arabic or English), briefly.” (ترجمہ: صارف کی زبان (عربی یا انگریزی) میں، مختصراً جواب دیں۔)
  4. دہرائے گئے ڈیفالٹس ہٹائیں۔ “Remember to always be helpful!” (ترجمہ: ہمیشہ مددگار رہنا یاد رکھیں!) کچھ نہیں بدلتا۔

پھر ٹیسٹ کریں۔ ایک مختصر پرامپٹ جو کوئی اصول کھو دے، بچت سے زیادہ نقصان کرتا ہے۔ دونوں ورژنز کو وہی 50 سے 100 اصل ان پٹس پر چلائیں اور موازنہ کریں، جیسا تبدیلی سے پہلے LLM کی جانچ میں بتایا گیا ہے۔

کتنی few-shot مثالیں چاہییں؟

زیادہ تر پرامپٹس جتنی رکھتے ہیں، اس سے کم۔ ہر few-shot مثال کی ادائیگی ہر کال پر ہوتی ہے۔ وہ رکھیں جو ایسی غلطی درست کرتی ہیں جو ماڈل ان کے بغیر کرتا ہے، جیسے عربی کلاسیفائر کے لیے لہجے کی مثال، اور وہ ہٹا دیں جو ماڈل پہلے سے درست کرتا ہے۔ ہماری 8 → 3 کٹوتی سے مثالوں والے حصے کا 54 سے 56% بچا۔ آپ کے کام کے لیے 3 کافی ہیں یا نہیں، یہ درستی کا سوال ہے، ٹوکن کا نہیں، اس لیے اسے اپنے ٹیسٹ سیٹ پر جانچیں۔

کیا ٹولز، ڈیٹا اور ہسٹری مختلف طریقے سے بھیجنے چاہییں؟

ٹولز۔ صرف وہ ٹولز بھیجیں جو موجودہ مرحلہ استعمال کر سکتا ہے۔ بلنگ کے سوال کو get_account، get_bill اور create_ticket چاہییں، order_esim نہیں۔ وضاحتیں اتنی مختصر کریں جتنی ماڈل کو ٹول چننے اور بھرنے کے لیے چاہییں۔ یہاں انڈینٹیشن اہم نہیں: ہم نے جتنے ٹیمپلیٹس رینڈر کیے، سب tools array کو tojson سے دوبارہ سیریلائز کرتے ہیں، اس لیے خوبصورت فارمیٹ والی tools array منیفائیڈ جتنی ہی پڑتی ہے۔

پیغامات میں ڈیٹا۔ جو ڈیٹا آپ پیغام میں پیسٹ کرتے ہیں وہ ویسا ہی بھیجا جاتا ہے جیسا لکھا ہے۔ کم از کم JSON کو منیفائی کریں۔ سپاٹ ریکارڈز کے لیے CSV یا TSV دہرائی گئی keys ہٹا دیتا ہے: ہمارے ٹیسٹ میں منیفائیڈ JSON سے 31 سے 41% کم ٹوکن۔ نیسٹڈ ڈیٹا JSON ہی رہے۔ جانچیں کہ ماڈل اب بھی کالم درست پڑھتا ہے۔

ہسٹری۔ ہر پچھلا ٹرن دوبارہ بھیجا جاتا ہے۔ 16 پرانے ٹرنز کی جگہ تین لائن کا خلاصہ رکھنے اور آخری چار ٹرنز جوں کے توں رکھنے سے Qwen کا پرامپٹ 2,693 سے 1,103 ٹوکن پر آ گیا۔ خلاصہ وہ تفصیل چھوڑ دیتا ہے جس کا صارف بعد میں حوالہ دے سکتا ہے، اور اسے دوبارہ لکھنے سے پری فکس بدلتا ہے، جس سے کیشنگ ٹوٹتی ہے۔ طویل چلنے والے ایجنٹ کا کانٹیکسٹ مینجمنٹ بتاتا ہے کہ کب مختصر کریں۔

عربی اعراب۔ زیادہ تر عربی چھوٹے حروفِ علت (اعراب) کے بغیر لکھی جاتی ہے۔ اگر آپ کا ان پٹ مکمل اعراب والا ہے، کسی لغت، نصابی کتاب یا مذہبی ماخذ سے، تو علامات (U+064B سے U+0652) ہٹانے سے ہمارا پیراگراف 59 سے 72% کم ہوا۔ جب کام ان پر منحصر ہو، جیسے تدریس یا شاعری، تو انہیں رکھیں۔ عربی متن کی نارملائزیشن ان دوسرے حروف کو کور کرتا ہے جنہیں نارملائز کرنا فائدہ مند ہے، اور عربی میں فی لفظ ٹوکن انگریزی سے بڑے فرق کو۔

کیشنگ کہاں فٹ ہوتی ہے؟

کیشنگ پرامپٹ کو چھوٹا نہیں کرتی۔ یہ دہرائے گئے حصے کو سستا بناتی ہے۔ OpenAI کی کیشنگ گائیڈ کہتی ہے کہ “the entire rendered prefix” (ترجمہ: پورا رینڈر شدہ پری فکس) میچ ہونا چاہیے اور مستحکم ہدایات پہلے رکھنے کا مشورہ دیتی ہے۔ BroadNet کا قیمتوں کا صفحہ کیش شدہ ان پٹ کو “usually the repeated start of recent requests, such as a long system prompt” (ترجمہ: عموماً حالیہ درخواستوں کا دہرایا گیا آغاز، جیسے لمبا سسٹم پرامپٹ) بتاتا ہے، جس میں کچھ سیٹ نہیں کرنا پڑتا، اور اس کی دستاویزات ہٹس usage.prompt_tokens_details.cached_tokens میں رپورٹ کرتی ہیں۔

اس لیے ترتیب یہ ہے: پہلے مختصر کریں، پھر مختصر کیے گئے پری فکس کو مستحکم بنائیں۔ سسٹم پرامپٹ اور ٹولز پہلے، ہر کال پر بائٹ بہ بائٹ یکساں؛ اس کے بعد ہسٹری، صرف آگے جڑتی ہوئی؛ نیا پیغام آخر میں۔ Qwen3.8 27B پر کیش شدہ ان پٹ $0.0435 فی 1M ہے، جبکہ نیا $0.175۔ کیشنگ کے لیے پرامپٹ کی ساخت میں لے آؤٹ اور ایک ٹیسٹ ہے جو ثابت کرتا ہے کہ پری فکس دوبارہ استعمال ہوا۔ کیش شدہ ٹوکن پھر بھی کانٹیکسٹ ونڈو میں شمار ہوتے ہیں۔

اپنا پرامپٹ کیسے ناپیں؟

بل سے شروع کریں۔ ایک دن تک ہر کال سائٹ کے usage.prompt_tokens لاگ کریں اور سب سے بڑا تلاش کریں۔ پھر اس اسکرپٹ سے مقامی طور پر ورژنز کا موازنہ کریں، جو دو فائلوں کی پہلے اور بعد کی گنتی دکھاتا ہے:

# pip install tokenizers tiktoken huggingface_hub
import json, sys
import tiktoken
from huggingface_hub import hf_hub_download
from tokenizers import Tokenizer

def hf(repo, rev):
    return Tokenizer.from_file(hf_hub_download(repo, "tokenizer.json", revision=rev))

COUNTERS = {
    "Qwen3.8 27B": hf("Qwen/Qwen3.8-27B", "37561816e66b5b9153b1b64c10968c18c1e6f4a0").encode,
    "GPT o200k": tiktoken.get_encoding("o200k_base").encode,
}

def n(enc, text):
    out = enc(text)
    return len(out.ids if hasattr(out, "ids") else out)

def diff(before, after):
    for name, enc in COUNTERS.items():
        a, b = n(enc, before), n(enc, after)
        print(f"{name:12} {a:6} -> {b:6}  saved {a - b} ({100 * (a - b) / a:.0f}%)")

if __name__ == "__main__":
    diff(open(sys.argv[1], encoding="utf-8").read(), open(sys.argv[2], encoding="utf-8").read())

ہمارے دونوں سسٹم پرامپٹس پر چلانے سے یہ چھپا:

Qwen3.8 27B     297 ->     95  saved 202 (68%)
GPT o200k       293 ->     86  saved 207 (71%)

چاروں کا موازنہ کرنے کے لیے حوالہ جات کی فہرست سے دوسرے ماڈلز کی ریپوزیٹریز شامل کریں۔ براؤزر میں فوری جانچ کے لیے، پرامپٹ ٹوکن ڈِف دو ورژنز کا آمنے سامنے موازنہ کرتا ہے، اور ٹوکن کاؤنٹر ایک کو گنتا ہے۔ ڈیپلائے کے بعد بچت کی تصدیق usage.prompt_tokens میں کریں، جس میں ٹیمپلیٹ شامل ہے۔

BroadNet Inference کہاں فٹ ہوتا ہے

BroadRouter، BroadNet کی سائٹ ہے۔ BroadNet Inference پرامپٹ ٹوکن ہر ماڈل کی ان پٹ قیمت پر بل کرتا ہے، اور جس ماڈل کی کیش شدہ قیمت ہے اس پر دہرائے گئے پری فکس کیش سے کیش شدہ قیمت پر پڑھتا ہے، اس لیے مختصر پرامپٹس اور مستحکم پری فکس دونوں بل کم کرتے ہیں۔ Gemma 4 VL 26B کا کانٹیکسٹ 32,768 ٹوکن ہے، جہاں مختصر کرنا لاگت کے ساتھ ساتھ فٹ ہونے کے لیے بھی اہم ہے۔ DeepSeek V4.1 Flash پلانز پر کوئی ٹوکن میٹر نہیں، لیکن 1,048,576 ٹوکن کا کانٹیکسٹ پھر بھی لاگو ہے، اور مختصر پرامپٹ پھر بھی جلدی جواب دیتا ہے۔ ہر درخواست کے بعد پرامپٹس محفوظ نہیں رکھے جاتے۔

عام سوالات

اپنے پرامپٹ میں ٹوکنز کی تعداد کیسے کم کروں؟

پہلے ناپیں: usage.prompt_tokens لاگ کریں اور سب سے بڑا حصہ تلاش کریں۔ پھر، ہماری پیمائش میں سب سے زیادہ بچت کی ترتیب سے: صرف اس مرحلے کے ضروری ٹولز بھیجیں، ٹول اور سسٹم پرامپٹ کے الفاظ مختصر کریں، ٹیبلز JSON کے بجائے CSV میں بھیجیں، few-shot مثالیں صرف وہ رکھیں جو نتائج بدلتی ہیں، اور پرانے چیٹ ٹرنز کا خلاصہ بنائیں۔

کیا خوبصورت فارمیٹ (انڈینٹ) والا JSON زیادہ ٹوکن لیتا ہے؟

جی ہاں۔ ہمارے ٹیسٹ میں، انڈینٹ شدہ JSON کی 40 قطاروں کو منیفائی کرنے سے ٹوکنائزر کے حساب سے 34 سے 38% ٹوکن بچے، اور CSV میں بھیجنے سے 57 سے 61%۔ دوسری طرح کہیں تو انڈینٹ شدہ JSON نے منیفائیڈ JSON سے 52 سے 61% اور CSV سے 132 سے 159% زیادہ ٹوکن لیے۔ ٹول اسکیما مستثنیٰ ہیں: چیٹ ٹیمپلیٹس انہیں دوبارہ سیریلائز کرتے ہیں، اس لیے آپ کی tools array کی انڈینٹیشن ماڈل تک نہیں پہنچتی۔

ٹول ڈیفینیشنز کتنے ٹوکن لیتی ہیں؟

یہ الفاظ اور ماڈل کے ٹیمپلیٹ پر منحصر ہے۔ لمبی وضاحتوں والے ہمارے 10 ٹولز نے DeepSeek V4.1 Flash، GLM 5.3 اور Qwen3.8 27B پر رینڈر شدہ پرامپٹ میں تقریباً 1,200 سے 1,400 ٹوکن جوڑے۔ مختصر وضاحتوں والے تین ٹولز نے تقریباً 320 سے 460 جوڑے۔

کیا عربی اعراب سے ٹوکن بڑھتے ہیں؟

بہت۔ 31 الفاظ کا ایک MSA پیراگراف پانچ ٹوکنائزرز پر بغیر اعراب کے 62 سے 78 ٹوکن اور مکمل اعراب کے ساتھ 151 سے 267 ٹوکن کا تھا۔ زیادہ تر عربی متن بغیر اعراب کے لکھا جاتا ہے، اس لیے جب تک کام (جیسے شاعری یا تدریس) کو ان کی ضرورت نہ ہو، ان پٹ سے انہیں ہٹا دیں۔

کیا پرامپٹ کیشنگ، پرامپٹ مختصر کرنے سے بہتر ہے؟

دونوں ساتھ کام کرتے ہیں۔ کیشنگ دہرائے گئے پری فکس کو سستا بناتی ہے، لیکن وہ پھر بھی کانٹیکسٹ ونڈو میں شمار ہوتا ہے اور اس کی بھی قیمت ہے۔ پہلے مختصر کریں، پھر مختصر کیے گئے پری فکس کو ہر درخواست کے آغاز میں بائٹ بہ بائٹ یکساں رکھیں تاکہ وہ کیش سے پڑھا جا سکے۔

میری ٹوکن گنتی API کے prompt_tokens سے مختلف کیوں ہے؟

API رینڈر شدہ پرامپٹ گنتا ہے: چیٹ ٹیمپلیٹ میں لپٹے آپ کے پیغامات، اور ٹیمپلیٹ کے اپنے فارمیٹ میں ٹول اسکیما۔ آپ کے خام متن پر چلایا گیا ٹوکنائزر یہ چھوڑ دیتا ہے۔ ورژنز کے موازنے کے لیے ٹوکنائزر اور بل کے لیے usage.prompt_tokens استعمال کریں۔

Markdown میں پڑھیںChatGPT سے پوچھیںClaude سے پوچھیںPerplexity سے پوچھیں