درخواست بھیجنے سے پہلے آپ کو ٹوکن کی گنتی تین وجوہات سے چاہیے: کانٹیکسٹ ونڈو کے اندر رہنے کے لیے، مناسب max_tokens چننے کے لیے، اور لاگت کا اندازہ لگانے کے لیے۔ درست گنتی صرف ماڈل کے اپنے ٹوکنائزر سے ملتی ہے۔ اچھے اندازے کیلیبریشن سے ملتے ہیں۔ یہ پوسٹ اصل پیمائشوں کے ساتھ دونوں طریقے دکھاتی ہے۔
مختلف ماڈلز میں ٹوکن کی گنتی مختلف کیوں ہوتی ہے؟
ٹوکنائزر متن کو ایک مقررہ ذخیرۂ الفاظ (vocabulary) کے ٹکڑوں میں بانٹتا ہے۔ ہر ماڈل خاندان اپنا ٹوکنائزر ٹرین کرتا ہے۔ بڑا ذخیرۂ الفاظ، یا کسی زبان پر زیادہ ٹرین کیا گیا ذخیرہ، اس زبان کے لیے کم ٹوکن بناتا ہے۔ اس لیے ”اس پرامپٹ میں کتنے ٹوکن ہیں“ کا جواب ہر ماڈل کے لیے مختلف ہے۔
ہم نے ایک ہی مختصر کسٹمر سروس پیغام ناپا، چار زبانوں میں ترجمہ کر کے، ساتھ میں ایک چھوٹا Python فنکشن اور ایک انوائس JSON آبجیکٹ۔ OpenAI کی گنتی tiktoken سے آئی ہے (cl100k_base، GPT-4 دور کا، اور o200k_base، GPT-4o دور کا)۔ اوپن ماڈلز کی گنتی ان ٹوکنائزر فائلوں سے آئی ہے جو ہر خاندان Hugging Face پر شائع کرتا ہے، چیٹ ٹیمپلیٹ کے بغیر، 14 نومبر 2026 کو گنی گئی۔
| متن (ایک ہی مطلب) | حروف | cl100k_base | o200k_base | DeepSeek V4.1 Flash | GLM 5.3 | Qwen3.8 27B | Gemma 4 |
|---|---|---|---|---|---|---|---|
| انگریزی، 31 الفاظ | 173 | 37 | 37 | 37 | 38 | 39 | 39 |
| ہسپانوی | 160 | 47 | 40 | 50 | 45 | 43 | 42 |
| عربی | 142 | 102 | 46 | 55 | 58 | 48 | 49 |
| چینی | 54 | 51 | 37 | 34 | 35 | 36 | 38 |
| Python فنکشن | 94 | 33 | 33 | 35 | 33 | 35 | 38 |
| انوائس JSON | 140 | 59 | 60 | 63 | 60 | 72 | 72 |
ہر قطار میں ایک ہی نمونہ ہے، اس لیے ان اعداد کو مثال سمجھیں، بینچ مارک نہیں۔ پھر بھی تین سبق قائم رہتے ہیں۔ ٹوکنائزر کی نسل اہم ہے: عربی متن cl100k_base سے o200k_base پر آدھے سے بھی کم رہ گیا۔ اوپن ماڈلز بھی آپس میں مختلف ہیں: وہی عربی متن 48 سے 58 ٹوکن تک رہا، اور JSON 60 سے 72 تک۔ اور اسٹرکچرڈ مواد ہر جگہ ٹوکن سے بھرا ہوتا ہے: JSON ہر ٹوکنائزر پر تقریباً 2 حروف فی ٹوکن رہا۔
آپ یہی ٹیسٹ اپنے متن پر مفت ٹوکن کاؤنٹر سے دہرا سکتے ہیں، یا ہر خاندان کے الگ کاؤنٹر سے: DeepSeek، Qwen اور GPT۔ پرامپٹ میں کسی تبدیلی سے کتنی بچت ہوتی ہے، یہ دیکھنے کے لیے دونوں ورژن پرامپٹ ٹوکن ڈِف میں ملائیں۔ عربی خاص طور پر زیادہ ٹوکن کیوں لیتی ہے، لمبے متون پر ناپا گیا، یہ عربی بمقابلہ انگریزی میں فی لفظ ٹوکن میں ہے۔
ٹوکن بالکل درست کیسے گنیں؟
اگر ماڈل کا ٹوکنائزر عوامی ہے تو اسے لوڈ کریں اور مقامی طور پر گنیں۔ OpenAI ماڈلز کے لیے:
import tiktoken
enc = tiktoken.encoding_for_model("gpt-4o")
n = len(enc.encode(text))
اوپن ویٹ خاندانوں میں ٹوکنائزر عموماً Hugging Face پر ماڈل کے ساتھ آتا ہے اور AutoTokenizer.from_pretrained(...) سے لوڈ ہوتا ہے۔ دو احتیاطیں: چیٹ ٹیمپلیٹ رولز اور سیپریٹرز کے لیے ٹوکن جوڑتا ہے، اور API فراہم کنندہ کا ڈیپلائے کیا ہوا ورژن عوامی فائلوں سے مختلف ہو سکتا ہے۔ BroadNet کا API ریفرنس نہ ٹوکن گننے کا کوئی اینڈپوائنٹ بتاتا ہے، نہ ہر ماڈل کا ٹوکنائزر، اس لیے عوامی ٹوکنائزر قریبی اندازہ دیتا ہے اور درست عدد کال کے بعد usage.prompt_tokens میں ملتا ہے۔
ٹوکنائزر عوامی نہ ہو تو ٹوکن کا اندازہ کیسے لگائیں؟
ہر ماڈل کے لیے ایک بار کیلیبریٹ کریں، پھر مقامی طور پر اندازہ لگائیں:
import os
from openai import OpenAI
client = OpenAI(base_url="https://inference.broadnet.ai/v1", api_key=os.environ["BROADNET_API_KEY"])
def prompt_tokens(model, text):
r = client.chat.completions.create(
model=model, max_tokens=1000, # room for reasoning on thinking models
messages=[{"role": "user", "content": text}],
)
return r.usage.prompt_tokens
def measure(model, samples: dict[str, list[str]]):
base = prompt_tokens(model, "hi") # chat-template overhead plus one short word
ratios = {}
for kind, texts in samples.items():
chars = toks = 0
for t in texts:
chars += len(t)
toks += prompt_tokens(model, t) - base
ratios[kind] = chars / toks
return ratios # e.g. {"english": 4.1, "arabic": 2.9, "json": 2.3}
def estimate(text, kind, ratios, overhead=10):
return int(len(text) / ratios[kind]) + overhead
ہر مواد کی قسم کے لیے 20 یا زیادہ اصل نمونے لیں (آپ کے اصل پرامپٹ، lorem ipsum نہیں)۔ ایک لفظ والی بنیادی درخواست چیٹ ٹیمپلیٹ کا مقررہ اوور ہیڈ ہٹا دیتی ہے، جسے estimate فنکشن overhead کے طور پر واپس جوڑتا ہے؛ اسے اپنی ناپی ہوئی بنیاد پر سیٹ کریں۔ BroadNet کے سب سے سستے ماڈل پر تبھی کیلیبریٹ کریں جب آپ اسی کو کال کرنے والے ہوں: Gemma 4 VL 26B کے تناسب DeepSeek V4.1 Flash پر لاگو نہیں ہوتے۔ تصاویر بھی ان پٹ ٹوکن کے طور پر بل ہوتی ہیں، اور بڑی تصاویر زیادہ ٹوکن لیتی ہیں، اس لیے انہیں ریزولوشن کے حساب سے الگ کیلیبریٹ کریں۔
max_tokens اور کانٹیکسٹ کے لیے کتنا مارجن رکھیں؟
ونڈو میں پرامپٹ اور آؤٹ پٹ دونوں آتے ہیں۔ ریزننگ ماڈلز پر آؤٹ پٹ میں چھپی ہوئی تھنکنگ بھی شامل ہے، جو ریزننگ ٹوکن کے طور پر رپورٹ ہوتی ہے۔ بجٹ یوں بنائیں:
- پرامپٹ کا اندازہ = کیلیبریٹ کی گئی گنتی × 1.15 (15 فیصد حفاظتی مارجن)۔
- جواب کا بجٹ = سب سے لمبا جواب جو آپ قبول کریں گے۔
- ریزننگ بجٹ = تھنکنگ ماڈلز کے لیے کم از کم 1,000 ٹوکن؛ BroadNet کی دستاویزات کم از کم 1,000 یا
reasoning_effort: "low"کی سفارش کرتی ہیں، کیونکہ چھوٹی حد پر جواب خالی آ سکتا ہے۔ - max_tokens = جواب کا بجٹ + ریزننگ بجٹ۔
- جانچ: پرامپٹ کا اندازہ + max_tokens ≤ کانٹیکسٹ ونڈو۔ اگر نہیں، تو پرامپٹ کاٹیں، جواب نہیں۔
BroadNet Inference پر کانٹیکسٹ ونڈوز، شائع شدہ قیمتوں کی فائل سے:
| ماڈل | کانٹیکسٹ ونڈو | 16K آؤٹ پٹ اور 15% مارجن کے ساتھ عملی پرامپٹ کی حد |
|---|---|---|
| DeepSeek V4.1 Flash | 1,048,576 | تقریباً 897,000 |
| GLM 5.3 | 1,048,576 | تقریباً 897,000 |
| Qwen3.8 27B | 262,144 | تقریباً 213,000 |
| Gemma 4 VL 26B | 32,768 | تقریباً 14,000 |
حد والا کالم (ونڈو − 16,384) ÷ 1.15 ہے، نیچے کی طرف مکمل کیا گیا۔ 16,384 کی جگہ اپنا max_tokens رکھیں۔
ٹوکن کے اندازوں میں کیا غلط ہوتا ہے؟
- ٹوکن کی جگہ الفاظ گننا۔ 0.75 الفاظ فی ٹوکن کا اصول انگریزی کے لیے ہے۔ ہمارا 29 الفاظ کا عربی نمونہ ٹوکنائزر کے حساب سے 46 سے 102 ٹوکن کا تھا۔
- ٹولز اور سسٹم پرامپٹ بھول جانا۔ ٹول اسکیما JSON ہوتے ہیں، جو ٹوکن سے بھرے ہوتے ہیں۔ انہیں پرامپٹ کا حصہ سمجھ کر گنیں۔
- خاموش کٹوتی فرض کر لینا۔ کچھ ٹولز بتائے بغیر پرانے پیغامات ہٹا دیتے ہیں۔ BroadNet کہتا ہے کہ وہ آپ کا کانٹیکسٹ نہیں کاٹتا، اس لیے سرور کی کٹوتی پر بھروسا کرنے کے بجائے بھیجنے سے پہلے سائز دیکھیں۔ کانٹیکسٹ ونڈو کیلکولیٹر یہ جانچ آپ کے لیے کرتا ہے۔
- ہسٹری کے بڑھنے کو نظرانداز کرنا۔ چیٹ یا ایجنٹ لوپ میں پرامپٹ ہر باری بڑھتا ہے۔ بجٹ ہر کال پر دوبارہ دیکھیں، ہر سیشن میں ایک بار نہیں۔ مستحکم ہسٹری بہتر کیش بھی ہوتی ہے؛ دیکھیں کیشنگ کے لیے پرامپٹ کی ساخت۔
اگر آپ عربی میں کام کرتے ہیں تو ٹوکنائزر ماڈلز کو اپنے متن پر ٹیسٹ کرنے کی ایک اور وجہ ہے؛ باقی باتیں عربی کے لیے LLM کا انتخاب میں ہیں۔ ٹوکن کی گنتی کو ماہانہ بل میں بدلنے کے لیے دیکھیں لانچ سے پہلے LLM API لاگت کا اندازہ کیسے لگائیں۔
BroadNet Inference کہاں فٹ ہوتا ہے
BroadNet Inference ہر جواب میں prompt_tokens، completion_tokens اور، جب ماڈل رپورٹ کرے، کیش شدہ اور ریزننگ ٹوکن کی گنتی لوٹاتا ہے، اور کیلیبریشن کے لیے بس یہی چاہیے۔ یہ نہ گنتی کا کوئی اینڈپوائنٹ شائع کرتا ہے نہ ہر ماڈل کا ٹوکنائزر، اس لیے بھیجنے سے پہلے کی گنتی اندازہ ہی ہے۔ 1M ٹوکن والے ماڈلز پر لمبے کانٹیکسٹ کا کام کانٹیکسٹ ونڈو گائیڈ میں ہے، اور فی 1M ٹوکن قیمتیں قیمتوں کے صفحے پر ہیں۔
