ٹوکنائزر طے کرتا ہے کہ آپ کا متن کتنے ٹوکنز بنے گا، اور یوں کانٹیکسٹ ونڈو اور بل کا کتنا حصہ استعمال کرے گا۔
یہ کیسے کام کرتا ہے
ٹوکنائزر کے دو حصے ہیں: ایک مقررہ vocabulary جو متن کے ٹکڑوں کو انٹیجر IDs سے جوڑتی ہے، اور متن کو ان ٹکڑوں میں بانٹنے کے اصول۔ Hugging Face کی دستاویزات عام الگورتھمز کو subword طریقے بتاتی ہیں: عام الفاظ پورے رہتے ہیں اور نایاب الفاظ چھوٹے، جانے پہچانے ٹکڑوں میں بٹ جاتے ہیں، اس لیے “annoyingly” بن سکتا ہے “annoying” + “ly”۔ آج کے زیادہ تر LLM byte pair encoding یا اس کی کوئی قسم استعمال کرتے ہیں۔
انکوڈنگ تین مراحل میں چلتی ہے:
- پری ٹوکنائز۔ اسپیس، رموزِ اوقاف اور ہندسوں پر بانٹنا۔
- ٹکڑوں کو IDs سے جوڑنا۔ سیکھے ہوئے merges لاگو کرنا اور ہر ٹکڑا vocabulary میں دیکھنا۔
- خصوصی ٹوکنز شامل کرنا۔ چیٹ ٹیمپلیٹ پیغامات کو role markers میں لپیٹتا ہے، جو بھی گنے جاتے ہیں۔
ڈیکوڈنگ مرحلہ 2 کو الٹتی ہے۔ اوپن ویٹ ماڈلز کے لیے یہ سب ماڈل ریپو کی tokenizer.json فائل میں ہوتا ہے۔
یہ کیوں اہم ہے
مختلف ٹوکنائزرز ایک ہی متن کے لیے مختلف گنتی دیتے ہیں۔ ہم نے ڈیٹاسیٹ کے متون کو ہر ماڈل کے پِن کیے ہوئے ٹوکنائزر سے انکوڈ کیا (انگریزی: Wikipedia اور Project Gutenberg کی نثر؛ عربی: 2,009 FLORES-200 جملے اور تین Wikipedia لیڈز؛ ناپا گیا 2026-11-15؛ فی 100 الفاظ ٹوکنز = ٹوکنز / الفاظ x 100):
| متن | DeepSeek V4.1 Flash | GLM 5.3 | Qwen3.8 27B | Gemma 4 | GPT o200k |
|---|---|---|---|---|---|
| انگریزی نثر، 1,183 الفاظ | 1,507 → 127.4 | 1,526 → 129.0 | 1,561 → 132.0 | 1,537 → 129.9 | 1,501 → 126.9 |
| عربی MSA، 39,037 الفاظ | 86,690 → 222.1 | 95,230 → 243.9 | 71,424 → 183.0 | 79,120 → 202.7 | 73,593 → 188.5 |
انگریزی ہر جگہ قریب قریب برابر ہے۔ عربی نہیں: ایک ہی متن کے لیے GLM 5.3 کو Qwen3.8 27B سے 95,230 / 71,424 = 1.33 گنا ٹوکنز چاہئیں۔ فی ٹوکن قیمت پر یہ فرق سیدھا لاگت کا فرق ہے، اور اس سے یہ بھی بدلتا ہے کہ کانٹیکسٹ ونڈو میں کتنی عربی آتی ہے۔ Gemma کالم Google کا بنیادی Gemma 4 ٹوکنائزر استعمال کرتا ہے؛ BroadNet کا بلڈ اسی ماڈل پر مبنی ہے، اور ہم فرض کرتے ہیں کہ اس میں وہی ٹوکنائزر ہے۔ CSV اور JSON ڈاؤن لوڈز کے ساتھ ہر ماڈل کے مکمل اعداد ٹوکنائزر ایفیشنسی ڈیٹاسیٹ میں ہیں۔
BroadNet Inference پر
BroadNet استعمال کے مطابق ادائیگی والی چیٹ کا بل ان پٹ اور آؤٹ پٹ ٹوکنز سے لیتا ہے اور ہر جواب کے usage آبجیکٹ میں گنتی بتاتا ہے، اس لیے مستند عدد وہی ہے جو API لوٹاتا ہے۔ بھیجنے سے پہلے اندازے کے لیے متن ٹوکن کاؤنٹر یا عربی ٹوکن کاؤنٹر میں پیسٹ کریں، جو وہی پِن کی ہوئی ٹوکنائزر فائلیں لوڈ کرتے ہیں۔ مکمل پیمائش عربی اور انگریزی میں فی لفظ ٹوکنز میں ہے۔
عام غلطیاں
- ایک ماڈل کے ٹوکنائزر سے گننا اور دوسرے پر بل لینا۔ اسی ماڈل کا ٹوکنائزر استعمال کریں جسے آپ کال کرتے ہیں۔
- چیٹ ٹیمپلیٹ بھول جانا۔ Role markers اور سسٹم پرامپٹس ایسے ٹوکنز شامل کرتے ہیں جو سادہ متن کی گنتی میں چھوٹ جاتے ہیں۔