Byte pair encoding زیادہ تر LLM tokenizers کے پیچھے کا نسخہ ہے: سیکھو کہ متن کے کون سے ٹکڑے اکثر ساتھ آتے ہیں، اور ہر عام ٹکڑے کو اپنا ٹوکن دو۔
یہ کیسے کام کرتا ہے
Sennrich، Haddow اور Birch (2015) نے BPE کو، جو اصل میں ایک کمپریشن طریقہ تھا، ترجمے پر لاگو کیا۔ ان کا نکتہ یہ تھا کہ نام، مرکب الفاظ اور نایاب الفاظ چھوٹی اکائیوں سے بنائے جا سکتے ہیں، اس لیے ماڈل کو ہر لفظ کے لیے لغت کا اندراج نہیں چاہیے۔
BPE ذخیرۂ الفاظ کی تربیت ایک سادہ لوپ ہے، جسے Hugging Face کی دستاویزات میں قدم بہ قدم دکھایا گیا ہے:
- تربیتی کارپس میں الفاظ کی تعداد گنیں، مثلاً
hug10،pug5،pun12،bun4،hugs5۔ - اکیلے کیریکٹرز سے شروع کریں:
b g h n p s u۔ - سب سے عام ساتھ ساتھ والا جوڑا ڈھونڈیں۔
u+g20 بار آتا ہے، اس لیےugشامل کریں۔ - دہرائیں۔
u+n(16 بار)unبن جاتا ہے۔ - مطلوبہ ذخیرۂ الفاظ کے سائز پر رکیں، جو بنیادی symbols اور merges کی تعداد کے مجموعے کے برابر ہے۔
نیا متن encode کرنے کے لیے tokenizer سیکھے ہوئے merges اسی ترتیب سے لگاتا ہے۔ Encoding طے شدہ (deterministic) ہے: ایک ہی متن ہمیشہ وہی ٹوکن دیتا ہے۔
Byte-level BPE کیریکٹرز کے بجائے 256 byte قدروں سے شروع ہوتا ہے۔ تب ہر ممکنہ اسٹرنگ encode ہو سکتی ہے۔ GPT-2 کا ذخیرۂ الفاظ 256 bytes + 50,000 merges + 1 end-of-text ٹوکن = 50,257 تھا۔
یہ کیوں اہم ہے
BPE آپ کے API بل پر نظر آنے والی کئی باتیں سمجھاتا ہے:
- عام انگریزی الفاظ ایک ٹوکن ہوتے ہیں، کیونکہ ان کے جوڑے جلدی مل گئے تھے۔
- نایاب الفاظ، ٹائپو اور غیر لاطینی رسم الخط زیادہ ٹوکنز میں بٹتے ہیں۔ UTF-8 میں ایک عربی حرف 2 bytes لیتا ہے، اس لیے جس byte-level tokenizer نے کم عربی merges سیکھے، وہ فی لفظ زیادہ ٹوکن خرچ کرتا ہے۔
- گنتی ماڈل کے حساب سے مختلف ہوتی ہے۔ ہر ماڈل اپنے ڈیٹا سے اپنے merges سیکھتا ہے۔
2026-11-14 کی ہماری پیمائش یہ اثر دکھاتی ہے۔ خلیجی لہجے کی 117 الفاظ والی ایک ہی چیٹ GLM 5.3 پر 276 ٹوکن اور Qwen3.8 27B پر 229 ٹوکن تھی۔ یعنی 276 / 117 x 100 = 235.9 بمقابلہ 229 / 117 x 100 = 195.7 ٹوکن فی 100 الفاظ۔ اسی چیٹ کا انگریزی ترجمہ 202 اور 208 ٹوکن کا تھا، تقریباً برابر۔
BroadNet Inference پر
BroadNet پر آپ tokenizer نہیں چنتے؛ ہر ماڈل اپنا استعمال کرتا ہے۔ عربی ٹریفک کے لیے ماڈل چننے سے پہلے عربی ٹوکن کاؤنٹر میں اپنے اصل متن کی گنتی ملائیں، اور پورے ٹیبل کے لیے عربی اور انگریزی میں فی لفظ ٹوکن پڑھیں۔ یاد رکھیں کہ قیمت الفاظ کی گنتی سے نہیں، ٹوکن کی گنتی سے طے ہوتی ہے۔