BroadRouter
شروع کریں

بائٹ پیئر انکوڈنگ (byte pair encoding، BPE)

اپ ڈیٹ

Byte pair encoding (BPE) ایک subword tokenization الگورتھم ہے جو اکیلے کیریکٹرز یا bytes سے شروع ہوتا ہے اور سب سے عام ساتھ ساتھ والے جوڑے کو بار بار ملا کر نئی ذخیرۂ الفاظ اندراج بناتا ہے، جب تک مطلوبہ سائز نہ آ جائے۔ آج کے زیادہ تر LLM tokenizer BPE یا اس کی byte-level شکل استعمال کرتے ہیں۔

دوسرے نام: بی پی ای، بائٹ پیئر انکوڈنگ، bpe kya hai، byte pair encoding kya hai، byte pair encoding، byte-pair encoding، byte-level BPE، BPE tokenization

Byte pair encoding زیادہ تر LLM tokenizers کے پیچھے کا نسخہ ہے: سیکھو کہ متن کے کون سے ٹکڑے اکثر ساتھ آتے ہیں، اور ہر عام ٹکڑے کو اپنا ٹوکن دو۔

یہ کیسے کام کرتا ہے

Sennrich، Haddow اور Birch (2015) نے BPE کو، جو اصل میں ایک کمپریشن طریقہ تھا، ترجمے پر لاگو کیا۔ ان کا نکتہ یہ تھا کہ نام، مرکب الفاظ اور نایاب الفاظ چھوٹی اکائیوں سے بنائے جا سکتے ہیں، اس لیے ماڈل کو ہر لفظ کے لیے لغت کا اندراج نہیں چاہیے۔

BPE ذخیرۂ الفاظ کی تربیت ایک سادہ لوپ ہے، جسے Hugging Face کی دستاویزات میں قدم بہ قدم دکھایا گیا ہے:

  1. تربیتی کارپس میں الفاظ کی تعداد گنیں، مثلاً hug 10، pug 5، pun 12، bun 4، hugs 5۔
  2. اکیلے کیریکٹرز سے شروع کریں: b g h n p s u۔
  3. سب سے عام ساتھ ساتھ والا جوڑا ڈھونڈیں۔ u + g 20 بار آتا ہے، اس لیے ug شامل کریں۔
  4. دہرائیں۔ u + n (16 بار) un بن جاتا ہے۔
  5. مطلوبہ ذخیرۂ الفاظ کے سائز پر رکیں، جو بنیادی symbols اور merges کی تعداد کے مجموعے کے برابر ہے۔

نیا متن encode کرنے کے لیے tokenizer سیکھے ہوئے merges اسی ترتیب سے لگاتا ہے۔ Encoding طے شدہ (deterministic) ہے: ایک ہی متن ہمیشہ وہی ٹوکن دیتا ہے۔

Byte-level BPE کیریکٹرز کے بجائے 256 byte قدروں سے شروع ہوتا ہے۔ تب ہر ممکنہ اسٹرنگ encode ہو سکتی ہے۔ GPT-2 کا ذخیرۂ الفاظ 256 bytes + 50,000 merges + 1 end-of-text ٹوکن = 50,257 تھا۔

یہ کیوں اہم ہے

BPE آپ کے API بل پر نظر آنے والی کئی باتیں سمجھاتا ہے:

  • عام انگریزی الفاظ ایک ٹوکن ہوتے ہیں، کیونکہ ان کے جوڑے جلدی مل گئے تھے۔
  • نایاب الفاظ، ٹائپو اور غیر لاطینی رسم الخط زیادہ ٹوکنز میں بٹتے ہیں۔ UTF-8 میں ایک عربی حرف 2 bytes لیتا ہے، اس لیے جس byte-level tokenizer نے کم عربی merges سیکھے، وہ فی لفظ زیادہ ٹوکن خرچ کرتا ہے۔
  • گنتی ماڈل کے حساب سے مختلف ہوتی ہے۔ ہر ماڈل اپنے ڈیٹا سے اپنے merges سیکھتا ہے۔

2026-11-14 کی ہماری پیمائش یہ اثر دکھاتی ہے۔ خلیجی لہجے کی 117 الفاظ والی ایک ہی چیٹ GLM 5.3 پر 276 ٹوکن اور Qwen3.8 27B پر 229 ٹوکن تھی۔ یعنی 276 / 117 x 100 = 235.9 بمقابلہ 229 / 117 x 100 = 195.7 ٹوکن فی 100 الفاظ۔ اسی چیٹ کا انگریزی ترجمہ 202 اور 208 ٹوکن کا تھا، تقریباً برابر۔

BroadNet Inference پر

BroadNet پر آپ tokenizer نہیں چنتے؛ ہر ماڈل اپنا استعمال کرتا ہے۔ عربی ٹریفک کے لیے ماڈل چننے سے پہلے عربی ٹوکن کاؤنٹر میں اپنے اصل متن کی گنتی ملائیں، اور پورے ٹیبل کے لیے عربی اور انگریزی میں فی لفظ ٹوکن پڑھیں۔ یاد رکھیں کہ قیمت الفاظ کی گنتی سے نہیں، ٹوکن کی گنتی سے طے ہوتی ہے۔

عام سوالات

لینگویج ماڈلز کے لیے BPE کس نے بنایا؟

BPE ایک ڈیٹا کمپریشن الگورتھم کے طور پر شروع ہوا۔ Sennrich، Haddow اور Birch نے 2015 میں اسے نیورل مشینی ترجمے میں نایاب الفاظ کو subword اکائیوں میں بانٹنے کے لیے اپنایا، اور LLM tokenizer اسی کام سے نکلے۔

Byte-level BPE کیا ہے؟

ایسا BPE tokenizer جس کا بنیادی ذخیرۂ الفاظ کیریکٹرز نہیں بلکہ 256 ممکنہ byte قدریں ہیں، اس لیے کسی بھی رسم الخط کا کوئی بھی متن unknown ٹوکن کے بغیر encode ہو سکتا ہے۔ GPT-2 نے اسے 50,257 اندراجات کے ساتھ استعمال کیا۔

BPE انگریزی کے مقابلے میں عربی کے لیے زیادہ ٹوکن کیوں بناتا ہے؟

merges تربیتی ڈیٹا سے سیکھے جاتے ہیں۔ اگر tokenizer نے عربی کم دیکھی تو کم عربی جوڑے ملے، اور عربی الفاظ زیادہ ٹکڑوں میں ٹوٹتے ہیں۔

Markdown میں پڑھیںChatGPT سے پوچھیںClaude سے پوچھیںPerplexity سے پوچھیں