---
title: "LLM tokenizer میں byte pair encoding (BPE) کیا ہے؟ | BroadRouter"
description: "Byte pair encoding سب سے عام symbol جوڑوں کو ملا کر tokenizer کا ذخیرۂ الفاظ بناتی ہے۔ BPE اور byte-level BPE کیسے کام کرتے ہیں، اور عربی زیادہ ٹوکن کیوں لیتی ہے۔"
url: https://broadrouter.com/ur/glossary/bpe/
lang: ur
updated: 2026-11-16
publisher: BroadRouter (a BroadNet site); API by BroadNet Inference, https://inference.broadnet.ai
---

یہ صفحہ انگریزی سے AI کی مدد سے ترجمہ کیا گیا ہے۔ [انگریزی اصل پڑھیں](https://broadrouter.com/glossary/bpe/) (اپ ڈیٹ: 2026-11-16).

# بائٹ پیئر انکوڈنگ (byte pair encoding، BPE)

اپ ڈیٹ 2026-11-16

Byte pair encoding (BPE) ایک subword tokenization الگورتھم ہے جو اکیلے کیریکٹرز یا bytes سے شروع ہوتا ہے اور سب سے عام ساتھ ساتھ والے جوڑے کو بار بار ملا کر نئی ذخیرۂ الفاظ اندراج بناتا ہے، جب تک مطلوبہ سائز نہ آ جائے۔ آج کے زیادہ تر LLM tokenizer BPE یا اس کی byte-level شکل استعمال کرتے ہیں۔

دوسرے نام: بی پی ای، بائٹ پیئر انکوڈنگ، bpe kya hai، byte pair encoding kya hai، byte pair encoding، byte-pair encoding، byte-level BPE، BPE tokenization

Byte pair encoding زیادہ تر LLM [tokenizers](https://broadrouter.com/ur/glossary/tokenizer/) کے پیچھے کا نسخہ ہے: سیکھو کہ متن کے کون سے ٹکڑے اکثر ساتھ آتے ہیں، اور ہر عام ٹکڑے کو اپنا ٹوکن دو۔

## یہ کیسے کام کرتا ہے

Sennrich، Haddow اور Birch (2015) نے BPE کو، جو اصل میں ایک کمپریشن طریقہ تھا، ترجمے پر لاگو کیا۔ ان کا نکتہ یہ تھا کہ نام، مرکب الفاظ اور نایاب الفاظ چھوٹی اکائیوں سے بنائے جا سکتے ہیں، اس لیے ماڈل کو ہر لفظ کے لیے لغت کا اندراج نہیں چاہیے۔

BPE ذخیرۂ الفاظ کی تربیت ایک سادہ لوپ ہے، جسے Hugging Face کی دستاویزات میں قدم بہ قدم دکھایا گیا ہے:

1.  تربیتی کارپس میں الفاظ کی تعداد گنیں، مثلاً `hug` 10، `pug` 5، `pun` 12، `bun` 4، `hugs` 5۔
2.  اکیلے کیریکٹرز سے شروع کریں: `b g h n p s u`۔
3.  سب سے عام ساتھ ساتھ والا جوڑا ڈھونڈیں۔ `u` + `g` 20 بار آتا ہے، اس لیے `ug` شامل کریں۔
4.  دہرائیں۔ `u` + `n` (16 بار) `un` بن جاتا ہے۔
5.  مطلوبہ [ذخیرۂ الفاظ کے سائز](https://broadrouter.com/ur/glossary/vocabulary-size/) پر رکیں، جو بنیادی symbols اور merges کی تعداد کے مجموعے کے برابر ہے۔

نیا متن encode کرنے کے لیے tokenizer سیکھے ہوئے merges اسی ترتیب سے لگاتا ہے۔ Encoding طے شدہ (deterministic) ہے: ایک ہی متن ہمیشہ وہی ٹوکن دیتا ہے۔

**Byte-level BPE** کیریکٹرز کے بجائے 256 byte قدروں سے شروع ہوتا ہے۔ تب ہر ممکنہ اسٹرنگ encode ہو سکتی ہے۔ GPT-2 کا ذخیرۂ الفاظ 256 bytes + 50,000 merges + 1 end-of-text ٹوکن = 50,257 تھا۔

## یہ کیوں اہم ہے

BPE آپ کے API بل پر نظر آنے والی کئی باتیں سمجھاتا ہے:

-   **عام انگریزی الفاظ ایک ٹوکن ہوتے ہیں**، کیونکہ ان کے جوڑے جلدی مل گئے تھے۔
-   **نایاب الفاظ، ٹائپو اور غیر لاطینی رسم الخط زیادہ ٹوکنز میں بٹتے ہیں۔** UTF-8 میں ایک عربی حرف 2 bytes لیتا ہے، اس لیے جس byte-level tokenizer نے کم عربی merges سیکھے، وہ فی لفظ زیادہ ٹوکن خرچ کرتا ہے۔
-   **گنتی ماڈل کے حساب سے مختلف ہوتی ہے۔** ہر ماڈل اپنے ڈیٹا سے اپنے merges سیکھتا ہے۔

2026-11-14 کی ہماری پیمائش یہ اثر دکھاتی ہے۔ خلیجی لہجے کی 117 الفاظ والی ایک ہی چیٹ GLM 5.3 پر 276 ٹوکن اور Qwen3.8 27B پر 229 ٹوکن تھی۔ یعنی 276 / 117 x 100 = 235.9 بمقابلہ 229 / 117 x 100 = 195.7 ٹوکن فی 100 الفاظ۔ اسی چیٹ کا انگریزی ترجمہ 202 اور 208 ٹوکن کا تھا، تقریباً برابر۔

## BroadNet Inference پر

BroadNet پر آپ tokenizer نہیں چنتے؛ ہر ماڈل اپنا استعمال کرتا ہے۔ عربی ٹریفک کے لیے ماڈل چننے سے پہلے [عربی ٹوکن کاؤنٹر](https://broadrouter.com/tools/arabic-token-counter/) میں اپنے اصل متن کی گنتی ملائیں، اور پورے ٹیبل کے لیے [عربی اور انگریزی میں فی لفظ ٹوکن](https://broadrouter.com/ur/blog/tokens-per-word-arabic-english/) پڑھیں۔ یاد رکھیں کہ قیمت الفاظ کی گنتی سے نہیں، [ٹوکن](https://broadrouter.com/ur/glossary/token/) کی گنتی سے طے ہوتی ہے۔

## عام سوالات

### لینگویج ماڈلز کے لیے BPE کس نے بنایا؟

BPE ایک ڈیٹا کمپریشن الگورتھم کے طور پر شروع ہوا۔ Sennrich، Haddow اور Birch نے 2015 میں اسے نیورل مشینی ترجمے میں نایاب الفاظ کو subword اکائیوں میں بانٹنے کے لیے اپنایا، اور LLM tokenizer اسی کام سے نکلے۔

### Byte-level BPE کیا ہے؟

ایسا BPE tokenizer جس کا بنیادی ذخیرۂ الفاظ کیریکٹرز نہیں بلکہ 256 ممکنہ byte قدریں ہیں، اس لیے کسی بھی رسم الخط کا کوئی بھی متن unknown ٹوکن کے بغیر encode ہو سکتا ہے۔ GPT-2 نے اسے 50,257 اندراجات کے ساتھ استعمال کیا۔

### BPE انگریزی کے مقابلے میں عربی کے لیے زیادہ ٹوکن کیوں بناتا ہے؟

merges تربیتی ڈیٹا سے سیکھے جاتے ہیں۔ اگر tokenizer نے عربی کم دیکھی تو کم عربی جوڑے ملے، اور عربی الفاظ زیادہ ٹکڑوں میں ٹوٹتے ہیں۔

## یہ بھی دیکھیں

-   [ٹوکنائزر (tokenizer)](https://broadrouter.com/ur/glossary/tokenizer/) (اصطلاح)
-   [ووکیبلری سائز (vocabulary size)](https://broadrouter.com/ur/glossary/vocabulary-size/) (اصطلاح)
-   [ٹوکن (token)](https://broadrouter.com/ur/glossary/token/) (اصطلاح)
-   [کانٹیکسٹ ونڈو (context window)](https://broadrouter.com/ur/glossary/context-window/) (اصطلاح)
-   [عربی بمقابلہ انگریزی میں فی لفظ ٹوکن: عربی مہنگی کیوں پڑتی ہے](https://broadrouter.com/ur/blog/tokens-per-word-arabic-english/) (مضمون)
-   [LLM درخواست بھیجنے سے پہلے ٹوکن کیسے گنیں](https://broadrouter.com/ur/blog/count-tokens-before-sending/) (مضمون)

اسے اپنے اصل کام پر آزمائیں۔ نئے اکاؤنٹس Gemma اور ٹرانسکرپشن کے لیے US$5 کے کریڈٹ سے شروع ہوتے ہیں۔ DeepSeek، GLM، اور Qwen3.8 کے لیے ٹاپ اپ ضروری ہے۔

[شروع کریں](https://inference.broadnet.ai/account/?utm_source=broadrouter&utm_medium=referral&utm_campaign=ur-glossary-bpe&utm_content=page-cta) ·

**ذرائع**

-   [Sennrich، Haddow اور Birch، Neural Machine Translation of Rare Words with Subword Units (arXiv 1508.07909) (جانچ: 2026-11-16)](https://arxiv.org/abs/1508.07909)
-   [Hugging Face Transformers، tokenization الگورتھمز (BPE اور byte-level BPE) (جانچ: 2026-11-16)](https://huggingface.co/docs/transformers/tokenizer_summary)
