BroadRouter

बाइट पेयर एन्कोडिंग (byte pair encoding, BPE)

अपडेट किया गया

Byte pair encoding (BPE) एक subword tokenization एल्गोरिदम है जो अकेले कैरेक्टर या bytes से शुरू होता है और सबसे आम पास-पास के जोड़े को बार-बार मिलाकर नई शब्दावली एंट्री बनाता है, जब तक लक्ष्य शब्दावली आकार न आ जाए। आज के ज़्यादातर LLM tokenizer BPE या उसका byte-level रूप इस्तेमाल करते हैं।

अन्य नाम: बीपीई, बाइट पेयर एन्कोडिंग, bpe kya hai, byte pair encoding kya hai, byte pair encoding, byte-pair encoding, byte-level BPE, BPE tokenization

Byte pair encoding ज़्यादातर LLM tokenizer के पीछे का नुस्ख़ा है: सीखो कि टेक्स्ट के कौन-से टुकड़े अक्सर साथ आते हैं, और हर आम टुकड़े को अपना टोकन दो।

यह कैसे काम करता है

Sennrich, Haddow और Birch (2015) ने BPE को, जो मूल रूप से एक कम्प्रेशन तरीक़ा था, अनुवाद पर लागू किया। उनकी बात यह थी कि नाम, संयुक्त शब्द और दुर्लभ शब्द छोटी इकाइयों से बनाए जा सकते हैं, इसलिए मॉडल को हर शब्द के लिए डिक्शनरी एंट्री नहीं चाहिए।

BPE शब्दावली की ट्रेनिंग एक सरल लूप है, जिसे Hugging Face के डॉक्यूमेंटेशन में क़दम-दर-क़दम दिखाया गया है:

  1. ट्रेनिंग कॉर्पस में शब्दों की आवृत्ति गिनें, जैसे hug 10, pug 5, pun 12, bun 4, hugs 5।
  2. अकेले कैरेक्टर से शुरू करें: b g h n p s u।
  3. सबसे आम पास-पास का जोड़ा खोजें। u + g 20 बार आता है, इसलिए ug जोड़ें।
  4. दोहराएँ। u + n (16 बार) un बन जाता है।
  5. लक्ष्य शब्दावली आकार पर रुकें, जो मूल symbols और merges की संख्या के जोड़ के बराबर है।

नया टेक्स्ट encode करने के लिए tokenizer सीखे हुए merges उसी क्रम में लगाता है। Encoding नियतात्मक है: एक ही टेक्स्ट हमेशा वही टोकन देता है।

Byte-level BPE कैरेक्टर के बजाय 256 byte मानों से शुरू होता है। तब हर संभव स्ट्रिंग encode हो सकती है। GPT-2 की शब्दावली 256 bytes + 50,000 merges + 1 end-of-text टोकन = 50,257 थी।

यह क्यों मायने रखता है

BPE आपके API बिल पर दिखने वाली कई बातें समझाता है:

  • आम अंग्रेज़ी शब्द एक टोकन होते हैं, क्योंकि उनके जोड़े जल्दी मिल गए थे।
  • दुर्लभ शब्द, टाइपो और गैर-लैटिन लिपियाँ ज़्यादा टोकन में बँटती हैं। UTF-8 में एक अरबी अक्षर 2 bytes लेता है, इसलिए जिस byte-level tokenizer ने कम अरबी merges सीखे, वह प्रति शब्द ज़्यादा टोकन ख़र्च करता है।
  • गिनती मॉडल के हिसाब से अलग होती है। हर मॉडल अपने डेटा से अपने merges सीखता है।

2026-11-14 का हमारा माप यह असर दिखाता है। खाड़ी बोली की 117 शब्दों वाली एक ही चैट GLM 5.3 पर 276 टोकन और Qwen3.8 27B पर 229 टोकन थी। यानी 276 / 117 x 100 = 235.9 बनाम 229 / 117 x 100 = 195.7 टोकन प्रति 100 शब्द। उसी चैट का अंग्रेज़ी अनुवाद 202 और 208 टोकन का था, लगभग बराबर।

BroadNet Inference पर

BroadNet पर आप tokenizer नहीं चुनते; हर मॉडल अपना इस्तेमाल करता है। अरबी ट्रैफ़िक के लिए मॉडल चुनने से पहले अरबी टोकन काउंटर में अपने असली टेक्स्ट की गिनती मिलाएँ, और पूरी टेबल के लिए अरबी और अंग्रेज़ी में प्रति शब्द टोकन पढ़ें। याद रखें कि कीमत शब्दों की गिनती से नहीं, टोकन की गिनती से तय होती है।

अक्सर पूछे जाने वाले सवाल

लैंग्वेज मॉडल के लिए BPE किसने बनाया?

BPE एक डेटा कम्प्रेशन एल्गोरिदम के रूप में शुरू हुआ। Sennrich, Haddow और Birch ने 2015 में इसे न्यूरल मशीन ट्रांसलेशन के लिए दुर्लभ शब्दों को subword इकाइयों में बाँटने के लिए अपनाया, और LLM tokenizer उसी काम से निकले।

Byte-level BPE क्या है?

ऐसा BPE tokenizer जिसकी मूल शब्दावली कैरेक्टर नहीं, बल्कि 256 संभव byte मान हैं, इसलिए किसी भी लिपि का कोई भी टेक्स्ट unknown टोकन के बिना encode हो सकता है। GPT-2 ने इसे 50,257 एंट्री के साथ इस्तेमाल किया।

BPE अंग्रेज़ी की तुलना में अरबी के लिए ज़्यादा टोकन क्यों बनाता है?

merges ट्रेनिंग डेटा से सीखे जाते हैं। अगर tokenizer ने अरबी कम देखी, तो कम अरबी जोड़े मिले, और अरबी शब्द ज़्यादा टुकड़ों में टूटते हैं।

Markdown में पढ़ेंChatGPT से पूछेंClaude से पूछेंPerplexity से पूछें