Byte pair encoding ज़्यादातर LLM tokenizer के पीछे का नुस्ख़ा है: सीखो कि टेक्स्ट के कौन-से टुकड़े अक्सर साथ आते हैं, और हर आम टुकड़े को अपना टोकन दो।
यह कैसे काम करता है
Sennrich, Haddow और Birch (2015) ने BPE को, जो मूल रूप से एक कम्प्रेशन तरीक़ा था, अनुवाद पर लागू किया। उनकी बात यह थी कि नाम, संयुक्त शब्द और दुर्लभ शब्द छोटी इकाइयों से बनाए जा सकते हैं, इसलिए मॉडल को हर शब्द के लिए डिक्शनरी एंट्री नहीं चाहिए।
BPE शब्दावली की ट्रेनिंग एक सरल लूप है, जिसे Hugging Face के डॉक्यूमेंटेशन में क़दम-दर-क़दम दिखाया गया है:
- ट्रेनिंग कॉर्पस में शब्दों की आवृत्ति गिनें, जैसे
hug10,pug5,pun12,bun4,hugs5। - अकेले कैरेक्टर से शुरू करें:
b g h n p s u। - सबसे आम पास-पास का जोड़ा खोजें।
u+g20 बार आता है, इसलिएugजोड़ें। - दोहराएँ।
u+n(16 बार)unबन जाता है। - लक्ष्य शब्दावली आकार पर रुकें, जो मूल symbols और merges की संख्या के जोड़ के बराबर है।
नया टेक्स्ट encode करने के लिए tokenizer सीखे हुए merges उसी क्रम में लगाता है। Encoding नियतात्मक है: एक ही टेक्स्ट हमेशा वही टोकन देता है।
Byte-level BPE कैरेक्टर के बजाय 256 byte मानों से शुरू होता है। तब हर संभव स्ट्रिंग encode हो सकती है। GPT-2 की शब्दावली 256 bytes + 50,000 merges + 1 end-of-text टोकन = 50,257 थी।
यह क्यों मायने रखता है
BPE आपके API बिल पर दिखने वाली कई बातें समझाता है:
- आम अंग्रेज़ी शब्द एक टोकन होते हैं, क्योंकि उनके जोड़े जल्दी मिल गए थे।
- दुर्लभ शब्द, टाइपो और गैर-लैटिन लिपियाँ ज़्यादा टोकन में बँटती हैं। UTF-8 में एक अरबी अक्षर 2 bytes लेता है, इसलिए जिस byte-level tokenizer ने कम अरबी merges सीखे, वह प्रति शब्द ज़्यादा टोकन ख़र्च करता है।
- गिनती मॉडल के हिसाब से अलग होती है। हर मॉडल अपने डेटा से अपने merges सीखता है।
2026-11-14 का हमारा माप यह असर दिखाता है। खाड़ी बोली की 117 शब्दों वाली एक ही चैट GLM 5.3 पर 276 टोकन और Qwen3.8 27B पर 229 टोकन थी। यानी 276 / 117 x 100 = 235.9 बनाम 229 / 117 x 100 = 195.7 टोकन प्रति 100 शब्द। उसी चैट का अंग्रेज़ी अनुवाद 202 और 208 टोकन का था, लगभग बराबर।
BroadNet Inference पर
BroadNet पर आप tokenizer नहीं चुनते; हर मॉडल अपना इस्तेमाल करता है। अरबी ट्रैफ़िक के लिए मॉडल चुनने से पहले अरबी टोकन काउंटर में अपने असली टेक्स्ट की गिनती मिलाएँ, और पूरी टेबल के लिए अरबी और अंग्रेज़ी में प्रति शब्द टोकन पढ़ें। याद रखें कि कीमत शब्दों की गिनती से नहीं, टोकन की गिनती से तय होती है।