BroadRouter
शुरू करें

टोकनाइज़र (tokenizer)

अपडेट किया गया

टोकनाइज़र वह हिस्सा है जो टेक्स्ट को इंटीजर टोकन ID के उस क्रम में बदलता है जिसे लैंग्वेज मॉडल पढ़ता है, और जनरेट हुई ID को वापस टेक्स्ट में बदलता है। हर मॉडल अपने टोकनाइज़र के साथ आता है, इसलिए एक ही टेक्स्ट अलग-अलग मॉडलों पर अलग संख्या में टोकन बना सकता है।

अन्य नाम: टोकनाइज़र, टोकनाइज़ेशन, tokenizer kya hai, tokenizer kya hota hai, LLM tokenizer, tokenizer.json, subword tokenizer, text tokenizer

टोकनाइज़र तय करता है कि आपका टेक्स्ट कितने टोकन बनेगा, और इसलिए कॉन्टेक्स्ट विंडो और बिल का कितना हिस्सा लेगा।

यह कैसे काम करता है

टोकनाइज़र के दो हिस्से हैं: एक तय vocabulary जो टेक्स्ट के टुकड़ों को इंटीजर ID से जोड़ती है, और टेक्स्ट को उन टुकड़ों में बाँटने के नियम। Hugging Face का डॉक्यूमेंटेशन आम एल्गोरिदम को subword तरीके बताता है: आम शब्द पूरे रहते हैं और दुर्लभ शब्द छोटे, जाने-पहचाने टुकड़ों में बँट जाते हैं, इसलिए “annoyingly” बन सकता है “annoying” + “ly”। आज के ज़्यादातर LLM byte pair encoding या उसका कोई वैरिएंट इस्तेमाल करते हैं।

एन्कोडिंग तीन चरणों में चलती है:

  1. प्री-टोकनाइज़. स्पेस, विराम चिह्न और अंकों पर बाँटना।
  2. टुकड़ों को ID से जोड़ना. सीखे हुए merges लागू करना और हर टुकड़े को vocabulary में देखना।
  3. स्पेशल टोकन जोड़ना. चैट टेम्पलेट मैसेज को role markers में लपेटता है, जो भी गिने जाते हैं।

डिकोडिंग चरण 2 को उलटती है। ओपन-वेट मॉडलों के लिए यह सब मॉडल रिपो की tokenizer.json फ़ाइल में होता है।

यह क्यों मायने रखता है

अलग टोकनाइज़र एक ही टेक्स्ट के लिए अलग गिनती देते हैं। हमने डेटासेट के टेक्स्ट को हर मॉडल के पिन किए गए टोकनाइज़र से एन्कोड किया (अंग्रेज़ी: Wikipedia और Project Gutenberg का गद्य; अरबी: 2,009 FLORES-200 वाक्य और तीन Wikipedia लीड; नापा गया 2026-11-15; प्रति 100 शब्द टोकन = टोकन / शब्द x 100):

टेक्स्ट DeepSeek V4.1 Flash GLM 5.3 Qwen3.8 27B Gemma 4 GPT o200k
अंग्रेज़ी गद्य, 1,183 शब्द 1,507 → 127.4 1,526 → 129.0 1,561 → 132.0 1,537 → 129.9 1,501 → 126.9
अरबी MSA, 39,037 शब्द 86,690 → 222.1 95,230 → 243.9 71,424 → 183.0 79,120 → 202.7 73,593 → 188.5

अंग्रेज़ी हर जगह क़रीब-क़रीब बराबर है। अरबी नहीं: एक ही टेक्स्ट के लिए GLM 5.3 को Qwen3.8 27B से 95,230 / 71,424 = 1.33 गुना टोकन चाहिए। प्रति-टोकन कीमत पर यह अंतर सीधे लागत का अंतर है, और इससे यह भी बदलता है कि कॉन्टेक्स्ट विंडो में कितनी अरबी आती है। Gemma कॉलम Google का बेस Gemma 4 टोकनाइज़र इस्तेमाल करता है; BroadNet का बिल्ड उसी मॉडल पर आधारित है, और हम मानते हैं कि उसमें वही टोकनाइज़र है। CSV और JSON डाउनलोड के साथ हर मॉडल के पूरे आँकड़े टोकनाइज़र एफ़िशिएंसी डेटासेट में हैं।

BroadNet Inference पर

BroadNet पे-एज़-यू-गो चैट का बिल इनपुट और आउटपुट टोकन से लेता है और हर रिस्पॉन्स के usage ऑब्जेक्ट में गिनती बताता है, इसलिए आधिकारिक संख्या वही है जो API लौटाता है। भेजने से पहले अनुमान के लिए टेक्स्ट को टोकन काउंटर या अरबी टोकन काउंटर में पेस्ट करें, जो वही पिन की गई टोकनाइज़र फ़ाइलें लोड करते हैं। पूरा माप अरबी और अंग्रेज़ी में प्रति शब्द टोकन में है।

आम ग़लतियाँ

  • एक मॉडल के टोकनाइज़र से गिनना और दूसरे पर बिल लेना। उसी मॉडल का टोकनाइज़र इस्तेमाल करें जिसे आप कॉल करते हैं।
  • चैट टेम्पलेट भूल जाना। Role markers और सिस्टम प्रॉम्प्ट ऐसे टोकन जोड़ते हैं जो प्लेन-टेक्स्ट गिनती में छूट जाते हैं।

अक्सर पूछे जाने वाले सवाल

क्या सभी LLM एक ही टोकनाइज़र इस्तेमाल करते हैं?

नहीं। हर मॉडल फ़ैमिली अपना टोकनाइज़र, अपनी vocabulary के साथ, ट्रेन करती है। हमारे टोकनाइज़र डेटासेट में अरबी के वही 39,037 शब्द Qwen3.8 27B पर 71,424 टोकन थे और GLM 5.3 पर 95,230।

किसी मॉडल का टोकनाइज़र कहाँ मिलता है?

ओपन-वेट मॉडलों के लिए यह मॉडल के Hugging Face रिपो में tokenizer.json फ़ाइल है। टोकन ठीक-ठीक गिनने के लिए इसे Hugging Face tokenizers लाइब्रेरी से लोड करें।

क्या टोकनाइज़र और टोकनाइज़ेशन एक ही हैं?

टोकनाइज़ेशन टेक्स्ट को टोकन में बाँटने की प्रक्रिया है। टोकनाइज़र वह फ़ाइल और कोड है जो किसी एक ख़ास मॉडल के लिए यह काम करता है।

Markdown में पढ़ेंChatGPT से पूछेंClaude से पूछेंPerplexity से पूछें