टोकनाइज़र तय करता है कि आपका टेक्स्ट कितने टोकन बनेगा, और इसलिए कॉन्टेक्स्ट विंडो और बिल का कितना हिस्सा लेगा।
यह कैसे काम करता है
टोकनाइज़र के दो हिस्से हैं: एक तय vocabulary जो टेक्स्ट के टुकड़ों को इंटीजर ID से जोड़ती है, और टेक्स्ट को उन टुकड़ों में बाँटने के नियम। Hugging Face का डॉक्यूमेंटेशन आम एल्गोरिदम को subword तरीके बताता है: आम शब्द पूरे रहते हैं और दुर्लभ शब्द छोटे, जाने-पहचाने टुकड़ों में बँट जाते हैं, इसलिए “annoyingly” बन सकता है “annoying” + “ly”। आज के ज़्यादातर LLM byte pair encoding या उसका कोई वैरिएंट इस्तेमाल करते हैं।
एन्कोडिंग तीन चरणों में चलती है:
- प्री-टोकनाइज़. स्पेस, विराम चिह्न और अंकों पर बाँटना।
- टुकड़ों को ID से जोड़ना. सीखे हुए merges लागू करना और हर टुकड़े को vocabulary में देखना।
- स्पेशल टोकन जोड़ना. चैट टेम्पलेट मैसेज को role markers में लपेटता है, जो भी गिने जाते हैं।
डिकोडिंग चरण 2 को उलटती है। ओपन-वेट मॉडलों के लिए यह सब मॉडल रिपो की tokenizer.json फ़ाइल में होता है।
यह क्यों मायने रखता है
अलग टोकनाइज़र एक ही टेक्स्ट के लिए अलग गिनती देते हैं। हमने डेटासेट के टेक्स्ट को हर मॉडल के पिन किए गए टोकनाइज़र से एन्कोड किया (अंग्रेज़ी: Wikipedia और Project Gutenberg का गद्य; अरबी: 2,009 FLORES-200 वाक्य और तीन Wikipedia लीड; नापा गया 2026-11-15; प्रति 100 शब्द टोकन = टोकन / शब्द x 100):
| टेक्स्ट | DeepSeek V4.1 Flash | GLM 5.3 | Qwen3.8 27B | Gemma 4 | GPT o200k |
|---|---|---|---|---|---|
| अंग्रेज़ी गद्य, 1,183 शब्द | 1,507 → 127.4 | 1,526 → 129.0 | 1,561 → 132.0 | 1,537 → 129.9 | 1,501 → 126.9 |
| अरबी MSA, 39,037 शब्द | 86,690 → 222.1 | 95,230 → 243.9 | 71,424 → 183.0 | 79,120 → 202.7 | 73,593 → 188.5 |
अंग्रेज़ी हर जगह क़रीब-क़रीब बराबर है। अरबी नहीं: एक ही टेक्स्ट के लिए GLM 5.3 को Qwen3.8 27B से 95,230 / 71,424 = 1.33 गुना टोकन चाहिए। प्रति-टोकन कीमत पर यह अंतर सीधे लागत का अंतर है, और इससे यह भी बदलता है कि कॉन्टेक्स्ट विंडो में कितनी अरबी आती है। Gemma कॉलम Google का बेस Gemma 4 टोकनाइज़र इस्तेमाल करता है; BroadNet का बिल्ड उसी मॉडल पर आधारित है, और हम मानते हैं कि उसमें वही टोकनाइज़र है। CSV और JSON डाउनलोड के साथ हर मॉडल के पूरे आँकड़े टोकनाइज़र एफ़िशिएंसी डेटासेट में हैं।
BroadNet Inference पर
BroadNet पे-एज़-यू-गो चैट का बिल इनपुट और आउटपुट टोकन से लेता है और हर रिस्पॉन्स के usage ऑब्जेक्ट में गिनती बताता है, इसलिए आधिकारिक संख्या वही है जो API लौटाता है। भेजने से पहले अनुमान के लिए टेक्स्ट को टोकन काउंटर या अरबी टोकन काउंटर में पेस्ट करें, जो वही पिन की गई टोकनाइज़र फ़ाइलें लोड करते हैं। पूरा माप अरबी और अंग्रेज़ी में प्रति शब्द टोकन में है।
आम ग़लतियाँ
- एक मॉडल के टोकनाइज़र से गिनना और दूसरे पर बिल लेना। उसी मॉडल का टोकनाइज़र इस्तेमाल करें जिसे आप कॉल करते हैं।
- चैट टेम्पलेट भूल जाना। Role markers और सिस्टम प्रॉम्प्ट ऐसे टोकन जोड़ते हैं जो प्लेन-टेक्स्ट गिनती में छूट जाते हैं।