वोकैबुलरी साइज़ बताता है कि मॉडल टेक्स्ट के कितने अलग-अलग टुकड़ों को एक ही टोकन से दर्शा सकता है।
यह कैसे काम करता है
BPE टोकनाइज़र की वोकैबुलरी उसके बेस सिंबल और उसके सीखे हर merge से मिलकर बनती है। Hugging Face का डॉक्यूमेंटेशन मूल GPT का उदाहरण देता है: 478 बेस टोकन + 40,000 merges = 40,478। बनाने वाला ट्रेनिंग से पहले लक्ष्य साइज़ चुनता है।
हमने 2026-11-14 को Hugging Face पर हर मॉडल की पिन की हुई tokenizer.json से वोकैबुलरी पढ़ी:
| टोकनाइज़र | वोकैबुलरी एंट्री | स्पेशल टोकन समेत कुल ID |
|---|---|---|
| DeepSeek V4.1 Flash | 128,000 | 129,280 |
| GLM 5.3 | 154,820 | 154,856 |
| Qwen3.8 27B | 248,044 | 248,077 |
| Gemma 4 26B A4B (Google बेस) | 262,144 | 262,144 |
| OpenAI o200k_base (संदर्भ) | 199,998 | 200,019 |
Gemma 4 का मॉडल कार्ड 262K वोकैबुलरी बताता है, जो मेल खाता है। Qwen3.8 का कार्ड 248,320 का “padded” embedding साइज़ बताता है, जो असल में इस्तेमाल हुए 248,077 ID से बड़ा है।
यह क्यों मायने रखता है
API यूज़र के लिए वोकैबुलरी साइज़ प्रति शब्द लागत का एक अप्रत्यक्ष संकेत है। असल फ़र्क़ इससे पड़ता है कि merges किस टेक्स्ट पर ट्रेन हुए। हमारे टोकनाइज़र डेटासेट में Modern Standard Arabic के उन्हीं 39,037 शब्दों पर प्रति 100 शब्द टोकन की तुलना करें:
- DeepSeek V4.1 Flash, 128,000 एंट्री: 86,690 / 39,037 x 100 = 222.1
- GLM 5.3, 154,820 एंट्री: 95,230 / 39,037 x 100 = 243.9
- Qwen3.8 27B, 248,044 एंट्री: 71,424 / 39,037 x 100 = 183.0
- Gemma 4, 262,144 एंट्री: 79,120 / 39,037 x 100 = 202.7
GLM 5.3 में DeepSeek से ज़्यादा एंट्री हैं, फिर भी इस टेक्स्ट पर वह ज़्यादा टोकन लेता है। Gemma में सबसे ज़्यादा एंट्री हैं, पर वह सबसे कॉम्पैक्ट नहीं है। अंग्रेज़ी गद्य पर पाँचों प्रति 100 शब्द 127 से 132 टोकन के बीच रहते हैं, इसलिए वहाँ वोकैबुलरी साइज़ से मुश्किल से फ़र्क़ पड़ता है।
नियम: वोकैबुलरी की संख्या से लागत का अंदाज़ा लगाने के बजाय अपना टेक्स्ट मॉडल के टोकनाइज़र से मापें।
BroadNet Inference पर
BroadNet वोकैबुलरी साइज़ प्रकाशित नहीं करता; ऊपर के आँकड़े पब्लिक मॉडल रिपॉज़िटरी से हैं। Gemma वाली पंक्ति Google के बेस टोकनाइज़र पर आधारित है, और हम मानते हैं कि BroadNet का Gemma 4 VL 26B बिल्ड उसे ही रखता है। अपने प्रॉम्प्ट पर असर देखने के लिए टोकन काउंटर इस्तेमाल करें, और अरबी के लिए मॉडल चुनने पर अरबी के लिए LLM चुनना के साथ प्रति शब्द टोकन स्टडी पढ़ें।