ووکیبلری سائز بتاتا ہے کہ ماڈل متن کے کتنے الگ الگ ٹکڑوں کو ایک ہی ٹوکن سے ظاہر کر سکتا ہے۔
یہ کیسے کام کرتا ہے
BPE ٹوکنائزر کی ووکیبلری اس کے بیس سمبلز اور اس کے سیکھے ہر merge سے مل کر بنتی ہے۔ Hugging Face کی دستاویزات اصل GPT کی مثال دیتی ہیں: 478 بیس ٹوکن + 40,000 merges = 40,478۔ بنانے والا تربیت سے پہلے ہدف سائز چنتا ہے۔
ہم نے 2026-11-14 کو Hugging Face پر ہر ماڈل کی پِن شدہ tokenizer.json سے ووکیبلری پڑھی:
| ٹوکنائزر | ووکیبلری اندراجات | اسپیشل ٹوکنز سمیت کل IDs |
|---|---|---|
| DeepSeek V4.1 Flash | 128,000 | 129,280 |
| GLM 5.3 | 154,820 | 154,856 |
| Qwen3.8 27B | 248,044 | 248,077 |
| Gemma 4 26B A4B (Google بیس) | 262,144 | 262,144 |
| OpenAI o200k_base (حوالہ) | 199,998 | 200,019 |
Gemma 4 کا ماڈل کارڈ 262K ووکیبلری بتاتا ہے، جو مطابقت رکھتا ہے۔ Qwen3.8 کا کارڈ 248,320 کا “padded” embedding سائز بتاتا ہے، جو اصل میں استعمال ہونے والی 248,077 IDs سے بڑا ہے۔
یہ کیوں اہم ہے
API صارف کے لیے ووکیبلری سائز فی لفظ لاگت کا ایک بالواسطہ اشارہ ہے۔ اصل فرق اس سے پڑتا ہے کہ merges کس متن پر تربیت یافتہ ہیں۔ ہمارے ٹوکنائزر ڈیٹاسیٹ میں Modern Standard Arabic کے انہی 39,037 الفاظ پر فی 100 الفاظ ٹوکنز کا موازنہ کریں:
- DeepSeek V4.1 Flash، 128,000 اندراجات: 86,690 / 39,037 x 100 = 222.1
- GLM 5.3، 154,820 اندراجات: 95,230 / 39,037 x 100 = 243.9
- Qwen3.8 27B، 248,044 اندراجات: 71,424 / 39,037 x 100 = 183.0
- Gemma 4، 262,144 اندراجات: 79,120 / 39,037 x 100 = 202.7
GLM 5.3 میں DeepSeek سے زیادہ اندراجات ہیں، پھر بھی اس متن پر وہ زیادہ ٹوکن لیتا ہے۔ Gemma میں سب سے زیادہ اندراجات ہیں، مگر وہ سب سے کمپیکٹ نہیں۔ انگریزی نثر پر پانچوں فی 100 الفاظ 127 سے 132 ٹوکنز کے درمیان رہتے ہیں، اس لیے وہاں ووکیبلری سائز سے بمشکل فرق پڑتا ہے۔
اصول: ووکیبلری کے عدد سے لاگت کا اندازہ لگانے کے بجائے اپنا متن ماڈل کے ٹوکنائزر سے ناپیں۔
BroadNet Inference پر
BroadNet ووکیبلری سائز شائع نہیں کرتا؛ اوپر کے اعداد پبلک ماڈل ریپوزٹریز سے ہیں۔ Gemma والی قطار Google کے بیس ٹوکنائزر پر مبنی ہے، اور ہم فرض کرتے ہیں کہ BroadNet کا Gemma 4 VL 26B بلڈ اسے ہی رکھتا ہے۔ اپنے پرامپٹس پر اثر دیکھنے کے لیے ٹوکن کاؤنٹر استعمال کریں، اور عربی کے لیے ماڈل چننے پر عربی کے لیے LLM کا انتخاب کے ساتھ فی لفظ ٹوکن اسٹڈی پڑھیں۔