BroadRouter

ووکیبلری سائز (vocabulary size)

اپ ڈیٹ

ووکیبلری سائز کسی لینگویج ماڈل کے ٹوکنائزر میں الگ الگ ٹوکنز کی تعداد ہے، ہر ایک کی اپنی ID اور embedding کے ساتھ۔ بڑی ووکیبلری عام متن کو کم ٹوکنز میں لکھ سکتی ہے، مگر اس سے embedding اور آؤٹ پٹ لیئرز بڑی ہوتی ہیں، اور یہ صرف اسی متن پر مدد کرتی ہے جس پر یہ تربیت یافتہ ہے۔

دوسرے نام: ووکیبلری سائز، ٹوکنائزر ووکیبلری، ٹوکن ووکیبلری، vocab size kya hai، vocabulary size kya hai، vocab size، vocab_size، tokenizer vocabulary، token vocabulary

ووکیبلری سائز بتاتا ہے کہ ماڈل متن کے کتنے الگ الگ ٹکڑوں کو ایک ہی ٹوکن سے ظاہر کر سکتا ہے۔

یہ کیسے کام کرتا ہے

BPE ٹوکنائزر کی ووکیبلری اس کے بیس سمبلز اور اس کے سیکھے ہر merge سے مل کر بنتی ہے۔ Hugging Face کی دستاویزات اصل GPT کی مثال دیتی ہیں: 478 بیس ٹوکن + 40,000 merges = 40,478۔ بنانے والا تربیت سے پہلے ہدف سائز چنتا ہے۔

ہم نے 2026-11-14 کو Hugging Face پر ہر ماڈل کی پِن شدہ tokenizer.json سے ووکیبلری پڑھی:

ٹوکنائزر ووکیبلری اندراجات اسپیشل ٹوکنز سمیت کل IDs
DeepSeek V4.1 Flash 128,000 129,280
GLM 5.3 154,820 154,856
Qwen3.8 27B 248,044 248,077
Gemma 4 26B A4B (Google بیس) 262,144 262,144
OpenAI o200k_base (حوالہ) 199,998 200,019

Gemma 4 کا ماڈل کارڈ 262K ووکیبلری بتاتا ہے، جو مطابقت رکھتا ہے۔ Qwen3.8 کا کارڈ 248,320 کا “padded” embedding سائز بتاتا ہے، جو اصل میں استعمال ہونے والی 248,077 IDs سے بڑا ہے۔

یہ کیوں اہم ہے

API صارف کے لیے ووکیبلری سائز فی لفظ لاگت کا ایک بالواسطہ اشارہ ہے۔ اصل فرق اس سے پڑتا ہے کہ merges کس متن پر تربیت یافتہ ہیں۔ ہمارے ٹوکنائزر ڈیٹاسیٹ میں Modern Standard Arabic کے انہی 39,037 الفاظ پر فی 100 الفاظ ٹوکنز کا موازنہ کریں:

  • DeepSeek V4.1 Flash، 128,000 اندراجات: 86,690 / 39,037 x 100 = 222.1
  • GLM 5.3، 154,820 اندراجات: 95,230 / 39,037 x 100 = 243.9
  • Qwen3.8 27B، 248,044 اندراجات: 71,424 / 39,037 x 100 = 183.0
  • Gemma 4، 262,144 اندراجات: 79,120 / 39,037 x 100 = 202.7

GLM 5.3 میں DeepSeek سے زیادہ اندراجات ہیں، پھر بھی اس متن پر وہ زیادہ ٹوکن لیتا ہے۔ Gemma میں سب سے زیادہ اندراجات ہیں، مگر وہ سب سے کمپیکٹ نہیں۔ انگریزی نثر پر پانچوں فی 100 الفاظ 127 سے 132 ٹوکنز کے درمیان رہتے ہیں، اس لیے وہاں ووکیبلری سائز سے بمشکل فرق پڑتا ہے۔

اصول: ووکیبلری کے عدد سے لاگت کا اندازہ لگانے کے بجائے اپنا متن ماڈل کے ٹوکنائزر سے ناپیں۔

BroadNet Inference پر

BroadNet ووکیبلری سائز شائع نہیں کرتا؛ اوپر کے اعداد پبلک ماڈل ریپوزٹریز سے ہیں۔ Gemma والی قطار Google کے بیس ٹوکنائزر پر مبنی ہے، اور ہم فرض کرتے ہیں کہ BroadNet کا Gemma 4 VL 26B بلڈ اسے ہی رکھتا ہے۔ اپنے پرامپٹس پر اثر دیکھنے کے لیے ٹوکن کاؤنٹر استعمال کریں، اور عربی کے لیے ماڈل چننے پر عربی کے لیے LLM کا انتخاب کے ساتھ فی لفظ ٹوکن اسٹڈی پڑھیں۔

عام سوالات

کیا بڑی ووکیبلری کا مطلب کم ٹوکن ہے؟

اکثر، مگر ہمیشہ نہیں۔ ہمارے 2026-11-14 کے ٹیسٹ میں Gemma 4 کی ووکیبلری سب سے بڑی (262,144) تھی، پھر بھی اس نے ایک عربی متن پر 347 ٹوکن لیے، جسے 248,044 اندراجات والے Qwen3.8 27B نے 316 میں لکھا۔

vocab_size اور ٹوکنائزر فائل میں فرق کیوں ہوتا ہے؟

ماڈل کنفیگ اکثر embedding ٹیبل کو کسی گول عدد تک پیڈ کرتے ہیں اور اسپیشل ٹوکنز کے لیے IDs محفوظ رکھتے ہیں۔ Qwen3.8 27B کا پیڈڈ سائز 248,320 ہے، جبکہ اس کی tokenizer.json 0 سے 248,076 تک کی IDs استعمال کرتی ہے (IDs 0 سے شروع ہوتی ہیں)، یعنی کل 248,077۔

کسی ماڈل کا ووکیبلری سائز کہاں ملے گا؟

ماڈل کی config.json میں vocab_size کے طور پر، یا اس کی tokenizer.json لوڈ کر کے اندراجات گن کر۔ کنفیگ کی ویلیو اکثر پیڈڈ ہوتی ہے، اس لیے زیرِ استعمال ٹوکنز کی درست گنتی ٹوکنائزر فائل دیتی ہے۔

Markdown میں پڑھیںChatGPT سے پوچھیںClaude سے پوچھیںPerplexity سے پوچھیں