---
title: "LLM ٹوکنائزر میں ووکیبلری سائز کیا ہے؟ | BroadRouter"
description: "ووکیبلری سائز بتاتا ہے کہ ماڈل کتنے الگ ٹوکن جانتا ہے۔ DeepSeek، GLM، Qwen اور Gemma کے ناپے گئے سائز، اور بڑا ہونے کا مطلب ہمیشہ کم ٹوکن کیوں نہیں۔"
url: https://broadrouter.com/ur/glossary/vocabulary-size/
lang: ur
updated: 2026-11-16
publisher: BroadRouter (a BroadNet site); API by BroadNet Inference, https://inference.broadnet.ai
---

یہ صفحہ انگریزی سے AI کی مدد سے ترجمہ کیا گیا ہے۔ [انگریزی اصل پڑھیں](https://broadrouter.com/glossary/vocabulary-size/) (اپ ڈیٹ: 2026-11-16).

# ووکیبلری سائز (vocabulary size)

اپ ڈیٹ 2026-11-16

ووکیبلری سائز کسی لینگویج ماڈل کے ٹوکنائزر میں الگ الگ ٹوکنز کی تعداد ہے، ہر ایک کی اپنی ID اور embedding کے ساتھ۔ بڑی ووکیبلری عام متن کو کم ٹوکنز میں لکھ سکتی ہے، مگر اس سے embedding اور آؤٹ پٹ لیئرز بڑی ہوتی ہیں، اور یہ صرف اسی متن پر مدد کرتی ہے جس پر یہ تربیت یافتہ ہے۔

دوسرے نام: ووکیبلری سائز، ٹوکنائزر ووکیبلری، ٹوکن ووکیبلری، vocab size kya hai، vocabulary size kya hai، vocab size، vocab\_size، tokenizer vocabulary، token vocabulary

ووکیبلری سائز بتاتا ہے کہ ماڈل متن کے کتنے الگ الگ ٹکڑوں کو ایک ہی [ٹوکن](https://broadrouter.com/ur/glossary/token/) سے ظاہر کر سکتا ہے۔

## یہ کیسے کام کرتا ہے

[BPE](https://broadrouter.com/ur/glossary/bpe/) ٹوکنائزر کی ووکیبلری اس کے بیس سمبلز اور اس کے سیکھے ہر merge سے مل کر بنتی ہے۔ Hugging Face کی دستاویزات اصل GPT کی مثال دیتی ہیں: 478 بیس ٹوکن + 40,000 merges = 40,478۔ بنانے والا تربیت سے پہلے ہدف سائز چنتا ہے۔

ہم نے 2026-11-14 کو Hugging Face پر ہر ماڈل کی پِن شدہ `tokenizer.json` سے ووکیبلری پڑھی:

| ٹوکنائزر | ووکیبلری اندراجات | اسپیشل ٹوکنز سمیت کل IDs |
| --- | --- | --- |
| DeepSeek V4.1 Flash | 128,000 | 129,280 |
| GLM 5.3 | 154,820 | 154,856 |
| Qwen3.8 27B | 248,044 | 248,077 |
| Gemma 4 26B A4B (Google بیس) | 262,144 | 262,144 |
| OpenAI o200k\_base (حوالہ) | 199,998 | 200,019 |

Gemma 4 کا ماڈل کارڈ 262K ووکیبلری بتاتا ہے، جو مطابقت رکھتا ہے۔ Qwen3.8 کا کارڈ 248,320 کا “padded” embedding سائز بتاتا ہے، جو اصل میں استعمال ہونے والی 248,077 IDs سے بڑا ہے۔

## یہ کیوں اہم ہے

API صارف کے لیے ووکیبلری سائز فی لفظ لاگت کا ایک بالواسطہ اشارہ ہے۔ اصل فرق اس سے پڑتا ہے کہ merges کس متن پر تربیت یافتہ ہیں۔ ہمارے [ٹوکنائزر ڈیٹاسیٹ](https://broadrouter.com/data/tokenizer-efficiency/) میں Modern Standard Arabic کے انہی 39,037 الفاظ پر فی 100 الفاظ ٹوکنز کا موازنہ کریں:

-   DeepSeek V4.1 Flash، 128,000 اندراجات: 86,690 / 39,037 x 100 = 222.1
-   GLM 5.3، 154,820 اندراجات: 95,230 / 39,037 x 100 = 243.9
-   Qwen3.8 27B، 248,044 اندراجات: 71,424 / 39,037 x 100 = 183.0
-   Gemma 4، 262,144 اندراجات: 79,120 / 39,037 x 100 = 202.7

GLM 5.3 میں DeepSeek سے زیادہ اندراجات ہیں، پھر بھی اس متن پر وہ زیادہ ٹوکن لیتا ہے۔ Gemma میں سب سے زیادہ اندراجات ہیں، مگر وہ سب سے کمپیکٹ نہیں۔ انگریزی نثر پر پانچوں فی 100 الفاظ 127 سے 132 ٹوکنز کے درمیان رہتے ہیں، اس لیے وہاں ووکیبلری سائز سے بمشکل فرق پڑتا ہے۔

اصول: ووکیبلری کے عدد سے لاگت کا اندازہ لگانے کے بجائے اپنا متن ماڈل کے [ٹوکنائزر](https://broadrouter.com/ur/glossary/tokenizer/) سے ناپیں۔

## BroadNet Inference پر

BroadNet ووکیبلری سائز شائع نہیں کرتا؛ اوپر کے اعداد پبلک ماڈل ریپوزٹریز سے ہیں۔ Gemma والی قطار Google کے بیس ٹوکنائزر پر مبنی ہے، اور ہم فرض کرتے ہیں کہ BroadNet کا Gemma 4 VL 26B بلڈ اسے ہی رکھتا ہے۔ اپنے پرامپٹس پر اثر دیکھنے کے لیے [ٹوکن کاؤنٹر](https://broadrouter.com/tools/token-counter/) استعمال کریں، اور عربی کے لیے ماڈل چننے پر [عربی کے لیے LLM کا انتخاب](https://broadrouter.com/ur/blog/choosing-an-llm-for-arabic/) کے ساتھ [فی لفظ ٹوکن اسٹڈی](https://broadrouter.com/ur/blog/tokens-per-word-arabic-english/) پڑھیں۔

## عام سوالات

### کیا بڑی ووکیبلری کا مطلب کم ٹوکن ہے؟

اکثر، مگر ہمیشہ نہیں۔ ہمارے 2026-11-14 کے ٹیسٹ میں Gemma 4 کی ووکیبلری سب سے بڑی (262,144) تھی، پھر بھی اس نے ایک عربی متن پر 347 ٹوکن لیے، جسے 248,044 اندراجات والے Qwen3.8 27B نے 316 میں لکھا۔

### vocab\_size اور ٹوکنائزر فائل میں فرق کیوں ہوتا ہے؟

ماڈل کنفیگ اکثر embedding ٹیبل کو کسی گول عدد تک پیڈ کرتے ہیں اور اسپیشل ٹوکنز کے لیے IDs محفوظ رکھتے ہیں۔ Qwen3.8 27B کا پیڈڈ سائز 248,320 ہے، جبکہ اس کی tokenizer.json 0 سے 248,076 تک کی IDs استعمال کرتی ہے (IDs 0 سے شروع ہوتی ہیں)، یعنی کل 248,077۔

### کسی ماڈل کا ووکیبلری سائز کہاں ملے گا؟

ماڈل کی config.json میں vocab\_size کے طور پر، یا اس کی tokenizer.json لوڈ کر کے اندراجات گن کر۔ کنفیگ کی ویلیو اکثر پیڈڈ ہوتی ہے، اس لیے زیرِ استعمال ٹوکنز کی درست گنتی ٹوکنائزر فائل دیتی ہے۔

## یہ بھی دیکھیں

-   [ٹوکنائزر (tokenizer)](https://broadrouter.com/ur/glossary/tokenizer/) (اصطلاح)
-   [بائٹ پیئر انکوڈنگ (byte pair encoding، BPE)](https://broadrouter.com/ur/glossary/bpe/) (اصطلاح)
-   [ٹوکن (token)](https://broadrouter.com/ur/glossary/token/) (اصطلاح)
-   [کانٹیکسٹ ونڈو (context window)](https://broadrouter.com/ur/glossary/context-window/) (اصطلاح)
-   [عربی بمقابلہ انگریزی میں فی لفظ ٹوکن: عربی مہنگی کیوں پڑتی ہے](https://broadrouter.com/ur/blog/tokens-per-word-arabic-english/) (مضمون)
-   [عربی کے لیے LLM API کیسے چنیں: کیا کیا ٹیسٹ کریں](https://broadrouter.com/ur/blog/choosing-an-llm-for-arabic/) (مضمون)

اسے اپنے اصل کام پر آزمائیں۔ نئے اکاؤنٹس Gemma اور ٹرانسکرپشن کے لیے US$5 کے کریڈٹ سے شروع ہوتے ہیں۔ DeepSeek، GLM، اور Qwen3.8 کے لیے ٹاپ اپ ضروری ہے۔

[شروع کریں](https://inference.broadnet.ai/account/?utm_source=broadrouter&utm_medium=referral&utm_campaign=ur-glossary-vocabulary-size&utm_content=page-cta) ·

**ذرائع**

-   [Hugging Face Transformers، ٹوکنائزیشن الگورتھمز (ووکیبلری سائز = بیس + merges)](https://huggingface.co/docs/transformers/tokenizer_summary)
-   [Hugging Face ماڈل کارڈ، google/gemma-4-26B-A4B-it (262K ووکیبلری)](https://huggingface.co/google/gemma-4-26B-A4B-it)
-   [Hugging Face ماڈل کارڈ، Qwen/Qwen3.8-27B (248,320 پیڈڈ embedding)](https://huggingface.co/Qwen/Qwen3.8-27B)
-   [Hugging Face ماڈل ریپوزٹری، zai-org/GLM-5.3 (GLM tokenizer.json کا ماخذ)](https://huggingface.co/zai-org/GLM-5.3)
