---
title: "ٹوکنائزر کیا ہے؟ LLM متن کو ٹوکنز میں کیسے بانٹتے ہیں"
description: "ٹوکنائزر متن کو ان ٹوکن IDs میں بدلتا ہے جنہیں LLM پڑھتا ہے۔ یہ کیسے کام کرتا ہے اور ایک ہی متن ہر ماڈل پر مختلف ٹوکنز کیوں دیتا ہے، ناپے گئے عربی ڈیٹا کے ساتھ۔"
url: https://broadrouter.com/ur/glossary/tokenizer/
lang: ur
updated: 2026-11-16
publisher: BroadRouter (a BroadNet site); API by BroadNet Inference, https://inference.broadnet.ai
---

یہ صفحہ انگریزی سے AI کی مدد سے ترجمہ کیا گیا ہے۔ [انگریزی اصل پڑھیں](https://broadrouter.com/glossary/tokenizer/) (اپ ڈیٹ: 2026-11-16).

# ٹوکنائزر (tokenizer)

اپ ڈیٹ 2026-11-16

ٹوکنائزر وہ جزو ہے جو متن کو انٹیجر ٹوکن IDs کی اس ترتیب میں بدلتا ہے جسے لینگویج ماڈل پڑھتا ہے، اور تیار شدہ IDs کو واپس متن میں بدلتا ہے۔ ہر ماڈل اپنے ٹوکنائزر کے ساتھ آتا ہے، اس لیے ایک ہی متن مختلف ماڈلز پر مختلف تعداد میں ٹوکنز بنا سکتا ہے۔

دوسرے نام: ٹوکنائزر، ٹوکنائزیشن، tokenizer kya hai، tokenizer kya hota hai، LLM tokenizer، tokenizer.json، subword tokenizer، text tokenizer

ٹوکنائزر طے کرتا ہے کہ آپ کا متن کتنے [ٹوکنز](https://broadrouter.com/ur/glossary/token/) بنے گا، اور یوں کانٹیکسٹ ونڈو اور بل کا کتنا حصہ استعمال کرے گا۔

## یہ کیسے کام کرتا ہے

ٹوکنائزر کے دو حصے ہیں: ایک مقررہ vocabulary جو متن کے ٹکڑوں کو انٹیجر IDs سے جوڑتی ہے، اور متن کو ان ٹکڑوں میں بانٹنے کے اصول۔ Hugging Face کی دستاویزات عام الگورتھمز کو subword طریقے بتاتی ہیں: عام الفاظ پورے رہتے ہیں اور نایاب الفاظ چھوٹے، جانے پہچانے ٹکڑوں میں بٹ جاتے ہیں، اس لیے “annoyingly” بن سکتا ہے “annoying” + “ly”۔ آج کے زیادہ تر LLM [byte pair encoding](https://broadrouter.com/ur/glossary/bpe/) یا اس کی کوئی قسم استعمال کرتے ہیں۔

انکوڈنگ تین مراحل میں چلتی ہے:

1.  **پری ٹوکنائز۔** اسپیس، رموزِ اوقاف اور ہندسوں پر بانٹنا۔
2.  **ٹکڑوں کو IDs سے جوڑنا۔** سیکھے ہوئے merges لاگو کرنا اور ہر ٹکڑا vocabulary میں دیکھنا۔
3.  **خصوصی ٹوکنز شامل کرنا۔** چیٹ ٹیمپلیٹ پیغامات کو role markers میں لپیٹتا ہے، جو بھی گنے جاتے ہیں۔

ڈیکوڈنگ مرحلہ 2 کو الٹتی ہے۔ اوپن ویٹ ماڈلز کے لیے یہ سب ماڈل ریپو کی `tokenizer.json` فائل میں ہوتا ہے۔

## یہ کیوں اہم ہے

مختلف ٹوکنائزرز ایک ہی متن کے لیے مختلف گنتی دیتے ہیں۔ ہم نے ڈیٹاسیٹ کے متون کو ہر ماڈل کے پِن کیے ہوئے ٹوکنائزر سے انکوڈ کیا (انگریزی: Wikipedia اور Project Gutenberg کی نثر؛ عربی: 2,009 FLORES-200 جملے اور تین Wikipedia لیڈز؛ ناپا گیا 2026-11-15؛ فی 100 الفاظ ٹوکنز = ٹوکنز / الفاظ x 100):

| متن | DeepSeek V4.1 Flash | GLM 5.3 | Qwen3.8 27B | Gemma 4 | GPT o200k |
| --- | --- | --- | --- | --- | --- |
| انگریزی نثر، 1,183 الفاظ | 1,507 → 127.4 | 1,526 → 129.0 | 1,561 → 132.0 | 1,537 → 129.9 | 1,501 → 126.9 |
| عربی MSA، 39,037 الفاظ | 86,690 → 222.1 | 95,230 → 243.9 | 71,424 → 183.0 | 79,120 → 202.7 | 73,593 → 188.5 |

انگریزی ہر جگہ قریب قریب برابر ہے۔ عربی نہیں: ایک ہی متن کے لیے GLM 5.3 کو Qwen3.8 27B سے 95,230 / 71,424 = 1.33 گنا ٹوکنز چاہئیں۔ فی ٹوکن قیمت پر یہ فرق سیدھا لاگت کا فرق ہے، اور اس سے یہ بھی بدلتا ہے کہ [کانٹیکسٹ ونڈو](https://broadrouter.com/ur/glossary/context-window/) میں کتنی عربی آتی ہے۔ Gemma کالم Google کا بنیادی Gemma 4 ٹوکنائزر استعمال کرتا ہے؛ BroadNet کا بلڈ اسی ماڈل پر مبنی ہے، اور ہم فرض کرتے ہیں کہ اس میں وہی ٹوکنائزر ہے۔ CSV اور JSON ڈاؤن لوڈز کے ساتھ ہر ماڈل کے مکمل اعداد [ٹوکنائزر ایفیشنسی ڈیٹاسیٹ](https://broadrouter.com/data/tokenizer-efficiency/) میں ہیں۔

## BroadNet Inference پر

BroadNet استعمال کے مطابق ادائیگی والی چیٹ کا بل [ان پٹ اور آؤٹ پٹ ٹوکنز](https://broadrouter.com/ur/glossary/input-and-output-tokens/) سے لیتا ہے اور ہر جواب کے `usage` آبجیکٹ میں گنتی بتاتا ہے، اس لیے مستند عدد وہی ہے جو API لوٹاتا ہے۔ بھیجنے سے پہلے اندازے کے لیے متن [ٹوکن کاؤنٹر](https://broadrouter.com/tools/token-counter/) یا [عربی ٹوکن کاؤنٹر](https://broadrouter.com/tools/arabic-token-counter/) میں پیسٹ کریں، جو وہی پِن کی ہوئی ٹوکنائزر فائلیں لوڈ کرتے ہیں۔ مکمل پیمائش [عربی اور انگریزی میں فی لفظ ٹوکنز](https://broadrouter.com/ur/blog/tokens-per-word-arabic-english/) میں ہے۔

## عام غلطیاں

-   ایک ماڈل کے ٹوکنائزر سے گننا اور دوسرے پر بل لینا۔ اسی ماڈل کا ٹوکنائزر استعمال کریں جسے آپ کال کرتے ہیں۔
-   چیٹ ٹیمپلیٹ بھول جانا۔ Role markers اور سسٹم پرامپٹس ایسے ٹوکنز شامل کرتے ہیں جو سادہ متن کی گنتی میں چھوٹ جاتے ہیں۔

## عام سوالات

### کیا تمام LLM ایک ہی ٹوکنائزر استعمال کرتے ہیں؟

نہیں۔ ہر ماڈل فیملی اپنا ٹوکنائزر، اپنی vocabulary کے ساتھ، ٹرین کرتی ہے۔ ہمارے ٹوکنائزر ڈیٹاسیٹ میں عربی کے وہی 39,037 الفاظ Qwen3.8 27B پر 71,424 ٹوکنز تھے اور GLM 5.3 پر 95,230۔

### کسی ماڈل کا ٹوکنائزر کہاں ملتا ہے؟

اوپن ویٹ ماڈلز کے لیے یہ ماڈل کے Hugging Face ریپو میں tokenizer.json فائل ہے۔ ٹوکنز ٹھیک ٹھیک گننے کے لیے اسے Hugging Face tokenizers لائبریری سے لوڈ کریں۔

### کیا ٹوکنائزر اور ٹوکنائزیشن ایک ہی ہیں؟

ٹوکنائزیشن متن کو ٹوکنز میں بانٹنے کا عمل ہے۔ ٹوکنائزر وہ فائل اور کوڈ ہے جو کسی ایک مخصوص ماڈل کے لیے یہ کام کرتا ہے۔

## یہ بھی دیکھیں

-   [ٹوکن (token)](https://broadrouter.com/ur/glossary/token/) (اصطلاح)
-   [بائٹ پیئر انکوڈنگ (byte pair encoding، BPE)](https://broadrouter.com/ur/glossary/bpe/) (اصطلاح)
-   [ووکیبلری سائز (vocabulary size)](https://broadrouter.com/ur/glossary/vocabulary-size/) (اصطلاح)
-   [ان پٹ اور آؤٹ پٹ ٹوکن (input and output tokens)](https://broadrouter.com/ur/glossary/input-and-output-tokens/) (اصطلاح)
-   [کانٹیکسٹ ونڈو (context window)](https://broadrouter.com/ur/glossary/context-window/) (اصطلاح)
-   [چیٹ ٹیمپلیٹ (chat template)](https://broadrouter.com/ur/glossary/chat-template/) (اصطلاح)
-   [Unicode نارملائزیشن (Unicode normalization)](https://broadrouter.com/ur/glossary/unicode-normalization/) (اصطلاح)
-   [BroadNet Inference کے ساتھ OpenAI Python SDK استعمال کریں](https://broadrouter.com/ur/guides/openai-python-sdk/) (گائیڈ)
-   [عربی بمقابلہ انگریزی میں فی لفظ ٹوکن: عربی مہنگی کیوں پڑتی ہے](https://broadrouter.com/ur/blog/tokens-per-word-arabic-english/) (مضمون)
-   [LLM درخواست بھیجنے سے پہلے ٹوکن کیسے گنیں](https://broadrouter.com/ur/blog/count-tokens-before-sending/) (مضمون)
-   [عربی پرامپٹ انجینئرنگ: register، RTL، ہندسے اور ملا جلا متن](https://broadrouter.com/ur/blog/arabic-prompt-engineering/) (مضمون)

اسے اپنے اصل کام پر آزمائیں۔ نئے اکاؤنٹس Gemma اور ٹرانسکرپشن کے لیے US$5 کے کریڈٹ سے شروع ہوتے ہیں۔ DeepSeek، GLM، اور Qwen3.8 کے لیے ٹاپ اپ ضروری ہے۔

[شروع کریں](https://inference.broadnet.ai/account/?utm_source=broadrouter&utm_medium=referral&utm_campaign=ur-glossary-tokenizer&utm_content=page-cta) ·

**ذرائع**

-   [Hugging Face Transformers، ٹوکنائزیشن الگورتھمز (جانچ: 2026-11-16)](https://huggingface.co/docs/transformers/tokenizer_summary)
-   [Hugging Face ماڈل ریپو، Qwen/Qwen3.8-27B (جانچ: 2026-11-16)](https://huggingface.co/Qwen/Qwen3.8-27B)
-   [Hugging Face ماڈل ریپو، deepseek-ai/DeepSeek-V4.1-Flash (جانچ: 2026-11-16)](https://huggingface.co/deepseek-ai/DeepSeek-V4.1-Flash)
-   [Hugging Face ماڈل ریپو، google/gemma-4-26B-A4B-it (جانچ: 2026-11-16)](https://huggingface.co/google/gemma-4-26B-A4B-it)
