---
title: "LLM میں ٹوکن کیا ہے؟ آسان الفاظ میں | BroadRouter"
description: "ٹوکن متن کی وہ اکائی ہے جسے LLM پڑھتا اور لکھتا ہے، اور جس سے API کا بل اور حدیں طے ہوتی ہیں۔ ٹوکنائزر متن کیسے تقسیم کرتے ہیں، الفاظ کا اندازہ، اور لاگت۔"
url: https://broadrouter.com/ur/glossary/token/
lang: ur
updated: 2026-11-14
publisher: BroadRouter (a BroadNet site); API by BroadNet Inference, https://inference.broadnet.ai
---

یہ صفحہ انگریزی سے AI کی مدد سے ترجمہ کیا گیا ہے۔ [انگریزی اصل پڑھیں](https://broadrouter.com/glossary/token/) (اپ ڈیٹ: 2026-11-14).

# ٹوکن (token)

اپ ڈیٹ 2026-11-14

ٹوکن متن کی وہ اکائی ہے جسے لینگویج ماڈل پڑھتا اور لکھتا ہے: کوئی لفظ، لفظ کا حصہ، رموزِ اوقاف کی کوئی علامت یا بائٹس کا سلسلہ، جو ماڈل کا ٹوکنائزر بناتا ہے۔ LLM API استعمال کو ٹوکنز میں گنتے ہیں، انہی میں حدیں لگاتے ہیں اور عموماً بل بھی بناتے ہیں۔

دوسرے نام: ٹوکن، ٹوکنز، LLM ٹوکن، ٹوکنائزیشن، token kya hai، token kya hota hai، LLM token، token، tokens، tokenization

ماڈل حروف یا الفاظ نہیں دیکھتے۔ وہ عددِ صحیح کا ایک سلسلہ دیکھتے ہیں، جن میں سے ہر ایک کسی مقررہ ذخیرۂ الفاظ کے متن کے ایک ٹکڑے کی نمائندگی کرتا ہے۔ یہی ٹکڑے ٹوکن ہیں۔

## یہ کیسے کام کرتا ہے

ماڈل کے پڑھنے سے پہلے ایک [ٹوکنائزر](https://broadrouter.com/ur/glossary/tokenizer/) متن کو تقسیم کرتا ہے۔ زیادہ تر جدید ماڈلز سب ورڈ طریقے استعمال کرتے ہیں، جیسے [byte pair encoding (BPE)](https://broadrouter.com/ur/glossary/bpe/)۔ عام الفاظ پورے رہتے ہیں؛ نایاب الفاظ حصوں میں ٹوٹ جاتے ہیں۔ Hugging Face کی مثال: `annoyingly` بدل کر `annoying` اور `ly` بن سکتا ہے۔

بائٹ لیول BPE، 256 بائٹ قدروں سے شروع ہوتا ہے، اس لیے کوئی بھی ان پٹ انکوڈ ہو سکتا ہے، ایموجی اور ہر رسم الخط سمیت۔

انگریزی کے لیے OpenAI کا موٹا اصول یہ ہے کہ ایک ٹوکن تقریباً 4 حروف یا 0.75 الفاظ کا ہوتا ہے، یعنی 100 ٹوکن تقریباً 75 الفاظ۔ پانچ موجودہ ٹوکنائزرز پر انگریزی نثر کی ہماری اپنی پیمائش میں فی 100 الفاظ تقریباً 129 ٹوکن، یا فی 1,000 الفاظ 1,290 ٹوکن آئے، جو موٹے اصول کے قریب ہے۔ دونوں تناسب صرف اندازے ہیں:

-   دوسری زبانیں، عربی سمیت، زیادہ تر انگریزی پر تربیت یافتہ ٹوکنائزرز پر اکثر فی لفظ زیادہ ٹوکنز میں بٹتی ہیں؛
-   کوڈ، اعداد اور خالی جگہیں نثر سے مختلف انداز میں ٹوکنائز ہوتی ہیں؛
-   ہر ماڈل فیملی کا اپنا ذخیرۂ الفاظ ہوتا ہے۔

بھیجنے سے پہلے اندازہ لگانے کے لیے متن [ٹوکن کاؤنٹر](https://broadrouter.com/tools/token-counter/) میں پیسٹ کریں۔ API ہر ریسپانس کے `usage` بلاک میں اصل گنتی بتاتا ہے:

```json
"usage": { "prompt_tokens": 1200, "completion_tokens": 340, "total_tokens": 1540 }
```

## یہ کیوں اہم ہے

LLM API کے تقریباً ہر عدد کے پیچھے اکائی ٹوکن ہی ہے:

-   **قیمت۔** فی ٹوکن API، دس لاکھ (1M) [ان پٹ اور آؤٹ پٹ ٹوکنز](https://broadrouter.com/ur/glossary/input-and-output-tokens/) کے حساب سے بل بناتے ہیں، اکثر الگ الگ شرحوں پر۔
-   **حدیں۔** [کانٹیکسٹ ونڈو](https://broadrouter.com/ur/glossary/context-window/) اور `max_tokens` ٹوکنز میں ناپے جاتے ہیں، اور کئی ریٹ لمٹس فی منٹ ٹوکن گنتی ہیں۔
-   **رفتار۔** جنریشن کی رفتار [فی سیکنڈ ٹوکنز](https://broadrouter.com/ur/glossary/tokens-per-second/) میں بتائی جاتی ہے۔

ایک ہی متن مختلف ماڈلز پر مختلف تعداد کے ٹوکن ہو سکتا ہے، خاص طور پر عربی میں۔ [ٹوکنائزر کارکردگی ڈیٹا سیٹ](https://broadrouter.com/data/tokenizer-efficiency/) ہر ماڈل کے لیے انگریزی، عربی اور کوڈ میں فی 100 الفاظ ٹوکن ناپتا ہے۔

## BroadNet Inference پر

چیٹ ماڈلز کی قیمت فی دس لاکھ ٹوکن ہے۔ [DeepSeek V4.1 Flash](https://broadrouter.com/ur/models/deepseek-v4.1-flash/) کے لیے نیا ان پٹ $0.175، [کیش شدہ ان پٹ](https://broadrouter.com/ur/glossary/cached-input-tokens/) $0.0055 اور آؤٹ پٹ $0.52 کا ہے۔ [BroadNet Gemma 4 VL 26B](https://broadrouter.com/ur/models/gemma-4-vl-26b/) کا ان پٹ $0.10 اور آؤٹ پٹ $0.22 ہے۔ ہر ماڈل کی شرحیں [قیمتوں کے صفحے](https://broadrouter.com/ur/pricing/) پر ہیں۔

مقررہ قیمت والے پلان پر ٹوکنز کا میٹر ہی نہیں ہوتا: DeepSeek V4.1 Flash کے سیشن میں کوئی ٹوکن میٹر نہیں، اور عملی حد رفتار ہے، تقریباً 100 ٹوکن فی سیکنڈ۔ اسپیچ ٹو ٹیکسٹ ماڈلز کا بل فی ٹوکن نہیں، فی آڈیو منٹ بنتا ہے۔

## عام غلطیاں

-   غیر انگریزی متن کی لاگت الفاظ کی گنتی سے لگانا۔ حقیقی نمونوں پر `usage` سے ناپیں۔
-   یہ بھول جانا کہ ریزننگ ماڈلز سوچنے پر بھی آؤٹ پٹ ٹوکن خرچ کرتے ہیں۔ دیکھیں [ریزننگ ٹوکنز](https://broadrouter.com/ur/glossary/reasoning-tokens/)۔

## عام سوالات

### 1,000 ٹوکن میں کتنے الفاظ ہوتے ہیں؟

انگریزی نثر میں، پانچ ٹوکنائزرز پر BroadRouter کی اپنی پیمائش کے مطابق تقریباً 775 الفاظ (1,000 انگریزی الفاظ تقریباً 1,290 ٹوکن بنے)۔ OpenAI کا موٹا اصول، کہ ایک ٹوکن تقریباً تین چوتھائی لفظ ہوتا ہے، 750 دیتا ہے۔ دوسری زبانوں، کوڈ اور دوسرے ماڈلز کے ٹوکنائزرز میں تناسب مختلف ہوتا ہے، اس لیے جب درست عدد اہم ہو تو ماڈل کے اپنے ٹوکنائزر سے گنیں۔

### کیا تصاویر اور آڈیو بھی ٹوکنز میں گنے جاتے ہیں؟

وژن ماڈل کو بھیجی گئی تصاویر ان پٹ ٹوکنز میں بدلی جاتی ہیں، اور بڑی تصاویر عموماً زیادہ ٹوکن لیتی ہیں۔ اسپیچ ٹو ٹیکسٹ API کی قیمت اکثر فی ٹوکن کے بجائے فی آڈیو منٹ ہوتی ہے۔

### ایک ہی متن دو ماڈلز پر مختلف تعداد کے ٹوکن کیوں لیتا ہے؟

ہر ماڈل فیملی کا اپنا ٹوکنائزر اور ذخیرۂ الفاظ ہوتا ہے، اس لیے ایک ہی جملہ مختلف تعداد کے ٹکڑوں میں تقسیم ہو سکتا ہے۔

## یہ بھی دیکھیں

-   [ان پٹ اور آؤٹ پٹ ٹوکن (input and output tokens)](https://broadrouter.com/ur/glossary/input-and-output-tokens/) (اصطلاح)
-   [کیش شدہ ان پٹ ٹوکن (cached input tokens)](https://broadrouter.com/ur/glossary/cached-input-tokens/) (اصطلاح)
-   [کانٹیکسٹ ونڈو (context window)](https://broadrouter.com/ur/glossary/context-window/) (اصطلاح)
-   [ٹوکن فی سیکنڈ (tokens per second، TPS)](https://broadrouter.com/ur/glossary/tokens-per-second/) (اصطلاح)
-   [ٹوکنائزر (tokenizer)](https://broadrouter.com/ur/glossary/tokenizer/) (اصطلاح)
-   [بائٹ پیئر انکوڈنگ (byte pair encoding، BPE)](https://broadrouter.com/ur/glossary/bpe/) (اصطلاح)
-   [ووکیبلری سائز (vocabulary size)](https://broadrouter.com/ur/glossary/vocabulary-size/) (اصطلاح)
-   [لاگ پروبز (logprobs)](https://broadrouter.com/ur/glossary/logprobs/) (اصطلاح)
-   [chat completions اسٹریم کریں اور ٹوٹے کنکشن سنبھالیں](https://broadrouter.com/ur/guides/streaming-chat-completions/) (گائیڈ)
-   [کیش شدہ ان پٹ ٹوکن کیا ہیں: LLM API کا بل کیسے کم کریں](https://broadrouter.com/ur/blog/cached-input-tokens-explained/) (مضمون)
-   [مقررہ قیمت بمقابلہ فی ٹوکن ادائیگی والا LLM API: بریک ایون کا حساب](https://broadrouter.com/ur/blog/flat-rate-vs-pay-per-token-llm-api/) (مضمون)

اسے اپنے اصل کام پر آزمائیں۔ نئے اکاؤنٹس Gemma اور ٹرانسکرپشن کے لیے US$5 کے کریڈٹ سے شروع ہوتے ہیں۔ DeepSeek، GLM، اور Qwen3.8 کے لیے ٹاپ اپ ضروری ہے۔

[شروع کریں](https://inference.broadnet.ai/account/?utm_source=broadrouter&utm_medium=referral&utm_campaign=ur-glossary-token&utm_content=page-cta) ·

**ذرائع**

-   [Hugging Face Transformers، ٹوکنائزیشن الگورتھم (BPE، Unigram، WordPiece)](https://huggingface.co/docs/transformers/tokenizer_summary)
-   [OpenAI، بنیادی تصورات (ٹوکن کا موٹا اصول)](https://developers.openai.com/api/docs/concepts)
-   [BroadNet Inference کی مشین سے پڑھی جانے والی قیمتیں (pricing.json) (انگریزی میں)](https://inference.broadnet.ai/pricing.json?utm_source=broadrouter&utm_medium=referral&utm_campaign=ur-glossary-token&utm_content=sources)
