---
title: "LLM تھروپٹ کیا ہے؟ پورے سسٹم کے ٹوکن فی سیکنڈ | BroadRouter"
description: "LLM تھروپٹ وہ کل کام ہے جو سسٹم تمام بیک وقت درخواستوں میں ہر سیکنڈ مکمل کرتا ہے، ٹوکن یا درخواستیں فی سیکنڈ میں۔ یہ فی اسٹریم رفتار سے کیسے مختلف ہے۔"
url: https://broadrouter.com/ur/glossary/throughput/
lang: ur
updated: 2026-11-14
publisher: BroadRouter (a BroadNet site); API by BroadNet Inference, https://inference.broadnet.ai
---

یہ صفحہ انگریزی سے AI کی مدد سے ترجمہ کیا گیا ہے۔ [انگریزی اصل پڑھیں](https://broadrouter.com/glossary/throughput/) (اپ ڈیٹ: 2026-11-14).

# تھروپٹ (throughput)

اپ ڈیٹ 2026-11-14

LLM سرونگ میں تھروپٹ وہ کل کام ہے جو کوئی سسٹم تمام بیک وقت درخواستوں میں فی اکائی وقت مکمل کرتا ہے، عموماً آؤٹ پٹ ٹوکن فی سیکنڈ یا درخواستیں فی سیکنڈ میں ناپا جاتا ہے۔ یہ فی اسٹریم رفتار سے مختلف ہے، جو بتاتی ہے کہ ایک درخواست کو اس کے ٹوکن کتنی تیزی سے ملتے ہیں۔

دوسرے نام: تھروپٹ، سسٹم تھروپٹ، کل ٹوکن فی سیکنڈ، throughput kya hai، LLM throughput kya hota hai، throughput، system throughput، aggregate throughput، total tokens per second، requests per second، RPS

[ٹوکن فی سیکنڈ](https://broadrouter.com/ur/glossary/tokens-per-second/) بتاتا ہے کہ ایک جواب کتنی تیزی سے اسٹریم ہوتا ہے۔ تھروپٹ بتاتا ہے کہ پورا سسٹم کتنا کام نمٹاتا ہے۔

## یہ کیسے کام کرتا ہے

NVIDIA کی بینچ مارکنگ گائیڈ دونوں کو الگ کرتی ہے۔ **Total TPS per system** ہے “total output token throughput across all simultaneous requests” (ترجمہ: تمام بیک وقت درخواستوں کا کل آؤٹ پٹ ٹوکن تھروپٹ): تمام آؤٹ پٹ ٹوکنز کو پہلی درخواست سے آخری جواب تک کے وقت سے تقسیم کیا جاتا ہے۔ **TPS per user** ایک درخواست کی آؤٹ پٹ لمبائی کو اس کے شروع سے آخر تک کے وقت سے تقسیم کرنا ہے۔ **Requests per second (RPS)** ٹوکنز کے بجائے مکمل ہونے والی درخواستیں گنتا ہے۔

سب سے اہم سطر: “As the number of concurrent requests increases, total system TPS increases while TPS per user decreases.” (ترجمہ: بیک وقت درخواستوں کی تعداد بڑھنے پر کل سسٹم TPS بڑھتا ہے جبکہ TPS per user گھٹتا ہے۔) کل TPS تب تک چڑھتا ہے جب تک GPU پوری طرح بھر نہ جائے، اور اس کے بعد گر بھی سکتا ہے۔

سرور پر حد عموماً میموری ہوتی ہے۔ PagedAttention مقالہ سمجھاتا ہے کہ اونچے تھروپٹ پر سرونگ “requires batching sufficiently many requests at a time” (ترجمہ: ایک وقت میں کافی درخواستوں کو بیچ کرنے کا تقاضا کرتی ہے)، اور ہر درخواست کا [KV کیش](https://broadrouter.com/ur/glossary/kv-cache/) طے کرتا ہے کہ کتنی سما سکتی ہیں۔ بہتر میموری مینجمنٹ سے vLLM اسی لیٹنسی پر پرانے سسٹمز کے مقابلے میں 2 سے 4 گنا تھروپٹ تک پہنچا۔

## یہ کیوں اہم ہے

API استعمال کرنے والے کے لیے تھروپٹ پائپ کے آپ والے حصے کی بات ہے: آپ ایک گھنٹے میں کتنی دستاویزات پروسیس کر سکتے ہیں، یا کتنے ایجنٹس بیک وقت کام کر سکتے ہیں۔ یہ ایک سادہ اصول پر چلتا ہے:

```text
your throughput ≈ concurrent requests × per-stream tokens per second
```

یعنی: آپ کا تھروپٹ ≈ بیک وقت درخواستیں × فی اسٹریم ٹوکن فی سیکنڈ۔

یہ تبھی تک درست ہے جب تک لوڈ بڑھانے پر بھی فراہم کنندہ فی اسٹریم رفتار مستحکم رکھے۔ اسے ناپیں؛ فرض نہ کریں۔

تھروپٹ کی حد آپ کی [کنکرنسی](https://broadrouter.com/ur/glossary/concurrency/) کی حد اور ریٹ لمٹس طے کرتی ہیں، اکیلا ماڈل نہیں۔ اگر کوئی کام سست ہے تو دیکھیں کہ جو درخواستیں متوازی چل سکتی تھیں، کہیں وہ ایک کے بعد ایک تو نہیں چل رہیں۔

## BroadNet Inference پر

BroadNet ہر کلید کی حدیں شائع کرتا ہے، سسٹم تھروپٹ کا کوئی عدد نہیں۔ اس کا پلانز صفحہ پلان کے ماڈل DeepSeek V4.1 Flash کے لیے تقریباً 100 ٹوکن فی سیکنڈ کی عام رفتار بتاتا ہے؛ دوسرے ماڈلز کی کوئی رفتار شائع نہیں۔ مثال کے طور پر، اگر ہر اسٹریم اسی عدد پر چلے:

| آپشن | متوازی درخواستیں | رفتار برقرار رہے تو بالائی حد |
| --- | --- | --- |
| استعمال کے مطابق ادائیگی والی کلید | 4 (اور فی منٹ 30 درخواستیں) | 4 اسٹریمز × ہر ایک تقریباً 100 ٹوکن فی سیکنڈ |
| گھنٹے والی کلید (Gemma 4 VL 26B) | 1 اسٹریم، فی منٹ 300,000 ٹوکن | شائع نہیں؛ خود ناپیں |
| مقررہ قیمت والے پلان کا سیشن | ایک وقت میں 1 درخواست | تقریباً 100 ٹوکن فی سیکنڈ |

مقررہ قیمت والے پلان کو بڑھانے کے لیے سیشن شامل کریں، متوازی کام کرنے والے ہر ایجنٹ کے لیے ایک؛ دیکھیں [لامحدود LLM API سیشن](https://broadrouter.com/ur/guides/unlimited-llm-api-sessions/) اور [متوازی کوڈنگ ایجنٹس چلانا](https://broadrouter.com/ur/blog/run-parallel-coding-agents-flat-rate/)۔ وہ رفتار DeepSeek V4.1 Flash کے لیے BroadNet کا بتایا ہوا عام عدد ہے، دوسرے ماڈلز کے لیے یا لوڈ کے دوران کوئی ضمانت نہیں۔

## عام سوالات

### کیا تھروپٹ اور ٹوکن فی سیکنڈ ایک ہی ہیں؟

صرف سسٹم کی سطح پر۔ فی اسٹریم ٹوکن فی سیکنڈ وہ رفتار ہے جو ایک درخواست کو ملتی ہے۔ تھروپٹ تمام اسٹریمز کو جمع کرتا ہے۔ NVIDIA انہیں TPS per user اور total TPS per system کہتا ہے۔

### LLM API سے زیادہ تھروپٹ کیسے حاصل کریں؟

اپنی کنکرنسی اور ریٹ لمٹس تک زیادہ درخواستیں متوازی چلائیں، اور ہر درخواست مختصر رکھیں۔ اگر ہر درخواست پہلے سے اپنا سلاٹ پوری طرح استعمال کر رہی ہے تو مزید سلاٹس، کلیدیں یا سیشن ہی آگے بڑھنے کا راستہ ہیں۔

### کیا زیادہ تھروپٹ کا مطلب کم لیٹنسی ہے؟

نہیں۔ تھروپٹ تمام درخواستوں میں فی سیکنڈ کل کام ہے؛ لیٹنسی یہ ہے کہ ایک درخواست میں کتنا وقت لگتا ہے۔ بیک وقت زیادہ درخواستیں چلانے سے کل تھروپٹ بڑھتا ہے لیکن ہر درخواست سست ہو سکتی ہے، اسی لیے NVIDIA، TPS per user اور total TPS الگ الگ بتاتا ہے۔

## یہ بھی دیکھیں

-   [ٹوکن فی سیکنڈ (tokens per second، TPS)](https://broadrouter.com/ur/glossary/tokens-per-second/) (اصطلاح)
-   [کنکرنسی (concurrency)](https://broadrouter.com/ur/glossary/concurrency/) (اصطلاح)
-   [لیٹنسی (latency)](https://broadrouter.com/ur/glossary/latency/) (اصطلاح)
-   [KV cache (کی ویلیو کیش)](https://broadrouter.com/ur/glossary/kv-cache/) (اصطلاح)
-   [Batch API (بیچ API)](https://broadrouter.com/ur/glossary/batch-api/) (اصطلاح)
-   [اسپیکیولیٹو ڈیکوڈنگ (speculative decoding)](https://broadrouter.com/ur/glossary/speculative-decoding/) (اصطلاح)
-   [ایجنٹس کے لیے لامحدود LLM API پلانز کیسے کام کرتے ہیں](https://broadrouter.com/ur/guides/unlimited-llm-api-sessions/) (گائیڈ)
-   [BroadNet Inference کے ایرر کوڈز اور دوبارہ کوشش کب کریں](https://broadrouter.com/ur/guides/errors-and-retries/) (گائیڈ)
-   [مقررہ قیمت والے LLM API پر متوازی کوڈنگ ایجنٹس کیسے چلائیں](https://broadrouter.com/ur/blog/run-parallel-coding-agents-flat-rate/) (مضمون)
-   [LLM لیٹنسی: TTFT، فی سیکنڈ ٹوکن اور مکمل جواب کا وقت](https://broadrouter.com/ur/blog/llm-latency-ttft-throughput/) (مضمون)

اسے اپنے اصل کام پر آزمائیں۔ نئے اکاؤنٹس Gemma اور ٹرانسکرپشن کے لیے US$5 کے کریڈٹ سے شروع ہوتے ہیں۔ DeepSeek، GLM، اور Qwen3.8 کے لیے ٹاپ اپ ضروری ہے۔

[شروع کریں](https://inference.broadnet.ai/account/?utm_source=broadrouter&utm_medium=referral&utm_campaign=ur-glossary-throughput&utm_content=page-cta) ·

**ذرائع**

-   [NVIDIA NIM، LLM بینچ مارکنگ میٹرکس (total TPS per system، TPS per user، RPS)](https://docs.nvidia.com/nim/benchmarking/llm/latest/metrics.html)
-   [Kwon اور ساتھی، PagedAttention اور vLLM، arXiv 2309.06180](https://arxiv.org/abs/2309.06180)
-   [BroadNet Inference API ریفرنس، حدیں (انگریزی میں)](https://inference.broadnet.ai/docs?utm_source=broadrouter&utm_medium=referral&utm_campaign=ur-glossary-throughput&utm_content=sources#limits)
-   [BroadNet Inference پلانز (عام رفتار، ہر سیشن میں ایک درخواست) (انگریزی میں)](https://inference.broadnet.ai/plans?utm_source=broadrouter&utm_medium=referral&utm_campaign=ur-glossary-throughput&utm_content=sources)
