BroadRouter
شروع کریں

تھروپٹ (throughput)

اپ ڈیٹ

LLM سرونگ میں تھروپٹ وہ کل کام ہے جو کوئی سسٹم تمام بیک وقت درخواستوں میں فی اکائی وقت مکمل کرتا ہے، عموماً آؤٹ پٹ ٹوکن فی سیکنڈ یا درخواستیں فی سیکنڈ میں ناپا جاتا ہے۔ یہ فی اسٹریم رفتار سے مختلف ہے، جو بتاتی ہے کہ ایک درخواست کو اس کے ٹوکن کتنی تیزی سے ملتے ہیں۔

دوسرے نام: تھروپٹ، سسٹم تھروپٹ، کل ٹوکن فی سیکنڈ، throughput kya hai، LLM throughput kya hota hai، throughput، system throughput، aggregate throughput، total tokens per second، requests per second، RPS

ٹوکن فی سیکنڈ بتاتا ہے کہ ایک جواب کتنی تیزی سے اسٹریم ہوتا ہے۔ تھروپٹ بتاتا ہے کہ پورا سسٹم کتنا کام نمٹاتا ہے۔

یہ کیسے کام کرتا ہے

NVIDIA کی بینچ مارکنگ گائیڈ دونوں کو الگ کرتی ہے۔ Total TPS per system ہے “total output token throughput across all simultaneous requests” (ترجمہ: تمام بیک وقت درخواستوں کا کل آؤٹ پٹ ٹوکن تھروپٹ): تمام آؤٹ پٹ ٹوکنز کو پہلی درخواست سے آخری جواب تک کے وقت سے تقسیم کیا جاتا ہے۔ TPS per user ایک درخواست کی آؤٹ پٹ لمبائی کو اس کے شروع سے آخر تک کے وقت سے تقسیم کرنا ہے۔ Requests per second (RPS) ٹوکنز کے بجائے مکمل ہونے والی درخواستیں گنتا ہے۔

سب سے اہم سطر: “As the number of concurrent requests increases, total system TPS increases while TPS per user decreases.” (ترجمہ: بیک وقت درخواستوں کی تعداد بڑھنے پر کل سسٹم TPS بڑھتا ہے جبکہ TPS per user گھٹتا ہے۔) کل TPS تب تک چڑھتا ہے جب تک GPU پوری طرح بھر نہ جائے، اور اس کے بعد گر بھی سکتا ہے۔

سرور پر حد عموماً میموری ہوتی ہے۔ PagedAttention مقالہ سمجھاتا ہے کہ اونچے تھروپٹ پر سرونگ “requires batching sufficiently many requests at a time” (ترجمہ: ایک وقت میں کافی درخواستوں کو بیچ کرنے کا تقاضا کرتی ہے)، اور ہر درخواست کا KV کیش طے کرتا ہے کہ کتنی سما سکتی ہیں۔ بہتر میموری مینجمنٹ سے vLLM اسی لیٹنسی پر پرانے سسٹمز کے مقابلے میں 2 سے 4 گنا تھروپٹ تک پہنچا۔

یہ کیوں اہم ہے

API استعمال کرنے والے کے لیے تھروپٹ پائپ کے آپ والے حصے کی بات ہے: آپ ایک گھنٹے میں کتنی دستاویزات پروسیس کر سکتے ہیں، یا کتنے ایجنٹس بیک وقت کام کر سکتے ہیں۔ یہ ایک سادہ اصول پر چلتا ہے:

your throughput ≈ concurrent requests × per-stream tokens per second

یعنی: آپ کا تھروپٹ ≈ بیک وقت درخواستیں × فی اسٹریم ٹوکن فی سیکنڈ۔

یہ تبھی تک درست ہے جب تک لوڈ بڑھانے پر بھی فراہم کنندہ فی اسٹریم رفتار مستحکم رکھے۔ اسے ناپیں؛ فرض نہ کریں۔

تھروپٹ کی حد آپ کی کنکرنسی کی حد اور ریٹ لمٹس طے کرتی ہیں، اکیلا ماڈل نہیں۔ اگر کوئی کام سست ہے تو دیکھیں کہ جو درخواستیں متوازی چل سکتی تھیں، کہیں وہ ایک کے بعد ایک تو نہیں چل رہیں۔

BroadNet Inference پر

BroadNet ہر کلید کی حدیں شائع کرتا ہے، سسٹم تھروپٹ کا کوئی عدد نہیں۔ اس کا پلانز صفحہ پلان کے ماڈل DeepSeek V4.1 Flash کے لیے تقریباً 100 ٹوکن فی سیکنڈ کی عام رفتار بتاتا ہے؛ دوسرے ماڈلز کی کوئی رفتار شائع نہیں۔ مثال کے طور پر، اگر ہر اسٹریم اسی عدد پر چلے:

آپشن متوازی درخواستیں رفتار برقرار رہے تو بالائی حد
استعمال کے مطابق ادائیگی والی کلید 4 (اور فی منٹ 30 درخواستیں) 4 اسٹریمز × ہر ایک تقریباً 100 ٹوکن فی سیکنڈ
گھنٹے والی کلید (Gemma 4 VL 26B) 1 اسٹریم، فی منٹ 300,000 ٹوکن شائع نہیں؛ خود ناپیں
مقررہ قیمت والے پلان کا سیشن ایک وقت میں 1 درخواست تقریباً 100 ٹوکن فی سیکنڈ

مقررہ قیمت والے پلان کو بڑھانے کے لیے سیشن شامل کریں، متوازی کام کرنے والے ہر ایجنٹ کے لیے ایک؛ دیکھیں لامحدود LLM API سیشن اور متوازی کوڈنگ ایجنٹس چلانا۔ وہ رفتار DeepSeek V4.1 Flash کے لیے BroadNet کا بتایا ہوا عام عدد ہے، دوسرے ماڈلز کے لیے یا لوڈ کے دوران کوئی ضمانت نہیں۔

عام سوالات

کیا تھروپٹ اور ٹوکن فی سیکنڈ ایک ہی ہیں؟

صرف سسٹم کی سطح پر۔ فی اسٹریم ٹوکن فی سیکنڈ وہ رفتار ہے جو ایک درخواست کو ملتی ہے۔ تھروپٹ تمام اسٹریمز کو جمع کرتا ہے۔ NVIDIA انہیں TPS per user اور total TPS per system کہتا ہے۔

LLM API سے زیادہ تھروپٹ کیسے حاصل کریں؟

اپنی کنکرنسی اور ریٹ لمٹس تک زیادہ درخواستیں متوازی چلائیں، اور ہر درخواست مختصر رکھیں۔ اگر ہر درخواست پہلے سے اپنا سلاٹ پوری طرح استعمال کر رہی ہے تو مزید سلاٹس، کلیدیں یا سیشن ہی آگے بڑھنے کا راستہ ہیں۔

کیا زیادہ تھروپٹ کا مطلب کم لیٹنسی ہے؟

نہیں۔ تھروپٹ تمام درخواستوں میں فی سیکنڈ کل کام ہے؛ لیٹنسی یہ ہے کہ ایک درخواست میں کتنا وقت لگتا ہے۔ بیک وقت زیادہ درخواستیں چلانے سے کل تھروپٹ بڑھتا ہے لیکن ہر درخواست سست ہو سکتی ہے، اسی لیے NVIDIA، TPS per user اور total TPS الگ الگ بتاتا ہے۔

Markdown میں پڑھیںChatGPT سے پوچھیںClaude سے پوچھیںPerplexity سے پوچھیں