ٹوکن فی سیکنڈ بتاتا ہے کہ ایک جواب کتنی تیزی سے اسٹریم ہوتا ہے۔ تھروپٹ بتاتا ہے کہ پورا سسٹم کتنا کام نمٹاتا ہے۔
یہ کیسے کام کرتا ہے
NVIDIA کی بینچ مارکنگ گائیڈ دونوں کو الگ کرتی ہے۔ Total TPS per system ہے “total output token throughput across all simultaneous requests” (ترجمہ: تمام بیک وقت درخواستوں کا کل آؤٹ پٹ ٹوکن تھروپٹ): تمام آؤٹ پٹ ٹوکنز کو پہلی درخواست سے آخری جواب تک کے وقت سے تقسیم کیا جاتا ہے۔ TPS per user ایک درخواست کی آؤٹ پٹ لمبائی کو اس کے شروع سے آخر تک کے وقت سے تقسیم کرنا ہے۔ Requests per second (RPS) ٹوکنز کے بجائے مکمل ہونے والی درخواستیں گنتا ہے۔
سب سے اہم سطر: “As the number of concurrent requests increases, total system TPS increases while TPS per user decreases.” (ترجمہ: بیک وقت درخواستوں کی تعداد بڑھنے پر کل سسٹم TPS بڑھتا ہے جبکہ TPS per user گھٹتا ہے۔) کل TPS تب تک چڑھتا ہے جب تک GPU پوری طرح بھر نہ جائے، اور اس کے بعد گر بھی سکتا ہے۔
سرور پر حد عموماً میموری ہوتی ہے۔ PagedAttention مقالہ سمجھاتا ہے کہ اونچے تھروپٹ پر سرونگ “requires batching sufficiently many requests at a time” (ترجمہ: ایک وقت میں کافی درخواستوں کو بیچ کرنے کا تقاضا کرتی ہے)، اور ہر درخواست کا KV کیش طے کرتا ہے کہ کتنی سما سکتی ہیں۔ بہتر میموری مینجمنٹ سے vLLM اسی لیٹنسی پر پرانے سسٹمز کے مقابلے میں 2 سے 4 گنا تھروپٹ تک پہنچا۔
یہ کیوں اہم ہے
API استعمال کرنے والے کے لیے تھروپٹ پائپ کے آپ والے حصے کی بات ہے: آپ ایک گھنٹے میں کتنی دستاویزات پروسیس کر سکتے ہیں، یا کتنے ایجنٹس بیک وقت کام کر سکتے ہیں۔ یہ ایک سادہ اصول پر چلتا ہے:
your throughput ≈ concurrent requests × per-stream tokens per second
یعنی: آپ کا تھروپٹ ≈ بیک وقت درخواستیں × فی اسٹریم ٹوکن فی سیکنڈ۔
یہ تبھی تک درست ہے جب تک لوڈ بڑھانے پر بھی فراہم کنندہ فی اسٹریم رفتار مستحکم رکھے۔ اسے ناپیں؛ فرض نہ کریں۔
تھروپٹ کی حد آپ کی کنکرنسی کی حد اور ریٹ لمٹس طے کرتی ہیں، اکیلا ماڈل نہیں۔ اگر کوئی کام سست ہے تو دیکھیں کہ جو درخواستیں متوازی چل سکتی تھیں، کہیں وہ ایک کے بعد ایک تو نہیں چل رہیں۔
BroadNet Inference پر
BroadNet ہر کلید کی حدیں شائع کرتا ہے، سسٹم تھروپٹ کا کوئی عدد نہیں۔ اس کا پلانز صفحہ پلان کے ماڈل DeepSeek V4.1 Flash کے لیے تقریباً 100 ٹوکن فی سیکنڈ کی عام رفتار بتاتا ہے؛ دوسرے ماڈلز کی کوئی رفتار شائع نہیں۔ مثال کے طور پر، اگر ہر اسٹریم اسی عدد پر چلے:
| آپشن | متوازی درخواستیں | رفتار برقرار رہے تو بالائی حد |
|---|---|---|
| استعمال کے مطابق ادائیگی والی کلید | 4 (اور فی منٹ 30 درخواستیں) | 4 اسٹریمز × ہر ایک تقریباً 100 ٹوکن فی سیکنڈ |
| گھنٹے والی کلید (Gemma 4 VL 26B) | 1 اسٹریم، فی منٹ 300,000 ٹوکن | شائع نہیں؛ خود ناپیں |
| مقررہ قیمت والے پلان کا سیشن | ایک وقت میں 1 درخواست | تقریباً 100 ٹوکن فی سیکنڈ |
مقررہ قیمت والے پلان کو بڑھانے کے لیے سیشن شامل کریں، متوازی کام کرنے والے ہر ایجنٹ کے لیے ایک؛ دیکھیں لامحدود LLM API سیشن اور متوازی کوڈنگ ایجنٹس چلانا۔ وہ رفتار DeepSeek V4.1 Flash کے لیے BroadNet کا بتایا ہوا عام عدد ہے، دوسرے ماڈلز کے لیے یا لوڈ کے دوران کوئی ضمانت نہیں۔