ریٹ لمٹ وقت کے ساتھ درخواستیں گنتی ہے۔ کنکرنسی ایک لمحے میں چل رہی درخواستیں گنتی ہے۔ LLM درخواستوں میں کئی سیکنڈ لگ سکتے ہیں، اس لیے اکثر دوسری حد پہلے آڑے آتی ہے۔
یہ کیسے کام کرتی ہے
Little’s law ان تین اعداد کو جوڑتا ہے:
requests in flight = request rate × average time per request
یعنی: بیک وقت چلتی درخواستیں = درخواستوں کی شرح × ہر درخواست کا اوسط وقت۔
ایک فرضی کلید لیں جو بیک وقت 5 درخواستوں اور ایک منٹ میں 60 درخواستوں کی اجازت دیتی ہے، اور ہر درخواست 20 سیکنڈ لیتی ہے۔ کنکرنسی کی حد زیادہ سے زیادہ 5 ÷ 20 = 0.25 درخواستیں فی سیکنڈ، یعنی 15 فی منٹ کی اجازت دیتی ہے۔ آپ کبھی 60 فی منٹ تک نہیں پہنچتے، کیونکہ اصل رکاوٹ کنکرنسی ہے۔ 2 سیکنڈ والی درخواستوں پر وہی حد 150 فی منٹ کی اجازت دیتی ہے، اور تب ریٹ لمٹ رکاوٹ بنتی ہے۔ ریٹ لمٹ کیلکولیٹر آپ کے اپنے اعداد پر یہی حساب لگاتا ہے۔
لمبے آؤٹ پٹ، ریزننگ ٹوکن اور لمبے پرامپٹ، تینوں درخواست کو لمبا بناتے ہیں، اس لیے کنکرنسی جلد بھر جاتی ہے۔ اسٹریم کیا گیا جواب ختم ہونے تک اپنا سلاٹ گھیرے رکھتا ہے۔
یہ کیوں اہم ہے
فراہم کنندگان کنکرنسی محدود رکھتے ہیں کیونکہ GPU میموری اور کمپیوٹ مشترک ہوتے ہیں۔ NVIDIA کے بینچ مارکس دکھاتے ہیں کہ سرور پر کنکرنسی بڑھنے کے ساتھ کل آؤٹ پٹ بڑھتا ہے، جبکہ ہر درخواست کے ٹوکن فی سیکنڈ کم ہوتے ہیں۔ ہر کلید پر حد ایک کلائنٹ کو باقی سب کو سست کرنے سے روکتی ہے۔
آپ کی ایپ کے لیے کنکرنسی طے کرتی ہے کہ ورکر پول کتنا بڑا ہو اور کتنے ایجنٹس ساتھ ساتھ چل سکیں۔ پول کا سائز حد کے برابر رکھیں، اس سے زیادہ نہیں، ورنہ اضافی ورکرز بس 429 ایررز جمع کریں گے۔
BroadNet Inference پر
| رسائی | کنکرنسی |
|---|---|
| استعمال کے مطابق ادائیگی والی کلید | بیک وقت 4 درخواستیں، اور فی منٹ 30 درخواستیں |
| گھنٹے والی کلید | ایک اسٹریم |
| لامحدود پلان | ہر سیشن میں ایک وقت میں ایک درخواست |
پلانز براہِ راست کنکرنسی بیچتے ہیں۔ سیشن میں کوئی ٹوکن میٹر نہیں ہوتا اور وہ ایک وقت میں ایک درخواست چلاتا ہے، جیسے ایک ایجنٹ کام کرتا ہے۔ ایک ہی سیشن کی درخواستیں ایک دوسرے کے پیچھے قطار میں لگتی ہیں۔ ایجنٹس متوازی چلانے ہوں تو ہر ایجنٹ کے لیے ایک سیشن خریدیں: ایک آرکسٹریٹر اور تین سب ایجنٹس کو چار سیشن چاہییں۔ ایک کلید میں کئی سیشن ہو سکتے ہیں۔
لامحدود سیشن کیسے کام کرتے ہیں اور مقررہ قیمت پر متوازی کوڈنگ ایجنٹس کیسے چلائیں پڑھیں۔ ایجنٹس اپنا کافی وقت ٹولز چلانے میں گزارتے ہیں، اس لیے مزید سیشن خریدنے سے پہلے اصل اوورلیپ ناپیں۔
عام غلطیاں
- بغیر پول کے ہر ٹاسک کے لیے ایک ورکر شروع کرنا۔ 100 ٹاسکس کا بیچ بیک وقت 100 درخواستیں بن جاتا ہے۔
- کلائنٹ ٹائم آؤٹ کو لمبے ریزننگ جواب سے چھوٹا رکھنا۔ سلاٹ ابھی مصروف ہوتا ہے اور کلائنٹ ہار مان لیتا ہے۔