سرور لیس کا مطلب یہ نہیں کہ سرور نہیں ہیں۔ مطلب یہ ہے کہ آپ انہیں کبھی نہیں دیکھتے، اور درخواستیں بھیجنا بند کرتے ہی ادائیگی بھی بند ہو جاتی ہے۔
یہ کیسے کام کرتا ہے
AWS کی SageMaker گائیڈ اس کا ایک واضح حوالہ جاتی نمونہ دیتی ہے۔ سرور لیس اینڈ پوائنٹس “automatically launch compute resources and scale them in and out depending on traffic” (ترجمہ: ٹریفک کے مطابق کمپیوٹ وسائل خود بخود شروع کرتے اور انہیں گھٹاتے بڑھاتے ہیں)، اور جب کوئی درخواست نہ ہو تو سروس “scales your endpoint down to 0” (ترجمہ: آپ کے اینڈ پوائنٹ کو 0 تک گھٹا دیتی ہے)۔ آپ انسٹینس کے بجائے استعمال کے مطابق ادائیگی کرتے ہیں۔
صفر تک اسکیل ہونے کی قیمت کولڈ اسٹارٹ ہے۔ اگر اینڈ پوائنٹ فارغ پڑا رہا ہو اور درخواست آئے تو “it can take some time for your endpoint to spin up the compute resources” (ترجمہ: آپ کے اینڈ پوائنٹ کو کمپیوٹ وسائل شروع کرنے میں کچھ وقت لگ سکتا ہے)۔ لارج لینگویج ماڈلز میں دسیوں گیگا بائٹ ویٹس لوڈ کرنے سے یہ تاخیر بڑھ جاتی ہے۔ عام حل کچھ گنجائش کو پیسے دے کر گرم رکھنا ہے؛ AWS اسے provisioned concurrency کہتا ہے اور اس کا بل میموری، دورانیے اور concurrency کے حساب سے لیتا ہے۔
فیچرز ہر پلیٹ فارم پر مختلف ہیں۔ SageMaker Serverless Inference میں جو چیزیں شامل نہیں، AWS کی اپنی اس فہرست میں GPU بھی ہے، اس لیے LLM جتنی بڑی سرور لیس ہوسٹنگ عموماً دوسرے پلیٹ فارمز سے آتی ہے۔ Hugging Face اپنے Inference Providers کو کئی فراہم کنندگان پر ایک ہی ٹوکن سے “serverless inference of models” (ترجمہ: ماڈلز کا سرور لیس انفرنس) استعمال کرنے کا طریقہ بتاتا ہے۔
یہ کیوں اہم ہے
| سرور لیس اینڈ پوائنٹ | کرائے کا GPU (GPU گھنٹہ) | مشترکہ فی ٹوکن API | |
|---|---|---|---|
| فارغ وقت میں ادائیگی | نہیں (جب تک گرم نہ رکھا جائے) | ہاں | نہیں |
| کولڈ اسٹارٹ | ممکن | نہیں، چلنے کے بعد | فہرست والے ماڈلز پر شاذ |
| آپ کا اپنا ماڈل | ہاں | ہاں | صرف جو فراہم کنندہ فہرست میں رکھے |
| اسکیلنگ کا کام | پلیٹ فارم | آپ | فراہم کنندہ |
سرور لیس اپنے ماڈل کے ساتھ اتار چڑھاؤ والے یا کم ٹریفک کے لیے موزوں ہے۔ مسلسل، بھاری لوڈ عموماً مخصوص ہارڈویئر پر سستا پڑتا ہے۔ کولڈ اسٹارٹ اوسط میں نہیں، لمبی لیٹنسی ٹیل میں نظر آتے ہیں، اس لیے p95 دیکھیں۔
BroadNet Inference پر
BroadNet اپنے API کو سرور لیس نہیں کہتا، اور اس کی دستاویزات کولڈ اسٹارٹ کے بارے میں کچھ نہیں کہتیں۔ عملاً اس کی استعمال کے مطابق ادائیگی والی کلیدوں میں وہ سرور لیس خوبیاں ہیں جو کال کرنے والے کے لیے اہم ہیں: کوئی انسٹینس نہیں چننا، کچھ اسکیل نہیں کرنا، اور بلنگ فی ٹوکن یا فی آڈیو منٹ۔ حدیں مشین کے بجائے کلید پر ہیں: فی منٹ 30 درخواستیں اور بیک وقت 4 جاری درخواستیں۔ آپ صرف وہی ماڈلز کال کر سکتے ہیں جو BroadNet کی فہرست میں ہیں، جیسے Qwen3.8 27B؛ پرائیویٹ اینڈ پوائنٹس اور دوسرے ماڈلز درخواست پر ملتے ہیں۔ curl سے پہلی درخواست آزمانے میں ایک منٹ لگتا ہے۔