ہر مشترکہ API حدوں سے اپنی حفاظت کرتا ہے۔ کون سی حدیں لاگو ہیں، یہ جاننے سے پتہ چلتا ہے کہ آپ کتنی تیزی سے چل سکتے ہیں اور حد سے ٹکرانے پر کیا کرنا ہے۔
یہ کیسے کام کرتی ہے
LLM API ایک ساتھ کئی چیزیں ناپتے ہیں۔ مثال کے طور پر OpenAI یہ درج کرتا ہے:
- RPM: فی منٹ درخواستیں
- RPD: فی دن درخواستیں
- TPM: فی منٹ ٹوکن
- TPD: فی دن ٹوکن
جس حد سے آپ پہلے ٹکراتے ہیں، وہی لاگو ہوتی ہے۔ کئی فراہم کنندگان concurrency، یعنی بیک وقت جاری درخواستوں کی تعداد، پر بھی حد لگاتے ہیں۔
حد پار ہونے پر سرور 429 Too Many Requests لوٹاتا ہے۔ MDN اس کا مطلب یہ بتاتا ہے کہ کلائنٹ نے “sent too many requests in a given amount of time” (ترجمہ: ایک مقررہ وقت میں بہت زیادہ درخواستیں بھیجیں)۔ Retry-After ہیڈر بتا سکتا ہے کہ کتنے سیکنڈ انتظار کرنا ہے۔
ایک محفوظ دوبارہ کوشش والا لوپ:
import random, time
for attempt in range(5):
r = send()
if r.status_code != 429:
break
wait = float(r.headers.get("Retry-After", 2 ** attempt))
time.sleep(wait + random.random())
OpenAI کے سرکاری SDK پہلے سے ہی 429 اور 5xx ایررز پر بیک آف کے ساتھ دوبارہ کوشش کرتے ہیں؛ اپنا لوپ لکھنے کے بجائے max_retries سیٹ کریں۔
یہ کیوں اہم ہے
- تھرو پٹ۔ آپ کی اصل چھت تمام حدوں میں سب سے نچلی ہے۔ فی منٹ 30 درخواستوں والی کلید پر، جیسی BroadNet کی استعمال کے مطابق ادائیگی والی کلیدیں ہیں، 1,000 درخواستوں میں کم از کم 1,000 ÷ 30 منٹ لگتے ہیں، ماڈل چاہے کتنا ہی تیز ہو۔ ریٹ لمٹ کیلکولیٹر آپ کی اپنی حدوں کے لیے حساب لگاتا ہے۔
- بھروسا۔ بغیر سنبھالے 429 آؤٹیج جیسے لگتے ہیں۔ بیک آف انہیں مختصر تاخیر میں بدل دیتا ہے۔
- لاگت۔ کچھ فراہم کنندگان اخراجات کی حد پر بھی 429 لوٹاتے ہیں، جو استعمال کے مطابق ادائیگی والی کلیدوں پر عام ہے۔ دوبارہ کوشش سے پہلے ایرر باڈی پڑھیں۔
BroadNet Inference پر
| کلید کی قسم | حدیں |
|---|---|
| استعمال کے مطابق ادائیگی | فی منٹ 30 درخواستیں، بیک وقت 4 جاری درخواستیں |
| گھنٹے والی کلید | فی منٹ 120 درخواستیں، ایک اسٹریم، فی منٹ 300,000 ٹوکن |
| لامحدود پلان | فی سیشن ایک وقت میں ایک درخواست، کوئی ٹوکن میٹر نہیں |
ریٹ، concurrency، ٹوکن ریٹ یا اخراجات کی حد پوری ہونے پر BroadNet، 429 لوٹاتا ہے۔ رکیں اور دوبارہ کوشش کریں۔ ایررز اور دوبارہ کوشش کی گائیڈ ہر اسٹیٹس کوڈ کا احاطہ کرتی ہے، اور ”لامحدود“ کا اصل مطلب بتاتا ہے کہ مقررہ قیمت والے پلان میں بھی کون سی حدیں رہتی ہیں۔
عام غلطیاں
- 401 یا 403 ایررز پر دوبارہ کوشش کرنا۔ یہ کلید یا پالیسی کے مسائل ہیں، ریٹ لمٹ نہیں۔
- ایک ہی کلید پر مشترکہ لمٹر کے بغیر کئی ورکرز چلانا۔ ہر ورکر اکیلا رکتا ہے، جبکہ باقی کلید کو بھرا رکھتے ہیں۔