“ہمیں ایک ڈیڈیکیٹڈ اینڈپوائنٹ چاہیے” گفتگو کا آغاز ہے، تفصیل نامہ نہیں۔ فراہم کنندہ آپ کے اعداد کے بغیر گنجائش کا سائز، جگہ یا قیمت طے نہیں کر سکتا، اور ان کے بغیر آپ اس کے جواب کو پرکھ بھی نہیں سکتے۔ یہ پوسٹ بتاتی ہے کہ پوچھنے سے پہلے کیا طے کریں، انوائس سے ڈیٹا نکالنے کی ایک حل شدہ مثال کے ساتھ، اور آخر میں ایک اسکرپٹ دیتی ہے جو آپ کو ملے اینڈپوائنٹ کی جانچ کرتا ہے۔
یہ کسی بھی فراہم کنندہ پر لاگو ہوتی ہے۔ جہاں یہ BroadNet کی پیشکش بیان کرتی ہے، وہاں صرف اتنا کہتی ہے جتنا BroadNet عوامی طور پر کہتا ہے، 15 نومبر 2026 کو جانچا ہوا۔ اس سے آگے کی ہر بات BroadNet سے پوچھنے کا سوال ہے۔
پرائیویٹ اینڈپوائنٹ کب سمجھ داری ہے؟
عام طور پر چار میں سے کسی ایک وجہ سے:
- سیلف سرو حدوں سے زیادہ ٹریفک۔ BroadNet کا API ریفرنس استعمال کے مطابق ادائیگی والی کلید کے لیے فی منٹ 30 درخواستیں اور بیک وقت 4 درخواستیں شائع کرتا ہے۔ اس سے اوپر کا مستقل ورک لوڈ گنجائش کا سوال ہے، دوبارہ کوشش کا نہیں۔ (429 سنبھالنا مختصر اچھالوں کا احاطہ کرتا ہے۔)
- ایسا ماڈل جو پبلک فہرست میں نہیں۔ BroadNet کا کیٹلاگ کچھ ماڈلز پر “available on request” (درخواست پر دستیاب) لکھتا ہے، جن میں Qwen3-VL 30B-A3B، Qwen3-VL 8B اور Cohere Transcribe Arabic کا BroadNet فائن ٹیون شامل ہیں۔ ماڈل کیٹلاگ کیسے پڑھیں فرق سمجھاتا ہے۔
- پروسیسنگ کا مقام جس پر آپ کا کنٹرول لازمی ہو۔ ڈیٹا ریزیڈنسی کے قواعد، جیسے سعودی اور UAE PDPL چیک لسٹ والے، ایسا ریجن مانگ سکتے ہیں جو آپ نے تحریری طور پر طے کیا ہو۔
- قابلِ پیشگوئی لیٹنسی۔ مشترکہ گنجائش دوسرے صارفین کے لوڈ سے بدلتی ہے۔ مخصوص گنجائش یہ متغیر ہٹا دیتی ہے، اگرچہ نیٹ ورک کا فاصلہ یا آپ کے اپنے پرامپٹس کا سائز نہیں۔
اگر ان میں سے کچھ بھی لاگو نہیں تو سیلف سرو کلید آسان ہے۔ اور اگر آپ کا حجم بہت زیادہ اور مستقل ہے تو اسے خود چلانے سے موازنہ کریں: سیلف ہوسٹنگ بمقابلہ API لاگت میں طریقہ ہے۔
ورک لوڈ کے بارے میں کیا طے کریں؟
ایک صفحے کا بریف لکھیں۔ فراہم کنندہ کو یہ اعداد چاہییں:
| چیز | کیا لکھیں | مثال |
|---|---|---|
| کام | ماڈل کیا کرتا ہے، ایک جملے میں | انوائس کی تصاویر پڑھنا، JSON فیلڈز لوٹانا |
| حجم | روزانہ درخواستیں، اور مصروف ترین گھنٹے کا حصہ | روزانہ 40,000، عروج کے گھنٹے میں 15% |
| ٹوکنز | اوسط اور 95ویں پرسنٹائل کے ان پٹ اور آؤٹ پٹ ٹوکنز | 1,800 اندر (ایک صفحے کی تصویر + پرامپٹ)، 350 باہر |
| کانٹیکسٹ | سب سے بڑی اکیلی درخواست، پرامپٹ اور جواب ملا کر | 4,000 ٹوکنز |
| لیٹنسی | پہلے ٹوکن اور پورے جواب تک کا قابلِ قبول وقت | پورا جواب 10 سیکنڈ کے اندر |
| اسٹریمنگ | چاہیے یا نہیں | نہیں چاہیے (بیچ طرز) |
| ان پٹس | متن، تصاویر، آڈیو؛ فارمیٹس اور سائز | JPEG اور PNG، ہر ایک ایک صفحہ |
| زبانیں | کون سی، اور ہر ایک کا حصہ | عربی اور انگریزی، 60/40 |
| ترقی | 6 اور 12 مہینوں میں متوقع حجم | 12 مہینوں میں دوگنا |
ٹوکنز کی تعداد اصل نمونوں پر ناپیں، اندازوں سے نہیں۔ ایک ہی متن کے لیے عربی کو اکثر انگریزی سے زیادہ ٹوکنز چاہییں؛ عربی ٹوکن کاؤنٹر اور زبان کے حساب سے اصل لاگت دکھاتے ہیں کہ مختلف ٹوکنائزرز پر کتنے زیادہ۔ تصاویر کے لیے امیج ٹوکن کیلکولیٹر پہلا اندازہ دیتا ہے۔
حجم کو فی سیکنڈ ٹوکنز اور بیک وقت درخواستوں میں کیسے بدلیں؟
عروج پر فی سیکنڈ درخواستیں، مصروف ترین گھنٹے کا حجم تقسیم 3,600 ہے۔ بیک وقت درخواستیں، یعنی ایک ساتھ جاری درخواستوں کی تعداد، Little’s law سے نکلتی ہے: کسی سسٹم میں اوسط تعداد، آمد کی شرح ضرب ہر ایک کے وہاں گزارے گئے اوسط وقت کے برابر ہے۔ API کے لیے یہ ہے فی سیکنڈ درخواستیں × ہر درخواست کے سیکنڈ۔
import math
def size(requests_per_day: int, peak_share_of_day_in_busiest_hour: float,
in_tokens: int, out_tokens: int, out_tok_per_s_per_stream: float) -> dict:
"""Rough peak numbers to put in a capacity enquiry. Measure your own inputs; these are not provider specs."""
peak_rps = requests_per_day * peak_share_of_day_in_busiest_hour / 3600
seconds_per_request = out_tokens / out_tok_per_s_per_stream # ignores queueing and prompt time
concurrency = peak_rps * seconds_per_request # Little's law: L = λ × W
return {
"peak_requests_per_second": round(peak_rps, 2),
"seconds_per_request": round(seconds_per_request, 1),
"concurrent_requests_at_peak": math.ceil(concurrency),
"peak_input_tokens_per_second": round(peak_rps * in_tokens),
"peak_output_tokens_per_second": round(peak_rps * out_tokens),
"monthly_tokens_millions": round(requests_per_day * 30 * (in_tokens + out_tokens) / 1e6, 1),
}
# 40,000 invoice extractions a day, 15% of them in the busiest hour,
# 1,800 tokens in, 350 out, 60 tokens/s per stream measured on a trial.
print(size(40_000, 0.15, 1_800, 350, 60))
اس نے عروج پر فی سیکنڈ 1.67 درخواستیں، ہر درخواست تقریباً 5.8 سیکنڈ، 10 بیک وقت درخواستیں، فی سیکنڈ 3,000 ان پٹ اور 583 آؤٹ پٹ ٹوکنز، اور ماہانہ 2,580 ملین ٹوکنز چھاپے۔ فی سیکنڈ 60 ٹوکنز اس مثال کا ایک مفروضہ ہے؛ جو ماڈل آپ استعمال کریں گے، اس پر اپنا خود ناپیں، کیونکہ رفتار ماڈل، پرامپٹ کی لمبائی اور لوڈ کے حساب سے بدلتی ہے۔ لیٹنسی، TTFT اور تھروپٹ والی پوسٹ بتاتی ہے کہ کیا ناپیں۔
دو احتیاطیں۔ فارمولا پرامپٹ پروسیسنگ کا وقت چھوڑ دیتا ہے، اس لیے لمبے پرامپٹس یا بڑی تصاویر اصل درخواستوں کو سست کرتی ہیں اور بیک وقت درخواستیں بڑھاتی ہیں۔ اور اوسط اچھالوں کو چھپا دیتی ہے: فراہم کنندہ کو صرف اوسط نہیں، اپنے 95ویں پرسنٹائل کی درخواست کا سائز اور مختصر اچھالوں کا پروفائل دیں۔ اس مثال کا عروج (فی منٹ تقریباً 100 درخواستیں اور بیک وقت 10) ایک استعمال کے مطابق ادائیگی والی کلید کی شائع شدہ سیلف سرو حدوں سے کافی اوپر ہے، اور ٹھیک یہی وہ موقع ہے جب گنجائش پر بات کرنا فائدہ مند ہے۔
ریجن، ریزیڈنسی اور حدوں کا کیا؟
کسی بھی ریگولیٹڈ ڈیٹا کے جانے سے پہلے انہیں واضح طور پر، تحریری طور پر طے کریں۔ BroadNet کی شرائط (§7.3a) کہتی ہیں: “Contact us to agree processing locations for your deployment before sending data with residency requirements,” (ترجمہ: ریزیڈنسی کی ضرورت والا ڈیٹا بھیجنے سے پہلے اپنی ڈیپلائمنٹ کے لیے پروسیسنگ کے مقامات طے کرنے کو ہم سے رابطہ کریں) اور یہ بھی کہ پارٹنر کی ہوسٹ کردہ اور بیک اپ پروسیسنگ میں دوسرے پروسیسرز شامل ہوتے ہیں، اور سب پروسیسرز کی موجودہ فہرست گاہکوں کو درخواست پر ملتی ہے۔ اس کا پرائیویسی بیان کہتا ہے کہ BroadNet کے اپنے اور ہوسٹ کردہ اوپن ویٹ ماڈلز امریکہ میں BroadNet کی ملکیت یا لیز پر لیے گئے ہارڈویئر پر چلتے ہیں، بیک اپ کے لیے پارٹنر گنجائش کے ساتھ، اور اس کا تعارفی صفحہ کہتا ہے کہ MENA یا یورپ میں علاقائی پروسیسنگ درخواست پر دستیاب ہے۔
تو کسی بھی فراہم کنندہ سے یہ سوال ہیں:
- کون سا ریجن درخواستیں پروسیس کرتا ہے، اور کون سا ریجن بیک اپ گنجائش رکھتا ہے؟
- کون سے سب پروسیسرز ٹریفک کو چھو سکتے ہیں، فیل اوور یا اوور فلو کے لیے بھی؟
- اینڈپوائنٹ کی شرح، بیک وقت درخواستوں اور ٹوکنز کی حدیں کیا ہیں، اور ان سے اوپر کیا ہوتا ہے؟
- دستیابی اور سپورٹ کی کون سی شرائط لاگو ہیں، اور وہ کہاں لکھی ہیں؟ BroadNet کی شرائط (§7.4) کہتی ہیں کہ سیلف سرو پر دستیابی کا کوئی وعدہ نہیں، اور پرائیویٹ اینڈپوائنٹس اور مخصوص گنجائش آپ کے الگ تحریری معاہدے کے تحت آتے ہیں۔ دوسرے فراہم کنندگان کے تحریری SLAs کیا احاطہ کرتے ہیں، یہ دیکھنے کے لیے LLM API SLAs کا موازنہ پڑھیں۔
- کیا محفوظ رکھا جاتا ہے؟ BroadNet کے انفرنس API کے لیے شائع شدہ موقف یہ ہے: انفرنس کا مواد محفوظ نہیں رکھا جاتا؛ ضروری اکاؤنٹ، بلنگ اور سکیورٹی میٹا ڈیٹا اس کے پرائیویسی بیان کے مطابق رکھا جاتا ہے۔ تصدیق کریں کہ آپ کے اینڈپوائنٹ پر بھی یہی لاگو ہے۔
کون سا ماڈل، اور کس لائسنس کے تحت؟
درست ماڈل اور ورژن کا نام لکھیں، اور جانچیں کہ اس کا لائسنس آپ کے استعمال اور API سے سرو کرنے کی اجازت دیتا ہے۔ BroadNet کے ماڈل صفحات Gemma 4 26B، Qwen3-VL 30B-A3B اور Cohere Transcribe کے بیس ویٹس کے لیے Apache-2.0 درج کرتے ہیں، اور Cohere Transcribe Arabic کا BroadNet فائن ٹیون “under contract” (معاہدے کے تحت) ہے۔ اس کی شرائط کہتی ہیں کہ ماڈلز اپنے لائسنسوں کے تابع ہیں، اور پارٹنر کی ہوسٹنگ میں بھی DeepSeek V4.1 Flash کا لائسنس لاگو رہتا ہے۔
کانٹیکسٹ ونڈو بھی طے کریں۔ کانٹیکسٹ کی حدیں ماڈل اور ڈیپلائمنٹ پر منحصر ہیں، صرف بیس ماڈل کی زیادہ سے زیادہ حد پر نہیں: BroadNet اپنے پبلک API پر Gemma 4 VL 26B کے لیے 32K ٹوکنز درج کرتا ہے اور Qwen3-VL 30B-A3B کے لیے 16K، جو درخواست پر ہے۔ کانٹیکسٹ ونڈو کیلکولیٹر کو اپنی سب سے بڑی درخواست پر چلائیں، اوسط پر نہیں۔
بجٹ کیسے طے کریں؟
BroadNet پرائیویٹ اینڈپوائنٹ کی کوئی قیمت شائع نہیں کرتا؛ اس کا تعارفی صفحہ کہتا ہے “Reserved GPU, priced to your traffic. Ask for a quote.” (ترجمہ: مخصوص GPU، آپ کے ٹریفک کے مطابق قیمت۔ قیمت معلوم کریں۔) اس لیے پہلے اپنی بالائی حد طے کریں۔ اسی ورک لوڈ کی سیلف سرو قیمت LLM API لاگت کیلکولیٹر میں نکالیں، سائزنگ اسکرپٹ کے ماہانہ ٹوکنز استعمال کرتے ہوئے، اور طے کریں کہ قابلِ پیشگوئی گنجائش، کوئی ریجن یا غیر پبلک ماڈل آپ کے لیے اس کے اوپر کتنی قدر رکھتا ہے۔ سیلف سرو عدد سے کم قیمت بونس ہے؛ اس سے بہت زیادہ قیمت کے لیے آپ کی ضروریات کی فہرست سے کوئی وجہ چاہیے۔
استفسار کیسے بھیجیں؟
BroadNet کا API ریفرنس کہتا ہے: “Private endpoints, our Arabic fine-tunes and other models on request are reached with a private ID issued with the endpoint.” (ترجمہ: پرائیویٹ اینڈپوائنٹس، ہمارے عربی فائن ٹیونز اور درخواست پر ملنے والے دوسرے ماڈلز اینڈپوائنٹ کے ساتھ جاری کی گئی پرائیویٹ ID سے استعمال ہوتے ہیں۔) اس کا تعارفی صفحہ “your model, languages and traffic requirements” (ترجمہ: آپ کا ماڈل، زبانیں اور ٹریفک کی ضروریات) مانگتا ہے۔ اپنا ایک صفحے کا بریف رابطے کے صفحے سے بھیجیں، بغیر API کلیدوں یا گاہکوں کے ڈیٹا کے۔ سائزنگ کا آؤٹ پٹ، ریجن، ماڈل اور لائسنس، لیٹنسی کا ہدف، بجٹ کی بالائی حد اور اپنی ٹائم لائن شامل کریں۔
ملے ہوئے اینڈپوائنٹ کی جانچ کیسے کریں؟
پروڈکشن ٹریفک سے پہلے اینڈپوائنٹ کو اس پر ٹیسٹ کریں جو طے ہوا تھا۔ یہ اسکرپٹ صرف Python اسٹینڈرڈ لائبریری استعمال کرتا ہے۔ یہ جانچتا ہے کہ پرائیویٹ ماڈل ID کام کرتی ہے، کہ اسٹریمنگ BroadNet کی دستاویزات میں بتائے گئے data: [DONE] مارکر پر ختم ہوتی ہے، کہ طے شدہ بیک وقت درخواستیں بغیر 429 کے چلتی ہیں، اور کہ غلط ماڈل ID مسترد ہوتی ہے۔
import json, os, sys, time, urllib.error, urllib.request
from concurrent.futures import ThreadPoolExecutor
BASE = os.environ["ENDPOINT_BASE_URL"].rstrip("/") # from your agreement, e.g. https://.../v1
KEY = os.environ["ENDPOINT_API_KEY"]
MODEL = os.environ["ENDPOINT_MODEL_ID"] # the private ID issued with the endpoint
AGREED_CONCURRENCY = int(os.environ.get("AGREED_CONCURRENCY", "4"))
def post(payload: dict, stream=False):
req = urllib.request.Request(f"{BASE}/chat/completions", data=json.dumps(payload).encode(),
headers={"Authorization": f"Bearer {KEY}", "Content-Type": "application/json"})
t0 = time.monotonic()
try:
with urllib.request.urlopen(req, timeout=120) as r:
body = r.read().decode()
return r.status, r.headers.get("X-Request-ID"), body, time.monotonic() - t0
except urllib.error.HTTPError as e:
return e.code, e.headers.get("X-Request-ID"), e.read().decode(), time.monotonic() - t0
def main() -> int:
msg = [{"role": "user", "content": "Reply with the word OK."}]
results = {}
code, rid, body, secs = post({"model": MODEL, "messages": msg, "max_tokens": 1000})
ok = code == 200 and "usage" in json.loads(body)
results["model_id_accepted"] = (ok, f"HTTP {code}, request ID {rid}, {secs:.2f}s")
code, _, body, _ = post({"model": MODEL, "messages": msg, "stream": True,
"stream_options": {"include_usage": True}})
results["stream_ends_with_DONE"] = (code == 200 and body.rstrip().endswith("data: [DONE]"), f"HTTP {code}")
with ThreadPoolExecutor(AGREED_CONCURRENCY) as pool:
codes = list(pool.map(lambda _: post({"model": MODEL, "messages": msg, "max_tokens": 1000})[0],
range(AGREED_CONCURRENCY)))
results["agreed_concurrency_no_429"] = (all(c == 200 for c in codes), f"codes {sorted(codes)}")
code, _, _, _ = post({"model": MODEL + "-typo", "messages": msg})
results["unknown_model_rejected"] = (code in (400, 403, 404), f"HTTP {code}")
for name, (passed, note) in results.items():
print(f"{'PASS' if passed else 'FAIL'} {name}: {note}")
return 0 if all(p for p, _ in results.values()) else 1
if __name__ == "__main__":
sys.exit(main())
ہم نے اسے ایک لوکل موک سرور (کوئی اصل اینڈپوائنٹ نہیں) پر چلایا جو بیک وقت 8 درخواستوں کی اجازت دیتا ہے۔ AGREED_CONCURRENCY=8 کے ساتھ چاروں جانچیں پاس ہوئیں۔ 12 کے ساتھ بیک وقت درخواستوں والی جانچ آٹھ 200 اور چار 429 کے ساتھ ناکام ہوئی، اور یہی نتیجہ آپ لانچ سے پہلے دیکھنا چاہتے ہیں، بعد میں نہیں۔ max_tokens=1000 reasoning ماڈلز کے لیے جگہ چھوڑتا ہے، جو جواب دینے سے پہلے بجٹ کا کچھ حصہ خرچ کرتے ہیں۔
اسموک ٹیسٹ کے بعد، اصل سائز کے پرامپٹس کے ساتھ اپنے ناپے ہوئے عروج پر ایک مختصر لوڈ ٹیسٹ چلائیں، اور اینڈپوائنٹ کا پہلے ٹوکن تک کا وقت اور پورے جواب کی لیٹنسی درج کریں۔ درخواست IDs رکھیں؛ BroadNet کی دستاویزات سپورٹ درخواستوں میں X-Request-ID، ٹائم اسٹیمپ، روٹ اور اسٹیٹس مانگتی ہیں۔
BroadNet Inference کہاں کام آتا ہے
BroadRouter، BroadNet کی اپنی سائٹ ہے۔ BroadNet Inference پبلک ماڈلز تک سیلف سرو رسائی بیچتا ہے: ٹوکن کے حساب سے، آڈیو منٹ کے حساب سے، سیشن پلان سے اور گھنٹے والی کلید سے؛ قیمتیں قیمتوں کے صفحے پر ہیں۔ پرائیویٹ اینڈپوائنٹس، علاقائی پروسیسنگ، فائن ٹیونز اور “on request” (درخواست پر) درج ماڈلز سیلف سرو نہیں ہیں: یہ استفسارات ہیں جن کی BroadNet قیمت بتاتا ہے اور جنہیں تحریری طور پر طے کرتا ہے۔ یہ پوسٹ نہیں بتا سکتی کہ BroadNet آپ کے ورک لوڈ کے لیے کیا پیش کرے گا۔ واضح بریف ہی یہ جاننے کا طریقہ ہے۔
