“API سست ہے” کے تین مختلف مطلب ہو سکتے ہیں، اور ہر ایک کا حل الگ ہے۔ چیٹ صارف پہلے لفظ کا انتظار کرتا ہے۔ ایجنٹ پوری ٹول کال کا انتظار کرتا ہے۔ بیچ جاب کو فی گھنٹہ ٹوکن سے غرض ہوتی ہے۔ یہ پوسٹ تینوں اعداد کی تعریف کرتی ہے، دکھاتی ہے کہ اپنے کوڈ سے انہیں کیسے ناپیں، اور ہر اصلاح کو اس عدد سے جوڑتی ہے جسے وہ واقعی بدلتی ہے۔
TTFT، فی سیکنڈ ٹوکن اور اینڈ ٹو اینڈ لیٹنسی کیا ہیں؟
NVIDIA کی بینچ مارکنگ گائیڈ صاف تعریفیں دیتی ہے، اور وہ کلائنٹ سے نظر آنے والی چیزوں سے میل کھاتی ہیں:
| پیمانہ | کیا ناپتا ہے | کسے محسوس ہوتا ہے | کس پر منحصر |
|---|---|---|---|
| ٹائم ٹو فرسٹ ٹوکن (TTFT) | درخواست بھیجی → پہلا ٹوکن ملا | چیٹ صارفین | نیٹ ورک، قطار، پرامپٹ کی لمبائی (prefill)، کیش ہٹس |
| انٹر ٹوکن لیٹنسی (ITL) | ٹوکنز کے درمیان اوسط وقفہ | اسٹریم ہوتے جواب کے قاری | ماڈل کا سائز، ہارڈویئر، سرور کا لوڈ |
| فی صارف فی سیکنڈ ٹوکن | پہلے ٹوکن کے بعد کے آؤٹ پٹ ٹوکن ÷ جنریشن کا وقت (پہلے سے آخری ٹوکن تک)؛ 1 ÷ اوسط ITL کے برابر | قاری، ایجنٹس | ITL جیسا ہی |
| اینڈ ٹو اینڈ لیٹنسی | درخواست بھیجی → آخری ٹوکن ملا | ایجنٹس، APIs، بیچ | TTFT + جنریشن کا وقت |
انہیں جوڑنے والا فارمولا:
اینڈ ٹو اینڈ ≈ TTFT + (آؤٹ پٹ ٹوکن − 1) × ITL ≈ TTFT + آؤٹ پٹ ٹوکن ÷ فی صارف فی سیکنڈ ٹوکن
فی صارف رفتار اور سرور کا تھروپٹ ایک نہیں؛ تھروپٹ وہ کل ٹوکن ہیں جو سرور تمام صارفین کے لیے بناتا ہے، اور فراہم کنندہ ایک کو بڑھا سکتا ہے جبکہ دوسرا گرتا ہے۔
BroadNet اپنے پلان ماڈل کے لیے جو عام رفتار شائع کرتا ہے، تقریباً 100 ٹوکن فی سیکنڈ، اسے لیں۔ جنریشن کا وقت جواب کی لمبائی کے ساتھ بڑھتا ہے: 4,000 ٹوکن کی کوڈ فائل بننے میں 50 ٹوکن کی درجہ بندی سے تقریباً اسی گنا وقت لگتا ہے، جبکہ دونوں ایک ہی TTFT کا انتظار کرتے ہیں۔ مختصر جوابات میں انتظار کا زیادہ حصہ TTFT ہے؛ لمبے جوابات میں رفتار اور لمبائی۔
ریزننگ ماڈلز کے لیے چوتھا عدد کیوں چاہیے؟
DeepSeek V4.1 Flash جیسے ریزننگ ماڈلز جواب دینے سے پہلے سوچتے ہیں، اور یہ سوچ بھی آؤٹ پٹ ٹوکن ہے۔ اگر ماڈل تقریباً 100 ٹوکن فی سیکنڈ پر 800 ٹوکن ریزننگ میں لگاتا ہے تو پہلا نظر آنے والا لفظ آنے سے پہلے صارف کو ان تمام 800 ٹوکنز کے بننے کا انتظار کرنا پڑتا ہے، چاہے نیٹ ورک پر TTFT تیز دکھائی دے۔ اس لیے ٹائم ٹو فرسٹ کانٹینٹ ٹوکن الگ سے ناپیں۔ BroadNet Inference پر reasoning_effort: "low" آسان مراحل کے لیے سوچ مختصر کرتا ہے؛ ریزننگ گائیڈ اس کا نفع نقصان سمجھاتی ہے۔
کلائنٹ سے لیٹنسی کیسے ناپیں؟
جہاں آپ کے صارفین ہیں وہیں سے ناپیں، اسٹریمنگ آن رکھ کر۔ سرور کی طرف کے ٹائمرز نیٹ ورک اور کسی بھی پراکسی کا وقت چھوڑ دیتے ہیں۔
import os, time, statistics
from openai import OpenAI
client = OpenAI(base_url="https://inference.broadnet.ai/v1", api_key=os.environ["BROADNET_API_KEY"])
def timed(model, messages, max_tokens=1500):
t0 = time.perf_counter()
first = first_content = None
usage = None
stream = client.chat.completions.create(
model=model, messages=messages, max_tokens=max_tokens,
stream=True, stream_options={"include_usage": True},
)
for chunk in stream:
now = time.perf_counter()
if chunk.choices:
if first is None:
first = now
if chunk.choices[0].delta.content and first_content is None:
first_content = now
if chunk.usage:
usage = chunk.usage
end = time.perf_counter()
out = usage.completion_tokens if usage else 0
return {
"ttft": first - t0,
"ttfct": (first_content or end) - t0,
"e2e": end - t0,
"tps": (out - 1) / (end - first) if out > 1 and end > first else 0,
"prompt_tokens": usage.prompt_tokens if usage else None,
}
runs = [timed("broadnet/gemma-4-26b-a4b", [{"role": "user", "content": "Summarise SSE in 100 words."}]) for _ in range(50)]
for k in ("ttft", "ttfct", "e2e", "tps"):
xs = sorted(r[k] for r in runs)
print(k, "p50", round(statistics.median(xs), 3), "p95", round(xs[int(len(xs) * 0.95) - 1], 3))
منصفانہ بینچ مارک کے پانچ اصول:
- پرامپٹ کی لمبائی مقرر رکھیں اور اسے بتائیں۔ 500 پرامپٹ ٹوکن اور 200,000 پرامپٹ ٹوکن پر TTFT مختلف اعداد ہیں۔ ٹوکن کاؤنٹر بھیجنے سے پہلے بتا دیتا ہے کہ ٹیسٹ پرامپٹ کتنا لمبا ہے۔
- آؤٹ پٹ کی لمبائی مقرر رکھیں،
max_tokensاور ایسے پرامپٹ سے جو اسے بھر دے، تاکہ فی سیکنڈ ٹوکن کا موازنہ ہو سکے۔ - p50 اور p95 بتائیں، اوسط نہیں۔ صارفین کو آخری سرے (tail) کی لیٹنسی ہی یاد رہتی ہے۔
- رنز کو وقت میں پھیلائیں۔ دن بھر میں لوڈ بدلتا ہے۔
- پہلے وارم اپ کریں۔ پہلی کال DNS، TLS اور کنکشن سیٹ اپ کا وقت بھی بھرتی ہے؛ ایک ہی کلائنٹ دوبارہ استعمال کریں۔
ہر عدد اصل میں کس چیز سے بہتر ہوتا ہے؟
| بہتر کرنا ہے | یہ کریں | کیوں |
|---|---|---|
| TTFT | پرامپٹ پری فکس مختصر کریں یا کیش کریں | prefill کا وقت پرامپٹ کی لمبائی کے ساتھ بڑھتا ہے؛ کیش شدہ پری فکس کام بچاتے ہیں |
| TTFT | کنکشنز گرم رکھیں، قریبی ریجن استعمال کریں | سیٹ اپ اور آمد و رفت کے چکر ختم ہوتے ہیں |
| ٹائم ٹو فرسٹ کانٹینٹ ٹوکن | ریزننگ effort کم کریں، یا آسان مراحل کے لیے بغیر ریزننگ والا ماڈل لیں | جواب سے پہلے کم چھپی سوچ |
| فی سیکنڈ ٹوکن | اس مرحلے کے لیے چھوٹا یا تیز ماڈل لیں | decode کی رفتار ماڈل کے سائز اور سرونگ پر منحصر ہے |
| اینڈ ٹو اینڈ | مختصر آؤٹ پٹ مانگیں (اسکیما، الفاظ کی حد) | آؤٹ پٹ کی لمبائی ITL کو کئی گنا کرتی ہے |
| بہت سی کالز کا اینڈ ٹو اینڈ | آزاد کالز اپنی کنکرنسی حد کے اندر متوازی چلائیں | ہر کال ویسی ہی رہتی ہے، پھر بھی کل وقت گرتا ہے |
| محسوس ہونے والی لیٹنسی | صارف تک اسٹریم کریں | ماڈل لکھتا رہتا ہے اور صارف پڑھتا رہتا ہے |
آؤٹ پٹ کی لمبائی سب سے کم سمجھا جانے والا ذریعہ ہے۔ “explain your answer” کے بجائے “ان چار فیلڈز والا JSON” مانگنے سے، بغیر کسی انفراسٹرکچر کے کام کے، جنریشن کا وقت دس گنا تک کم ہو سکتا ہے۔ اس میں اسٹرکچرڈ آؤٹ پٹ مدد کرتا ہے۔
کیش والا ذریعہ کیشنگ کے لیے پرامپٹ کی ساخت میں بیان کیا گیا ہے۔ متوازی چلانے والا ذریعہ جلد ہی ریٹ لمٹس سے ٹکراتا ہے؛ 429 ایررز سے نمٹنا دیکھیں۔
پرامپٹ کی لمبائی اس توازن کو کیسے بدلتی ہے؟
TTFT پرامپٹ کے ساتھ بڑھتا ہے کیونکہ لکھنا شروع کرنے سے پہلے ماڈل کو ہر ان پٹ ٹوکن پروسیس کرنا ہوتا ہے۔ یہی بہت لمبے پرامپٹس کی چھپی لاگت ہے اور لمبا کانٹیکسٹ بمقابلہ RAG والے فیصلے کا حصہ بھی: دس لاکھ (1M) ٹوکن کا پرامپٹ ایسے سوالوں کے جواب دے دیتا ہے جو RAG نہیں دے سکتا، لیکن وہ آہستہ شروع ہوتا ہے۔ اگر انٹرایکٹو رفتار اہم ہے تو مرکزی راستہ مختصر رکھیں اور بڑا کانٹیکسٹ تب ہی بھیجیں جب سوال کو اس کی ضرورت ہو۔
BroadNet Inference کہاں فٹ ہوتا ہے
BroadNet اپنے پلان ماڈل کے لیے تقریباً 100 ٹوکن فی سیکنڈ کی عام رفتار شائع کرتا ہے اور معیاری SSE فارمیٹ میں اسٹریم کرتا ہے، اس لیے اوپر کا کوڈ بغیر تبدیلی کے چلتا ہے۔ یہ TTFT کے اعداد یا لیٹنسی SLAs شائع نہیں کرتا، اس لیے فیصلے سے پہلے اپنے پرامپٹس پر ناپیں؛ $1 کا ایک Meteor گھنٹہ 50 رنز کے بینچ مارک کے لیے کافی ہے، اور ابتدائی کریڈٹ Gemma 4 VL 26B پر ایک بینچ مارک کا خرچ اٹھا لیتا ہے۔ اگر آپ کو بڑے پیمانے پر ایک سیکنڈ سے کم کی ضمانت شدہ لیٹنسی چاہیے تو احتیاط سے ٹیسٹ کریں: استعمال کے مطابق ادائیگی والی کلید بیک وقت 4 جاری درخواستیں دیتی ہے، جو زیادہ حجم والی ریئل ٹائم سرونگ سے زیادہ ایپس اور ایجنٹس کے لیے موزوں ہے۔ ماڈلز اور ان کی قیمتیں ماڈلز اور قیمتوں کے صفحات پر ہیں۔
