---
title: "LLM لیٹنسی کی وضاحت: TTFT، tokens/sec اور کل وقت | BroadRouter"
description: "ٹائم ٹو فرسٹ ٹوکن، فی سیکنڈ ٹوکن اور اینڈ ٹو اینڈ لیٹنسی کیا ناپتے ہیں، کلائنٹ سے ہر ایک کو کوڈ کے ذریعے کیسے ناپیں، اور کون سی اصلاح کون سا عدد بدلتی ہے۔"
url: https://broadrouter.com/ur/blog/llm-latency-ttft-throughput/
lang: ur
updated: 2026-11-14
publisher: BroadRouter (a BroadNet site); API by BroadNet Inference, https://inference.broadnet.ai
---

یہ صفحہ انگریزی سے AI کی مدد سے ترجمہ کیا گیا ہے۔ [انگریزی اصل پڑھیں](https://broadrouter.com/blog/llm-latency-ttft-throughput/) (اپ ڈیٹ: 2026-11-16).

# LLM لیٹنسی: TTFT، فی سیکنڈ ٹوکن اور مکمل جواب کا وقت

BroadNet Inference ٹیم · 4 منٹ کی پڑھائی · شائع شدہ 2026-11-14 · اپ ڈیٹ 2026-11-16

ٹائم ٹو فرسٹ ٹوکن (TTFT) پہلے آؤٹ پٹ ٹوکن سے پہلے کا انتظار ہے۔ فی سیکنڈ ٹوکن بتاتا ہے کہ اس کے بعد جواب کتنی تیزی سے اسٹریم ہوتا ہے۔ اینڈ ٹو اینڈ لیٹنسی کل وقت ہے: TTFT جمع جنریشن کا وقت (≈ آؤٹ پٹ ÷ رفتار)۔ پرامپٹ کی لمبائی اور قطار TTFT طے کرتے ہیں، ماڈل کا سائز اور لوڈ رفتار، اور جواب کی لمبائی کل وقت۔ تینوں کو p50 اور p95 پر ناپیں۔

## اہم نکات

-   اینڈ ٹو اینڈ لیٹنسی ≈ TTFT + (آؤٹ پٹ ٹوکن − 1) × انٹر ٹوکن لیٹنسی، یعنی تقریباً TTFT + آؤٹ پٹ ٹوکن ÷ فی صارف فی سیکنڈ ٹوکن۔ لمبے جوابات میں رفتار اور لمبائی حاوی رہتی ہیں؛ مختصر جوابات میں TTFT۔
-   ریزننگ ماڈلز پر پہلا نظر آنے والا ٹوکن سوچنے کے بعد آتا ہے، اس لیے ٹائم ٹو فرسٹ کانٹینٹ ٹوکن کو ٹائم ٹو فرسٹ ٹوکن سے الگ ناپیں۔
-   لمبے پرامپٹس TTFT بڑھاتے ہیں کیونکہ ماڈل پہلے پورا پرامپٹ پڑھتا ہے؛ کیش شدہ پری فکس عموماً مدد کرتے ہیں۔
-   تقریباً 100 ٹوکن فی سیکنڈ پر جنریشن کا وقت جواب کی لمبائی کے ساتھ اسی تناسب سے بڑھتا ہے: دس گنا آؤٹ پٹ ٹوکن اسٹریم ہونے میں تقریباً دس گنا وقت لیتے ہیں۔
-   p50 اور p95 پرامپٹ کی لمبائی کے ساتھ بتائیں؛ پرامپٹ کے سائز کے بغیر اوسط کا موازنہ نہیں ہو سکتا۔

**اس صفحے پر**

1.  TTFT، فی سیکنڈ ٹوکن اور اینڈ ٹو اینڈ لیٹنسی کیا ہیں؟
2.  ریزننگ ماڈلز کے لیے چوتھا عدد کیوں چاہیے؟
3.  کلائنٹ سے لیٹنسی کیسے ناپیں؟
4.  ہر عدد اصل میں کس چیز سے بہتر ہوتا ہے؟
5.  پرامپٹ کی لمبائی اس توازن کو کیسے بدلتی ہے؟
6.  BroadNet Inference کہاں فٹ ہوتا ہے

“API سست ہے” کے تین مختلف مطلب ہو سکتے ہیں، اور ہر ایک کا حل الگ ہے۔ چیٹ صارف پہلے لفظ کا انتظار کرتا ہے۔ ایجنٹ پوری ٹول کال کا انتظار کرتا ہے۔ بیچ جاب کو فی گھنٹہ ٹوکن سے غرض ہوتی ہے۔ یہ پوسٹ تینوں اعداد کی تعریف کرتی ہے، دکھاتی ہے کہ اپنے کوڈ سے انہیں کیسے ناپیں، اور ہر اصلاح کو اس عدد سے جوڑتی ہے جسے وہ واقعی بدلتی ہے۔

## TTFT، فی سیکنڈ ٹوکن اور اینڈ ٹو اینڈ لیٹنسی کیا ہیں؟

NVIDIA کی بینچ مارکنگ گائیڈ صاف تعریفیں دیتی ہے، اور وہ کلائنٹ سے نظر آنے والی چیزوں سے میل کھاتی ہیں:

| پیمانہ | کیا ناپتا ہے | کسے محسوس ہوتا ہے | کس پر منحصر |
| --- | --- | --- | --- |
| [ٹائم ٹو فرسٹ ٹوکن](https://broadrouter.com/ur/glossary/time-to-first-token/) (TTFT) | درخواست بھیجی → پہلا ٹوکن ملا | چیٹ صارفین | نیٹ ورک، قطار، پرامپٹ کی لمبائی (prefill)، کیش ہٹس |
| انٹر ٹوکن لیٹنسی (ITL) | ٹوکنز کے درمیان اوسط وقفہ | اسٹریم ہوتے جواب کے قاری | ماڈل کا سائز، ہارڈویئر، سرور کا لوڈ |
| فی صارف [فی سیکنڈ ٹوکن](https://broadrouter.com/ur/glossary/tokens-per-second/) | پہلے ٹوکن کے بعد کے آؤٹ پٹ ٹوکن ÷ جنریشن کا وقت (پہلے سے آخری ٹوکن تک)؛ 1 ÷ اوسط ITL کے برابر | قاری، ایجنٹس | ITL جیسا ہی |
| اینڈ ٹو اینڈ لیٹنسی | درخواست بھیجی → آخری ٹوکن ملا | ایجنٹس، APIs، بیچ | TTFT + جنریشن کا وقت |

انہیں جوڑنے والا فارمولا:

**اینڈ ٹو اینڈ ≈ TTFT + (آؤٹ پٹ ٹوکن − 1) × ITL ≈ TTFT + آؤٹ پٹ ٹوکن ÷ فی صارف فی سیکنڈ ٹوکن**

فی صارف رفتار اور سرور کا [تھروپٹ](https://broadrouter.com/ur/glossary/throughput/) ایک نہیں؛ تھروپٹ وہ کل ٹوکن ہیں جو سرور تمام صارفین کے لیے بناتا ہے، اور فراہم کنندہ ایک کو بڑھا سکتا ہے جبکہ دوسرا گرتا ہے۔

BroadNet اپنے پلان ماڈل کے لیے جو عام رفتار شائع کرتا ہے، تقریباً 100 ٹوکن فی سیکنڈ، اسے لیں۔ جنریشن کا وقت جواب کی لمبائی کے ساتھ بڑھتا ہے: 4,000 ٹوکن کی کوڈ فائل بننے میں 50 ٹوکن کی درجہ بندی سے تقریباً اسی گنا وقت لگتا ہے، جبکہ دونوں ایک ہی TTFT کا انتظار کرتے ہیں۔ مختصر جوابات میں انتظار کا زیادہ حصہ TTFT ہے؛ لمبے جوابات میں رفتار اور لمبائی۔

## ریزننگ ماڈلز کے لیے چوتھا عدد کیوں چاہیے؟

[DeepSeek V4.1 Flash](https://broadrouter.com/ur/models/deepseek-v4.1-flash/) جیسے ریزننگ ماڈلز جواب دینے سے پہلے سوچتے ہیں، اور یہ سوچ بھی آؤٹ پٹ ٹوکن ہے۔ اگر ماڈل تقریباً 100 ٹوکن فی سیکنڈ پر 800 ٹوکن ریزننگ میں لگاتا ہے تو پہلا نظر آنے والا لفظ آنے سے پہلے صارف کو ان تمام 800 ٹوکنز کے بننے کا انتظار کرنا پڑتا ہے، چاہے نیٹ ورک پر TTFT تیز دکھائی دے۔ اس لیے **ٹائم ٹو فرسٹ کانٹینٹ ٹوکن** الگ سے ناپیں۔ BroadNet Inference پر `reasoning_effort: "low"` آسان مراحل کے لیے سوچ مختصر کرتا ہے؛ [ریزننگ گائیڈ](https://broadrouter.com/ur/guides/reasoning-tokens-empty-response/) اس کا نفع نقصان سمجھاتی ہے۔

## کلائنٹ سے لیٹنسی کیسے ناپیں؟

جہاں آپ کے صارفین ہیں وہیں سے ناپیں، [اسٹریمنگ](https://broadrouter.com/ur/glossary/streaming/) آن رکھ کر۔ سرور کی طرف کے ٹائمرز نیٹ ورک اور کسی بھی پراکسی کا وقت چھوڑ دیتے ہیں۔

```python
import os, time, statistics
from openai import OpenAI

client = OpenAI(base_url="https://inference.broadnet.ai/v1", api_key=os.environ["BROADNET_API_KEY"])

def timed(model, messages, max_tokens=1500):
    t0 = time.perf_counter()
    first = first_content = None
    usage = None
    stream = client.chat.completions.create(
        model=model, messages=messages, max_tokens=max_tokens,
        stream=True, stream_options={"include_usage": True},
    )
    for chunk in stream:
        now = time.perf_counter()
        if chunk.choices:
            if first is None:
                first = now
            if chunk.choices[0].delta.content and first_content is None:
                first_content = now
        if chunk.usage:
            usage = chunk.usage
    end = time.perf_counter()
    out = usage.completion_tokens if usage else 0
    return {
        "ttft": first - t0,
        "ttfct": (first_content or end) - t0,
        "e2e": end - t0,
        "tps": (out - 1) / (end - first) if out > 1 and end > first else 0,
        "prompt_tokens": usage.prompt_tokens if usage else None,
    }

runs = [timed("broadnet/gemma-4-26b-a4b", [{"role": "user", "content": "Summarise SSE in 100 words."}]) for _ in range(50)]
for k in ("ttft", "ttfct", "e2e", "tps"):
    xs = sorted(r[k] for r in runs)
    print(k, "p50", round(statistics.median(xs), 3), "p95", round(xs[int(len(xs) * 0.95) - 1], 3))
```

منصفانہ بینچ مارک کے پانچ اصول:

1.  **پرامپٹ کی لمبائی مقرر رکھیں** اور اسے بتائیں۔ 500 پرامپٹ ٹوکن اور 200,000 پرامپٹ ٹوکن پر TTFT مختلف اعداد ہیں۔ [ٹوکن کاؤنٹر](https://broadrouter.com/tools/token-counter/) بھیجنے سے پہلے بتا دیتا ہے کہ ٹیسٹ پرامپٹ کتنا لمبا ہے۔
2.  **آؤٹ پٹ کی لمبائی مقرر رکھیں**، `max_tokens` اور ایسے پرامپٹ سے جو اسے بھر دے، تاکہ فی سیکنڈ ٹوکن کا موازنہ ہو سکے۔
3.  **p50 اور p95 بتائیں**، اوسط نہیں۔ صارفین کو آخری سرے (tail) کی لیٹنسی ہی یاد رہتی ہے۔
4.  **رنز کو وقت میں پھیلائیں۔** دن بھر میں لوڈ بدلتا ہے۔
5.  **پہلے وارم اپ کریں۔** پہلی کال DNS، TLS اور کنکشن سیٹ اپ کا وقت بھی بھرتی ہے؛ ایک ہی کلائنٹ دوبارہ استعمال کریں۔

## ہر عدد اصل میں کس چیز سے بہتر ہوتا ہے؟

| بہتر کرنا ہے | یہ کریں | کیوں |
| --- | --- | --- |
| TTFT | پرامپٹ پری فکس مختصر کریں یا کیش کریں | prefill کا وقت پرامپٹ کی لمبائی کے ساتھ بڑھتا ہے؛ کیش شدہ پری فکس کام بچاتے ہیں |
| TTFT | کنکشنز گرم رکھیں، قریبی ریجن استعمال کریں | سیٹ اپ اور آمد و رفت کے چکر ختم ہوتے ہیں |
| ٹائم ٹو فرسٹ کانٹینٹ ٹوکن | ریزننگ effort کم کریں، یا آسان مراحل کے لیے بغیر ریزننگ والا ماڈل لیں | جواب سے پہلے کم چھپی سوچ |
| فی سیکنڈ ٹوکن | اس مرحلے کے لیے چھوٹا یا تیز ماڈل لیں | decode کی رفتار ماڈل کے سائز اور سرونگ پر منحصر ہے |
| اینڈ ٹو اینڈ | مختصر آؤٹ پٹ مانگیں (اسکیما، الفاظ کی حد) | آؤٹ پٹ کی لمبائی ITL کو کئی گنا کرتی ہے |
| بہت سی کالز کا اینڈ ٹو اینڈ | آزاد کالز اپنی [کنکرنسی](https://broadrouter.com/ur/glossary/concurrency/) حد کے اندر متوازی چلائیں | ہر کال ویسی ہی رہتی ہے، پھر بھی کل وقت گرتا ہے |
| محسوس ہونے والی لیٹنسی | صارف تک اسٹریم کریں | ماڈل لکھتا رہتا ہے اور صارف پڑھتا رہتا ہے |

آؤٹ پٹ کی لمبائی سب سے کم سمجھا جانے والا ذریعہ ہے۔ “explain your answer” کے بجائے “ان چار فیلڈز والا JSON” مانگنے سے، بغیر کسی انفراسٹرکچر کے کام کے، جنریشن کا وقت دس گنا تک کم ہو سکتا ہے۔ اس میں [اسٹرکچرڈ آؤٹ پٹ](https://broadrouter.com/ur/glossary/structured-output/) مدد کرتا ہے۔

کیش والا ذریعہ [کیشنگ کے لیے پرامپٹ کی ساخت](https://broadrouter.com/ur/blog/prompt-structure-for-caching/) میں بیان کیا گیا ہے۔ متوازی چلانے والا ذریعہ جلد ہی ریٹ لمٹس سے ٹکراتا ہے؛ [429 ایررز سے نمٹنا](https://broadrouter.com/ur/blog/handle-llm-api-429-rate-limits/) دیکھیں۔

## پرامپٹ کی لمبائی اس توازن کو کیسے بدلتی ہے؟

TTFT پرامپٹ کے ساتھ بڑھتا ہے کیونکہ لکھنا شروع کرنے سے پہلے ماڈل کو ہر ان پٹ ٹوکن پروسیس کرنا ہوتا ہے۔ یہی بہت لمبے پرامپٹس کی چھپی لاگت ہے اور [لمبا کانٹیکسٹ بمقابلہ RAG](https://broadrouter.com/ur/blog/long-context-vs-rag/) والے فیصلے کا حصہ بھی: دس لاکھ (1M) ٹوکن کا پرامپٹ ایسے سوالوں کے جواب دے دیتا ہے جو RAG نہیں دے سکتا، لیکن وہ آہستہ شروع ہوتا ہے۔ اگر انٹرایکٹو رفتار اہم ہے تو مرکزی راستہ مختصر رکھیں اور بڑا کانٹیکسٹ تب ہی بھیجیں جب سوال کو اس کی ضرورت ہو۔

## BroadNet Inference کہاں فٹ ہوتا ہے

BroadNet اپنے پلان ماڈل کے لیے تقریباً 100 ٹوکن فی سیکنڈ کی عام رفتار شائع کرتا ہے اور معیاری SSE فارمیٹ میں اسٹریم کرتا ہے، اس لیے اوپر کا کوڈ بغیر تبدیلی کے چلتا ہے۔ یہ TTFT کے اعداد یا لیٹنسی SLAs شائع نہیں کرتا، اس لیے فیصلے سے پہلے اپنے پرامپٹس پر ناپیں؛ $1 کا ایک [Meteor گھنٹہ](https://inference.broadnet.ai/plans?utm_source=broadrouter&utm_medium=referral&utm_campaign=ur-blog-llm-latency-ttft-throughput&utm_content=body) 50 رنز کے بینچ مارک کے لیے کافی ہے، اور ابتدائی کریڈٹ Gemma 4 VL 26B پر ایک بینچ مارک کا خرچ اٹھا لیتا ہے۔ اگر آپ کو بڑے پیمانے پر ایک سیکنڈ سے کم کی ضمانت شدہ لیٹنسی چاہیے تو احتیاط سے ٹیسٹ کریں: استعمال کے مطابق ادائیگی والی کلید بیک وقت 4 جاری درخواستیں دیتی ہے، جو زیادہ حجم والی ریئل ٹائم سرونگ سے زیادہ ایپس اور ایجنٹس کے لیے موزوں ہے۔ ماڈلز اور ان کی قیمتیں [ماڈلز](https://broadrouter.com/ur/models/) اور [قیمتوں](https://broadrouter.com/ur/pricing/) کے صفحات پر ہیں۔

اس موضوع کے مفت ٹولز (انگریزی میں)

-   [OpenAI to BroadNet migration helper](https://broadrouter.com/tools/openai-to-broadnet-migration/) Paste OpenAI SDK code; get base URL, key and model edits, a diff and the checks that remain.
-   [max\_tokens calculator for reasoning models](https://broadrouter.com/tools/reasoning-token-budget/) Answer length + reasoning budget + margin = a max\_tokens that does not cut the answer off.
-   [JSON schema generator for LLM structured output](https://broadrouter.com/tools/json-schema-generator/) Sample JSON to strict schema, Pydantic, Zod and a ready request.
-   [LLM JSON output validator](https://broadrouter.com/tools/llm-json-output-validator/) Parse errors by line and column, safe repairs, cut-off detection and JSON Schema checks for model output.

[مفت ٹولز (انگریزی میں)](https://broadrouter.com/tools/)

## اس مضمون کی اصطلاحات

[ٹوکن (token)](https://broadrouter.com/ur/glossary/token/)

ٹوکن متن کی وہ اکائی ہے جسے لینگویج ماڈل پڑھتا اور لکھتا ہے: کوئی لفظ، لفظ کا حصہ، رموزِ اوقاف کی کوئی علامت یا بائٹس کا سلسلہ، جو ماڈل کا ٹوکنائزر بناتا ہے۔ LLM API استعمال کو ٹوکنز میں گنتے ہیں، انہی میں حدیں لگاتے ہیں اور عموماً بل بھی بناتے ہیں۔

[پہلے ٹوکن تک کا وقت (TTFT، time to first token)](https://broadrouter.com/ur/glossary/time-to-first-token/)

Time to first token (TTFT) وہ وقت ہے جو لینگویج ماڈل کو درخواست بھیجنے سے پہلا آؤٹ پٹ ٹوکن آنے تک لگتا ہے۔ اس میں نیٹ ورک کا وقت، سرور پر قطار اور prefill شامل ہیں، یعنی وہ مرحلہ جس میں ماڈل پورا پرامپٹ پڑھتا ہے، اس لیے یہ پرامپٹ کی لمبائی اور لوڈ کے ساتھ بڑھتا ہے۔

[لیٹنسی (latency)](https://broadrouter.com/ur/glossary/latency/)

لینگویج ماڈل API کے لیے لیٹنسی وہ وقت ہے جو کسی درخواست کے بھیجے جانے سے آخری آؤٹ پٹ ٹوکن موصول ہونے تک لگتا ہے۔ یہ پہلے ٹوکن تک کے وقت اور جنریشن ٹائم کا مجموعہ ہے، اور عموماً اوسط کے بجائے p50 اور p95 جیسے پرسنٹائلز میں بتائی جاتی ہے۔

[ان پٹ اور آؤٹ پٹ ٹوکن (input and output tokens)](https://broadrouter.com/ur/glossary/input-and-output-tokens/)

ان پٹ ٹوکن وہ ٹوکن ہیں جو لینگویج ماڈل کسی درخواست میں پڑھتا ہے، جن میں سسٹم پرامپٹ، گفتگو کی تاریخ، ٹول ڈیفینیشنز اور تصاویر شامل ہیں۔ آؤٹ پٹ ٹوکن وہ ہیں جو وہ جواب میں بناتا ہے، ریزننگ سمیت۔ LLM API عموماً دونوں کی قیمت الگ رکھتے ہیں، اور آؤٹ پٹ عموماً مہنگا ہوتا ہے۔

[کنکرنسی (concurrency)](https://broadrouter.com/ur/glossary/concurrency/)

کنکرنسی، کسی کلائنٹ کی بیک وقت چل رہی (in-flight) درخواستوں کی تعداد ہے۔ LLM APIs اکثر اس کی حد ہر کلید یا پلان پر، فی منٹ درخواستوں سے الگ رکھتے ہیں، کیونکہ ہر کھلی درخواست جواب مکمل ہونے تک GPU کی گنجائش گھیرے رکھتی ہے۔

[تھروپٹ (throughput)](https://broadrouter.com/ur/glossary/throughput/)

LLM سرونگ میں تھروپٹ وہ کل کام ہے جو کوئی سسٹم تمام بیک وقت درخواستوں میں فی اکائی وقت مکمل کرتا ہے، عموماً آؤٹ پٹ ٹوکن فی سیکنڈ یا درخواستیں فی سیکنڈ میں ناپا جاتا ہے۔ یہ فی اسٹریم رفتار سے مختلف ہے، جو بتاتی ہے کہ ایک درخواست کو اس کے ٹوکن کتنی تیزی سے ملتے ہیں۔

[اسٹریمنگ (streaming)](https://broadrouter.com/ur/glossary/streaming/)

اسٹریمنگ، لینگویج ماڈل کے جواب کو آخر میں ایک ساتھ لوٹانے کے بجائے، بنتے وقت ہی چھوٹے چھوٹے ٹکڑوں (chunks) میں لوٹانے کا طریقہ ہے۔ OpenAI-compatible APIs، درخواست میں stream کو true سیٹ کرنے پر server-sent events کے ذریعے اسٹریم کرتے ہیں۔

[استعمال کے مطابق ادائیگی (pay-as-you-go)](https://broadrouter.com/ur/glossary/pay-as-you-go/)

استعمال کے مطابق ادائیگی (pay-as-you-go) قیمت طے کرنے کا ایک ماڈل ہے جس میں آپ صرف اتنا دیتے ہیں جتنا استعمال کرتے ہیں، ٹوکن، درخواستوں یا آڈیو منٹ جیسی اکائیوں میں ناپ کر، بغیر سبسکرپشن یا کم از کم وابستگی کے۔ زیادہ تر LLM API اسی طرح بل بناتے ہیں، پری پیڈ بیلنس یا وقتاً فوقتاً بننے والی انوائس سے۔

## عام سوالات

### LLM API کے لیے اچھا ٹائم ٹو فرسٹ ٹوکن کتنا ہوتا ہے؟

چیٹ کے لیے مختصر پرامپٹس پر تقریباً ایک سیکنڈ سے کم تیز محسوس ہوتا ہے۔ لمبے پرامپٹس اور ریزننگ ماڈلز اپنی ساخت کی وجہ سے زیادہ وقت لیتے ہیں۔ TTFT کا موازنہ صرف ایک جیسی پرامپٹ لمبائی اور ایک ہی ماڈل پر کریں۔

### کیا فی سیکنڈ ٹوکن اور تھروپٹ ایک ہی چیز ہیں؟

پوری طرح نہیں۔ فی صارف فی سیکنڈ ٹوکن بتاتا ہے کہ ایک جواب کتنی تیزی سے اسٹریم ہوتا ہے۔ تھروپٹ وہ کل ٹوکن ہیں جو سرور تمام صارفین کے لیے مل کر بناتا ہے۔ فراہم کنندہ کل تھروپٹ بڑھا سکتا ہے جبکہ ہر صارف کی رفتار گرتی ہے۔

### ریزننگ ماڈل پر TTFT اتنا زیادہ کیوں ہوتا ہے؟

ماڈل نظر آنے والے جواب سے پہلے چھپے ہوئے ریزننگ ٹوکن بناتا ہے۔ پہلا ٹوکن جلدی آ سکتا ہے، لیکن پہلا کانٹینٹ ٹوکن سوچ مکمل ہونے تک رکا رہتا ہے۔ آسان کاموں کے لیے reasoning\_effort کم کریں۔

### کیا اسٹریمنگ سے لیٹنسی کم ہوتی ہے؟

اینڈ ٹو اینڈ وقت کم نہیں ہوتا۔ لیکن صارف جواب لکھے جانے کے دوران ہی اسے پڑھنے لگتا ہے، اس لیے محسوس ہونے والی لیٹنسی تقریباً TTFT تک گر جاتی ہے۔

### قابل اعتماد لیٹنسی بینچ مارک کے لیے کتنی درخواستیں چاہییں؟

اتنی کہ آخری سرے (tail) کی لیٹنسی نظر آ جائے۔ ہر پرامپٹ سائز پر پچاس سے سو درخواستیں قابل استعمال p95 دیتی ہیں۔ انہیں دن بھر میں پھیلائیں، کیونکہ لوڈ بدلتا رہتا ہے۔

## مزید پڑھیں

-   [LLM اسٹریمنگ کی وضاحت: SSE چنکس، ڈیلٹا، usage اور منسوخی](https://broadrouter.com/ur/blog/llm-streaming-sse-explained/)
-   [پرامپٹ کی ساخت کیسے بنائیں تاکہ پری فکس کیش ہو](https://broadrouter.com/ur/blog/prompt-structure-for-caching/)
-   [لانگ کانٹیکسٹ بمقابلہ RAG: کب 1M ٹوکن ویکٹر DB کی جگہ لیتے ہیں](https://broadrouter.com/ur/blog/long-context-vs-rag/)
-   [BroadNet کا GPU ہارڈویئر اور سروِنگ کا طریقہ، BroadNet کی زبانی](https://broadrouter.com/ur/blog/broadnet-gpu-fleet-and-serving/)
-   [LLM API جوابات کیش کر کے لاگت کم کریں: Python میں ایگزیکٹ میچ کیش](https://broadrouter.com/ur/blog/cache-llm-responses-cut-cost/)
-   [گائیڈ: chat completions اسٹریم کریں اور ٹوٹے کنکشن سنبھالیں](https://broadrouter.com/ur/guides/streaming-chat-completions/)
-   [گائیڈ: ریزننگ ماڈل خالی جواب کیوں لوٹاتا ہے](https://broadrouter.com/ur/guides/reasoning-tokens-empty-response/)

اسے اپنے اصل کام پر آزمائیں۔ نئے اکاؤنٹس Gemma اور ٹرانسکرپشن کے لیے US$5 کے کریڈٹ سے شروع ہوتے ہیں۔ DeepSeek، GLM، اور Qwen3.8 کے لیے ٹاپ اپ ضروری ہے۔

[شروع کریں](https://inference.broadnet.ai/account/?utm_source=broadrouter&utm_medium=referral&utm_campaign=ur-blog-llm-latency-ttft-throughput&utm_content=page-cta) ·

**ذرائع**

-   [NVIDIA NIM بینچ مارکنگ گائیڈ، LLM لیٹنسی اور تھروپٹ کے پیمانے (2026-11-14 کو دیکھا گیا)](https://docs.nvidia.com/nim/benchmarking/llm/metrics)
-   [BroadNet Inference پلانز، عام رفتار (2026-11-15 کو چیک کیا گیا) (انگریزی میں)](https://inference.broadnet.ai/plans?utm_source=broadrouter&utm_medium=referral&utm_campaign=ur-blog-llm-latency-ttft-throughput&utm_content=sources)
-   [BroadNet Inference کا API ریفرنس، اسٹریمنگ اور ریزننگ (2026-11-15 کو چیک کیا گیا) (انگریزی میں)](https://inference.broadnet.ai/docs?utm_source=broadrouter&utm_medium=referral&utm_campaign=ur-blog-llm-latency-ttft-throughput&utm_content=sources)
-   [Baseten Inference Engineering، لیٹنسی اور تھروپٹ کی پیمائش (جانچا گیا 2026-11-16)](https://www.baseten.co/inference-engineering/book/01-prerequisites/measuring-latency-and-throughput/)
