---
title: "LLM لیٹنسی کیا ہے؟ اینڈ ٹو اینڈ رسپانس ٹائم | BroadRouter"
description: "LLM لیٹنسی یعنی درخواست میں لگنے والا وقت، پرامپٹ بھیجنے سے آخری ٹوکن تک۔ اس کے حصے (TTFT، inter-token latency)، پرسنٹائلز، اور اسے کیا بدلتا ہے۔"
url: https://broadrouter.com/ur/glossary/latency/
lang: ur
updated: 2026-11-16
publisher: BroadRouter (a BroadNet site); API by BroadNet Inference, https://inference.broadnet.ai
---

یہ صفحہ انگریزی سے AI کی مدد سے ترجمہ کیا گیا ہے۔ [انگریزی اصل پڑھیں](https://broadrouter.com/glossary/latency/) (اپ ڈیٹ: 2026-11-16).

# لیٹنسی (latency)

اپ ڈیٹ 2026-11-16

لینگویج ماڈل API کے لیے لیٹنسی وہ وقت ہے جو کسی درخواست کے بھیجے جانے سے آخری آؤٹ پٹ ٹوکن موصول ہونے تک لگتا ہے۔ یہ پہلے ٹوکن تک کے وقت اور جنریشن ٹائم کا مجموعہ ہے، اور عموماً اوسط کے بجائے p50 اور p95 جیسے پرسنٹائلز میں بتائی جاتی ہے۔

دوسرے نام: لیٹنسی، رسپانس ٹائم، LLM لیٹنسی، latency kya hai، LLM latency kya hoti hai، latency، LLM latency، end-to-end latency، response time، e2e latency، inter-token latency

لیٹنسی وہ عدد ہے جو صارفین محسوس کرتے ہیں۔ ڈیمو سے پروڈکشن میں جانے والی ٹیموں کو سب سے زیادہ حیران بھی یہی کرتی ہے۔

## یہ کیسے کام کرتی ہے

NVIDIA کی میٹرکس گائیڈ ایک درخواست کے لیے بنیادی فارمولا دیتی ہے۔ پہلی لائن کہتی ہے کہ end-to-end latency = TTFT + جنریشن ٹائم؛ دوسری، کہ ITL = (end-to-end latency − TTFT) ÷ (آؤٹ پٹ ٹوکنز − 1):

```text
e2e_latency = TTFT + generation_time
ITL = (e2e_latency - TTFT) / (output_tokens - 1)
```

[پہلے ٹوکن تک کا وقت](https://broadrouter.com/ur/glossary/time-to-first-token/) نیٹ ورک، قطار اور پرامپٹ پڑھنے کا احاطہ کرتا ہے۔ جنریشن ٹائم پہلے ٹوکن کے بعد کا سارا وقت ہے: (آؤٹ پٹ ٹوکنز − 1) × inter-token latency (ITL)، یا لمبے جواب کے لیے تقریباً آؤٹ پٹ ٹوکنز × ITL۔ NVIDIA کے مطابق end-to-end latency “includes queueing, batching, and network latency” (ترجمہ: اس میں قطار، بیچنگ اور نیٹ ورک لیٹنسی شامل ہیں)۔

گول اعداد والی ایک مثال: فرض کریں کوئی ماڈل فی سیکنڈ 50 آؤٹ پٹ ٹوکن اسٹریم کرتا ہے۔ 600 ٹوکن کا جواب بننے میں 600 ÷ 50 = 12 سیکنڈ لگتے ہیں۔ ایک سیکنڈ کا TTFT جوڑیں تو درخواست میں تقریباً 13 سیکنڈ لگتے ہیں۔ جواب آدھا کریں تو 6 سیکنڈ بچتے ہیں؛ TTFT آدھا کریں تو آدھا سیکنڈ۔ یہاں آؤٹ پٹ کی لمبائی غالب ہے۔

کسی ایپلیکیشن میں درخواست شاذ ہی اکیلی ہوتی ہے۔ صارف کی اسکرین پر نظر آنے والی لیٹنسی میں ایررز کے بعد دوبارہ کوششیں، [concurrency](https://broadrouter.com/ur/glossary/concurrency/) سلاٹ کا انتظار، ماڈل کے ٹرنز کے درمیان ٹول کالز اور آپ کا اپنا کوڈ بھی شامل ہے۔

## یہ کیوں اہم ہے

OpenAI کی لیٹنسی گائیڈ سات اصول گنواتی ہے: ٹوکن تیزی سے پروسیس کریں، کم ٹوکن بنوائیں، کم ان پٹ ٹوکن استعمال کریں، کم درخواستیں کریں، متوازی چلائیں، صارفین کو کم انتظار کرائیں، اور ہر کام کے لیے خود بخود LLM نہ چنیں۔ ان میں سے زیادہ تر ڈیزائن کے فیصلے ہیں، فراہم کنندہ کے نہیں۔

پرسنٹائلز بتائیں۔ 4 سیکنڈ کا p50 اور 30 سیکنڈ کا p95 کا مطلب ہے کہ ہر بیس میں سے ایک صارف آدھا منٹ یا اس سے زیادہ انتظار کرتا ہے۔ اوسط اس دم کو چھپا دیتی ہے، اور ٹائم آؤٹس اسی سے طے ہوتے ہیں۔

لیٹنسی اور [تھرو پٹ](https://broadrouter.com/ur/glossary/throughput/) ایک دوسرے کے مخالف کھنچتے ہیں۔ NVIDIA بتاتا ہے کہ بیک وقت درخواستیں بڑھنے پر نظام کے کل ٹوکن فی سیکنڈ بڑھتے ہیں، جبکہ فی صارف ٹوکن فی سیکنڈ گھٹتے ہیں۔ مصروف فراہم کنندہ زیادہ لوگوں کو سروس دے سکتا ہے اور پھر بھی ہر ایک کو سست لگ سکتا ہے۔

## BroadNet Inference پر

BroadNet کا پلانز صفحہ عام رفتار تقریباً 100 ٹوکن فی سیکنڈ بتاتا ہے۔ اس کی دستاویزات TTFT یا پرسنٹائل لیٹنسی کے اعداد شائع نہیں کرتیں۔ استعمال کے مطابق ادائیگی والی کلید بیک وقت 4 جاری درخواستوں کی اجازت دیتی ہے؛ دستاویزات HTTP 429 کی وجوہات میں concurrency کی حد شامل کرتی ہیں، اور اس کے بعد ہر دوبارہ کوشش آپ کی طرف لیٹنسی بڑھاتی ہے۔ لمبے ایجنٹ رنز میں ٹائم آؤٹس اور محدود دوبارہ کوششیں رکھیں؛ [لمبے چلنے والے ایجنٹس کے لیے ٹائم آؤٹس اور دوبارہ کوششیں](https://broadrouter.com/ur/blog/long-running-agents-timeouts-retries/) دیکھیں۔ کلائنٹ سے ہر حصہ ناپنے کے لیے [LLM لیٹنسی گائیڈ](https://broadrouter.com/ur/blog/llm-latency-ttft-throughput/) دیکھیں۔

## عام سوالات

### لیٹنسی اور تھرو پٹ میں کیا فرق ہے؟

لیٹنسی بتاتی ہے کہ ایک درخواست میں کتنا وقت لگتا ہے۔ تھرو پٹ بتاتا ہے کہ نظام تمام درخواستوں کو ملا کر فی سیکنڈ کتنا کام مکمل کرتا ہے۔ سرور زیادہ درخواستوں کو بیچ کر کے تھرو پٹ بڑھا سکتا ہے، جبکہ ہر درخواست سست ہو جاتی ہے۔

### inter-token latency کیا ہے؟

پہلے ٹوکن کے بعد آؤٹ پٹ ٹوکنز کے درمیان اوسط وقفہ، جسے time per output token بھی کہتے ہیں۔ NVIDIA اسے end-to-end latency میں سے TTFT گھٹا کر، آؤٹ پٹ ٹوکنز مائنس ایک سے تقسیم کرنے کے طور پر بیان کرتا ہے۔

### LLM کی لیٹنسی کیسے کم کریں؟

کم آؤٹ پٹ ٹوکن بنوائیں، چھوٹے پرامپٹس بھیجیں، جواب اسٹریم کریں تاکہ صارف کو متن جلد نظر آئے، اور ایک دوسرے سے آزاد کالز متوازی چلائیں۔ OpenAI کی لیٹنسی گائیڈ انہیں اپنے سات اصولوں میں شمار کرتی ہے۔

## یہ بھی دیکھیں

-   [پہلے ٹوکن تک کا وقت (TTFT، time to first token)](https://broadrouter.com/ur/glossary/time-to-first-token/) (اصطلاح)
-   [تھروپٹ (throughput)](https://broadrouter.com/ur/glossary/throughput/) (اصطلاح)
-   [ٹوکن فی سیکنڈ (tokens per second، TPS)](https://broadrouter.com/ur/glossary/tokens-per-second/) (اصطلاح)
-   [کنکرنسی (concurrency)](https://broadrouter.com/ur/glossary/concurrency/) (اصطلاح)
-   [ریٹ لمٹ (rate limit)](https://broadrouter.com/ur/glossary/rate-limit/) (اصطلاح)
-   [chat completions اسٹریم کریں اور ٹوٹے کنکشن سنبھالیں](https://broadrouter.com/ur/guides/streaming-chat-completions/) (گائیڈ)
-   [BroadNet Inference کے ایرر کوڈز اور دوبارہ کوشش کب کریں](https://broadrouter.com/ur/guides/errors-and-retries/) (گائیڈ)
-   [LLM لیٹنسی: TTFT، فی سیکنڈ ٹوکن اور مکمل جواب کا وقت](https://broadrouter.com/ur/blog/llm-latency-ttft-throughput/) (مضمون)
-   [لمبے چلنے والے ایجنٹس: پائیدار timeouts، retries اور checkpoints](https://broadrouter.com/ur/blog/long-running-agents-timeouts-retries/) (مضمون)

اسے اپنے اصل کام پر آزمائیں۔ نئے اکاؤنٹس Gemma اور ٹرانسکرپشن کے لیے US$5 کے کریڈٹ سے شروع ہوتے ہیں۔ DeepSeek، GLM، اور Qwen3.8 کے لیے ٹاپ اپ ضروری ہے۔

[شروع کریں](https://inference.broadnet.ai/account/?utm_source=broadrouter&utm_medium=referral&utm_campaign=ur-glossary-latency&utm_content=page-cta) ·

**ذرائع**

-   [NVIDIA NIM، LLM بینچ مارکنگ میٹرکس (end-to-end latency، inter-token latency)](https://docs.nvidia.com/nim/benchmarking/llm/latest/metrics.html)
-   [OpenAI، لیٹنسی آپٹیمائزیشن گائیڈ (سات اصول)](https://developers.openai.com/api/docs/guides/latency-optimization)
-   [BroadNet Inference پلانز (عام رفتار) (انگریزی میں)](https://inference.broadnet.ai/plans?utm_source=broadrouter&utm_medium=referral&utm_campaign=ur-glossary-latency&utm_content=sources)
