---
title: "Apakah itu kependaman LLM? Masa respons hujung ke hujung"
description: "Kependaman LLM ialah tempoh sesuatu permintaan, dari prompt dihantar hingga token terakhir. Komponennya (TTFT, ITL), persentil dan faktor yang mengubahnya."
url: https://broadrouter.com/ms/glossary/latency/
lang: ms
updated: 2026-11-16
publisher: BroadRouter (a BroadNet site); API by BroadNet Inference, https://inference.broadnet.ai
---

Diterjemahkan daripada bahasa Inggeris dengan bantuan AI. [Baca versi asal dalam bahasa Inggeris](https://broadrouter.com/glossary/latency/) (dikemas kini 2026-11-16).

# Kependaman (latency)

Dikemas kini 2026-11-16

Kependaman, bagi API model bahasa, ialah masa yang diambil oleh sesuatu permintaan dari saat dihantar sehingga token output terakhir diterima. Ia ialah jumlah masa ke token pertama dan masa penjanaan, dan biasanya dilaporkan sebagai persentil seperti p50 dan p95, bukan purata.

Juga dikenali sebagai: latency, kependaman LLM, masa respons, kependaman hujung ke hujung, LLM latency, end-to-end latency, response time, e2e latency, inter-token latency

Kependaman ialah angka yang dirasai oleh pengguna. Ia juga angka yang paling kerap mengejutkan pasukan yang beralih daripada demo kepada produksi.

## Cara ia berfungsi

Panduan metrik NVIDIA memberikan formula teras untuk satu permintaan: kependaman hujung ke hujung ialah TTFT ditambah masa penjanaan, dan inter-token latency (ITL) ialah baki masa selepas TTFT dibahagi dengan bilangan token output tolak satu:

```text
e2e_latency = TTFT + generation_time
ITL = (e2e_latency - TTFT) / (output_tokens - 1)
```

[Masa ke token pertama](https://broadrouter.com/ms/glossary/time-to-first-token/) meliputi rangkaian, giliran menunggu dan pembacaan prompt. Masa penjanaan ialah segala-galanya selepas token pertama: (token output − 1) × inter-token latency (ITL), atau lebih kurang token output × ITL bagi balasan yang panjang. Menurut NVIDIA, kependaman hujung ke hujung “includes queueing, batching, and network latency.” (Terjemahan BroadRouter: “termasuk giliran menunggu, batching dan kependaman rangkaian.”)

Contoh pengiraan dengan nombor bulat: katakan model menstrim 50 token output sesaat. Jawapan 600 token mengambil 600 ÷ 50 = 12 saat untuk dijana. Tambah satu saat TTFT dan permintaan itu mengambil kira-kira 13 saat. Separuhkan panjang jawapan dan anda menjimatkan 6 saat; separuhkan TTFT dan anda hanya menjimatkan setengah saat. Di sini, panjang output yang mendominasi.

Bagi sesebuah aplikasi, permintaan jarang berdiri sendiri. Kependaman yang dirasai pada skrin pengguna juga termasuk cubaan semula selepas ralat, masa menunggu slot [keserentakan](https://broadrouter.com/ms/glossary/concurrency/), panggilan alatan antara giliran model, dan kod anda sendiri.

## Mengapa ia penting

Panduan kependaman OpenAI menyenaraikan tujuh prinsip: proses token dengan lebih pantas, jana lebih sedikit token, gunakan lebih sedikit token input, buat lebih sedikit permintaan, jalankan secara selari, kurangkan masa menunggu pengguna, dan jangan terus menggunakan LLM secara lalai. Kebanyakannya ialah pilihan reka bentuk, bukan pilihan penyedia.

Laporkan persentil. p50 sebanyak 4 saat dengan p95 sebanyak 30 saat bermakna seorang daripada setiap dua puluh pengguna menunggu setengah minit atau lebih lama. Purata menyembunyikan ekor itu, dan tamat masa (timeout) ditetapkan berdasarkannya.

Kependaman dan [throughput](https://broadrouter.com/ms/glossary/throughput/) saling bertentangan. NVIDIA menyatakan bahawa apabila permintaan serentak bertambah, jumlah token sesaat sistem meningkat manakala token sesaat bagi setiap pengguna menurun. Penyedia yang sibuk boleh melayan lebih ramai orang tetapi tetap terasa lebih perlahan bagi setiap seorang.

## Di BroadNet Inference

Halaman pelan BroadNet memberikan kelajuan biasa kira-kira 100 token sesaat. Dokumentasinya tidak menerbitkan angka TTFT atau kependaman persentil. Kunci bayar ikut guna membenarkan 4 permintaan serentak; dokumentasi menyenaraikan had keserentakan sebagai salah satu punca HTTP 429, dan setiap cubaan semula selepasnya menambah kependaman di pihak anda. Larian ejen yang panjang patut menetapkan tamat masa dan cubaan semula yang terhad; lihat [tamat masa dan cubaan semula untuk ejen yang berjalan lama](https://broadrouter.com/ms/blog/long-running-agents-timeouts-retries/). Untuk mengukur setiap bahagian dari klien, lihat [panduan kependaman LLM](https://broadrouter.com/ms/blog/llm-latency-ttft-throughput/).

## Soalan lazim

### Apakah perbezaan antara kependaman dan throughput?

Kependaman ialah tempoh satu permintaan. Throughput ialah jumlah kerja yang diselesaikan oleh sistem setiap saat merentas semua permintaan. Pelayan boleh menaikkan throughput dengan menggabungkan (batching) lebih banyak permintaan sementara setiap satu menjadi lebih perlahan.

### Apakah itu inter-token latency?

Purata jurang antara token output selepas token pertama, juga dipanggil masa bagi setiap token output. NVIDIA mentakrifkannya sebagai kependaman hujung ke hujung tolak TTFT, dibahagi dengan bilangan token output tolak satu.

### Bagaimanakah saya boleh mengurangkan kependaman LLM?

Jana lebih sedikit token output, hantar prompt yang lebih pendek, strim jawapan supaya pengguna melihat teks lebih awal, dan jalankan panggilan yang tidak bergantung antara satu sama lain secara selari. Panduan kependaman OpenAI menyenaraikan perkara ini dalam tujuh prinsipnya.

## Lihat juga

-   [Masa ke token pertama (TTFT)](https://broadrouter.com/ms/glossary/time-to-first-token/) (istilah)
-   [Daya pemprosesan (throughput)](https://broadrouter.com/ms/glossary/throughput/) (istilah)
-   [Token sesaat (tokens per second)](https://broadrouter.com/ms/glossary/tokens-per-second/) (istilah)
-   [Keserentakan (concurrency)](https://broadrouter.com/ms/glossary/concurrency/) (istilah)
-   [Had kadar (rate limit)](https://broadrouter.com/ms/glossary/rate-limit/) (istilah)
-   [Strim chat completions dan kendalikan sambungan yang terputus](https://broadrouter.com/ms/guides/streaming-chat-completions/) (panduan)
-   [Kod ralat BroadNet Inference dan bila perlu cuba semula](https://broadrouter.com/ms/guides/errors-and-retries/) (panduan)
-   [Kependaman LLM: TTFT vs token sesaat vs masa hujung ke hujung](https://broadrouter.com/ms/blog/llm-latency-ttft-throughput/) (artikel)
-   [Ejen yang berjalan lama: tamat masa, cubaan semula dan checkpoint](https://broadrouter.com/ms/blog/long-running-agents-timeouts-retries/) (artikel)

Cuba dengan beban kerja sebenar anda. Akaun baharu bermula dengan kredit US$5 untuk Gemma dan transkripsi. DeepSeek, GLM dan Qwen3.8 memerlukan tambah nilai.

[Mulakan](https://inference.broadnet.ai/account/?utm_source=broadrouter&utm_medium=referral&utm_campaign=ms-glossary-latency&utm_content=page-cta) ·

**Sumber**

-   [NVIDIA NIM, metrik penanda aras LLM (end-to-end latency, inter-token latency)](https://docs.nvidia.com/nim/benchmarking/llm/latest/metrics.html)
-   [OpenAI, panduan pengoptimuman kependaman (tujuh prinsip)](https://developers.openai.com/api/docs/guides/latency-optimization)
-   [Pelan BroadNet Inference (kelajuan biasa) (Bahasa Inggeris)](https://inference.broadnet.ai/plans?utm_source=broadrouter&utm_medium=referral&utm_campaign=ms-glossary-latency&utm_content=sources)
