---
title: "Apa itu latensi LLM? Penjelasan waktu respons end-to-end"
description: "Latensi LLM adalah lama sebuah permintaan, dari prompt dikirim sampai token terakhir. Komponennya (TTFT, inter-token latency), persentil, dan faktor pemengaruhnya."
url: https://broadrouter.com/id/glossary/latency/
lang: id
updated: 2026-11-16
publisher: BroadRouter (a BroadNet site); API by BroadNet Inference, https://inference.broadnet.ai
---

Diterjemahkan dari bahasa Inggris dengan bantuan AI. [Baca versi asli bahasa Inggris](https://broadrouter.com/glossary/latency/) (diperbarui 2026-11-16).

# Latensi (latency)

Diperbarui 2026-11-16

Latensi, untuk API model bahasa, adalah waktu yang dibutuhkan sebuah permintaan sejak dikirim sampai token output terakhir diterima. Latensi adalah jumlah dari time to first token dan waktu generasi, dan biasanya dilaporkan sebagai persentil seperti p50 dan p95, bukan rata-rata.

Disebut juga: latensi, latensi LLM, waktu respons, latensi end-to-end, inter-token latency, latency, LLM latency, end-to-end latency, response time, e2e latency

Latensi adalah angka yang dirasakan pengguna. Angka ini juga yang paling sering mengejutkan tim saat beralih dari demo ke produksi.

## Cara kerjanya

Panduan metrik NVIDIA memberi rumus inti untuk satu permintaan:

```text
e2e_latency = TTFT + generation_time
ITL = (e2e_latency - TTFT) / (output_tokens - 1)
```

[Time to first token](https://broadrouter.com/id/glossary/time-to-first-token/) mencakup jaringan, antrean, dan pembacaan prompt. Waktu generasi adalah semua yang terjadi setelah token pertama: (token output − 1) × inter-token latency (ITL), atau kira-kira token output × ITL untuk balasan panjang. Menurut NVIDIA, latensi end-to-end “includes queueing, batching, and network latency” (terjemahan: mencakup antrean, batching, dan latensi jaringan).

Contoh dengan angka bulat: misalkan model men-stream 50 token output per detik. Balasan 600 token butuh 600 ÷ 50 = 12 detik untuk dihasilkan. Tambahkan TTFT satu detik, dan permintaan itu memakan sekitar 13 detik. Potong balasan menjadi setengahnya dan Anda hemat 6 detik; potong TTFT menjadi setengahnya dan Anda hemat setengah detik. Di sini, panjang output yang paling menentukan.

Dalam sebuah aplikasi, permintaan jarang berdiri sendiri. Latensi di layar pengguna juga mencakup percobaan ulang setelah error, waktu menunggu slot [konkurensi](https://broadrouter.com/id/glossary/concurrency/), tool call di antara giliran model, dan kode Anda sendiri.

## Kenapa ini penting

Panduan latensi OpenAI mencantumkan tujuh prinsip: proses token lebih cepat, hasilkan lebih sedikit token, pakai lebih sedikit token input, buat lebih sedikit permintaan, paralelkan, buat pengguna menunggu lebih sedikit, dan jangan otomatis memakai LLM. Sebagian besar adalah pilihan desain, bukan pilihan penyedia.

Laporkan persentil. p50 sebesar 4 detik dengan p95 sebesar 30 detik berarti satu dari dua puluh pengguna menunggu setengah menit atau lebih. Rata-rata menyembunyikan ekor itu, padahal timeout ditentukan olehnya.

Latensi dan [throughput](https://broadrouter.com/id/glossary/throughput/) saling tarik-menarik. NVIDIA mencatat bahwa saat permintaan bersamaan bertambah, total token per detik sistem naik sementara token per detik per pengguna turun. Penyedia yang sibuk bisa melayani lebih banyak orang namun tetap terasa lebih lambat bagi masing-masing.

## Di BroadNet Inference

Halaman paket BroadNet menyebut kecepatan umum sekitar 100 token per detik. Dokumentasinya tidak memublikasikan angka TTFT atau latensi persentil. Kunci bayar sesuai pemakaian mengizinkan 4 permintaan yang berjalan bersamaan; dokumentasi mencantumkan batas konkurensi sebagai salah satu penyebab HTTP 429, dan setiap percobaan ulang setelahnya menambah latensi di sisi Anda. Run agen yang panjang sebaiknya memakai timeout dan percobaan ulang yang dibatasi; lihat [timeout dan percobaan ulang untuk agen yang berjalan lama](https://broadrouter.com/id/blog/long-running-agents-timeouts-retries/). Untuk mengukur setiap komponen dari sisi client, lihat [panduan latensi LLM](https://broadrouter.com/id/blog/llm-latency-ttft-throughput/).

## Pertanyaan umum

### Apa bedanya latensi dan throughput?

Latensi adalah lama satu permintaan. Throughput adalah seberapa banyak pekerjaan yang diselesaikan sistem per detik untuk semua permintaan. Server bisa menaikkan throughput dengan mem-batch lebih banyak permintaan, sementara setiap permintaan menjadi lebih lambat.

### Apa itu inter-token latency?

Jeda rata-rata antar-token output setelah token pertama, disebut juga time per output token. NVIDIA mendefinisikannya sebagai latensi end-to-end dikurangi TTFT, dibagi jumlah token output dikurangi satu.

### Bagaimana cara mengurangi latensi LLM?

Hasilkan lebih sedikit token output, kirim prompt yang lebih pendek, stream balasan agar pengguna melihat teks lebih cepat, dan jalankan panggilan yang independen secara paralel. Panduan latensi OpenAI mencantumkan hal-hal ini di antara tujuh prinsipnya.

## Lihat juga

-   [Time to first token (TTFT)](https://broadrouter.com/id/glossary/time-to-first-token/) (istilah)
-   [Throughput](https://broadrouter.com/id/glossary/throughput/) (istilah)
-   [Token per detik (tokens per second, TPS)](https://broadrouter.com/id/glossary/tokens-per-second/) (istilah)
-   [Konkurensi (concurrency)](https://broadrouter.com/id/glossary/concurrency/) (istilah)
-   [Rate limit (batas laju)](https://broadrouter.com/id/glossary/rate-limit/) (istilah)
-   [Streaming chat completions dan menangani koneksi terputus](https://broadrouter.com/id/guides/streaming-chat-completions/) (panduan)
-   [Kode error BroadNet Inference dan kapan harus mencoba ulang](https://broadrouter.com/id/guides/errors-and-retries/) (panduan)
-   [Latensi LLM: TTFT vs token per detik vs waktu end-to-end](https://broadrouter.com/id/blog/llm-latency-ttft-throughput/) (artikel)
-   [Agent yang berjalan lama: timeout, retry, dan checkpoint yang andal](https://broadrouter.com/id/blog/long-running-agents-timeouts-retries/) (artikel)

Coba dengan beban kerja Anda yang sebenarnya. Akun baru mendapat kredit US$5 untuk Gemma dan transkripsi. DeepSeek, GLM, dan Qwen3.8 memerlukan top up.

[Mulai](https://inference.broadnet.ai/account/?utm_source=broadrouter&utm_medium=referral&utm_campaign=id-glossary-latency&utm_content=page-cta) ·

**Sumber**

-   [NVIDIA NIM, metrik benchmark LLM (latensi end-to-end, inter-token latency)](https://docs.nvidia.com/nim/benchmarking/llm/latest/metrics.html)
-   [OpenAI, panduan optimasi latensi (tujuh prinsip)](https://developers.openai.com/api/docs/guides/latency-optimization)
-   [Paket BroadNet Inference (kecepatan umum) (bahasa Inggris)](https://inference.broadnet.ai/plans?utm_source=broadrouter&utm_medium=referral&utm_campaign=id-glossary-latency&utm_content=sources)
