---
title: "Độ trễ LLM là gì? Thời gian phản hồi end-to-end | BroadRouter"
description: "Độ trễ LLM là thời gian một request mất, từ lúc gửi prompt tới token cuối cùng. Các thành phần (TTFT, độ trễ giữa các token), percentile và những gì làm nó thay đổi."
url: https://broadrouter.com/vi/glossary/latency/
lang: vi
updated: 2026-11-16
publisher: BroadRouter (a BroadNet site); API by BroadNet Inference, https://inference.broadnet.ai
---

Được dịch từ tiếng Anh với sự hỗ trợ của AI. [Đọc bản gốc tiếng Anh](https://broadrouter.com/glossary/latency/) (cập nhật ngày 2026-11-16).

# Độ trễ (latency)

Cập nhật 2026-11-16

Với API model ngôn ngữ, độ trễ (latency) là thời gian từ lúc gửi request tới khi nhận được token đầu ra cuối cùng. Nó bằng thời gian tới token đầu tiên cộng thời gian sinh, và thường được báo cáo theo percentile như p50 và p95 thay vì giá trị trung bình.

Còn gọi là: độ trễ, độ trễ LLM, thời gian phản hồi, độ trễ end-to-end, độ trễ giữa các token, LLM latency, end-to-end latency, response time, e2e latency, inter-token latency

Độ trễ là con số người dùng cảm nhận được. Đó cũng là con số hay khiến các đội bất ngờ nhất khi chuyển từ bản demo sang production.

## Cách hoạt động

Hướng dẫn chỉ số của NVIDIA đưa ra công thức cốt lõi cho một request:

```text
e2e_latency = TTFT + generation_time
ITL = (e2e_latency - TTFT) / (output_tokens - 1)
```

Nghĩa là độ trễ end-to-end bằng TTFT cộng thời gian sinh, còn độ trễ giữa các token (ITL) bằng độ trễ end-to-end trừ TTFT, chia cho số token đầu ra trừ một.

[Thời gian tới token đầu tiên](https://broadrouter.com/vi/glossary/time-to-first-token/) bao gồm mạng, hàng đợi và việc đọc prompt. Thời gian sinh là mọi thứ sau token đầu tiên: (số token đầu ra − 1) × độ trễ giữa các token (ITL), hay xấp xỉ số token đầu ra × ITL với câu trả lời dài. Theo NVIDIA, độ trễ end-to-end “includes queueing, batching, and network latency.” (Bản dịch: bao gồm hàng đợi, batching và độ trễ mạng).

Một ví dụ với số tròn: giả sử model stream 50 token đầu ra mỗi giây. Một câu trả lời 600 token mất 600 ÷ 50 = 12 giây để sinh. Cộng thêm một giây TTFT, request mất khoảng 13 giây. Cắt đôi câu trả lời thì tiết kiệm 6 giây; cắt đôi TTFT thì tiết kiệm nửa giây. Ở đây, độ dài đầu ra chiếm phần lớn.

Trong một ứng dụng, hiếm khi một request đứng một mình. Độ trễ trên màn hình người dùng còn gồm cả các lần thử lại sau lỗi, thời gian chờ một suất [request đồng thời](https://broadrouter.com/vi/glossary/concurrency/), các lệnh gọi tool giữa các lượt của model và chính code của bạn.

## Vì sao quan trọng

Hướng dẫn về độ trễ của OpenAI nêu bảy nguyên tắc: xử lý token nhanh hơn, sinh ít token hơn, dùng ít token đầu vào hơn, gửi ít request hơn, chạy song song, để người dùng chờ ít hơn, và đừng mặc định dùng LLM. Phần lớn là lựa chọn thiết kế, không phải lựa chọn nhà cung cấp.

Hãy báo cáo theo percentile. p50 là 4 giây với p95 là 30 giây nghĩa là cứ hai mươi người dùng thì một người chờ nửa phút hoặc lâu hơn. Giá trị trung bình che mất phần đuôi đó, và timeout được đặt theo chính phần đuôi này.

Độ trễ và [thông lượng](https://broadrouter.com/vi/glossary/throughput/) kéo về hai phía ngược nhau. NVIDIA lưu ý rằng khi số request đồng thời tăng, tổng số token mỗi giây của hệ thống tăng trong khi số token mỗi giây của từng người dùng giảm. Một nhà cung cấp bận rộn có thể phục vụ nhiều người hơn mà vẫn cảm thấy chậm hơn với từng người.

## Trên BroadNet Inference

Trang gói của BroadNet nêu tốc độ thông thường là khoảng 100 token mỗi giây. Tài liệu không công bố số liệu TTFT hay độ trễ theo percentile. Một key trả theo mức dùng cho phép 4 request đang xử lý cùng lúc; tài liệu liệt kê giới hạn đồng thời là một trong các nguyên nhân gây HTTP 429, và mỗi lần thử lại sau lỗi đó đều làm tăng độ trễ phía bạn. Các lần chạy agent dài nên đặt timeout và số lần thử lại có giới hạn; xem [timeout và thử lại cho agent chạy lâu](https://broadrouter.com/vi/blog/long-running-agents-timeouts-retries/). Để đo từng phần từ phía client, xem [hướng dẫn độ trễ LLM](https://broadrouter.com/vi/blog/llm-latency-ttft-throughput/).

## Câu hỏi thường gặp

### Độ trễ và thông lượng khác nhau thế nào?

Độ trễ là thời gian một request mất. Thông lượng là lượng việc hệ thống hoàn thành mỗi giây trên tất cả request. Một server có thể tăng thông lượng bằng cách gom nhiều request hơn trong khi từng request lại chậm đi.

### Độ trễ giữa các token (inter-token latency) là gì?

Là khoảng cách trung bình giữa các token đầu ra sau token đầu tiên, còn gọi là thời gian cho mỗi token đầu ra. NVIDIA định nghĩa nó là độ trễ end-to-end trừ TTFT, chia cho số token đầu ra trừ một.

### Làm sao giảm độ trễ LLM?

Sinh ít token đầu ra hơn, gửi prompt ngắn hơn, stream câu trả lời để người dùng thấy chữ sớm hơn, và chạy song song các lệnh gọi độc lập. Hướng dẫn về độ trễ của OpenAI nêu các cách này trong bảy nguyên tắc của mình.

## Xem thêm

-   [Thời gian tới token đầu tiên (TTFT)](https://broadrouter.com/vi/glossary/time-to-first-token/) (thuật ngữ)
-   [Throughput (thông lượng)](https://broadrouter.com/vi/glossary/throughput/) (thuật ngữ)
-   [Số token mỗi giây (tokens per second, TPS)](https://broadrouter.com/vi/glossary/tokens-per-second/) (thuật ngữ)
-   [Concurrency (request đồng thời)](https://broadrouter.com/vi/glossary/concurrency/) (thuật ngữ)
-   [Giới hạn tần suất (rate limit)](https://broadrouter.com/vi/glossary/rate-limit/) (thuật ngữ)
-   [Streaming chat completions và xử lý khi mất kết nối](https://broadrouter.com/vi/guides/streaming-chat-completions/) (hướng dẫn)
-   [Mã lỗi BroadNet Inference và khi nào nên thử lại](https://broadrouter.com/vi/guides/errors-and-retries/) (hướng dẫn)
-   [Độ trễ LLM: TTFT, token mỗi giây và thời gian end-to-end](https://broadrouter.com/vi/blog/llm-latency-ttft-throughput/) (bài viết)
-   [Agent chạy dài: timeout, retry và checkpoint đứng vững](https://broadrouter.com/vi/blog/long-running-agents-timeouts-retries/) (bài viết)

Hãy thử với khối lượng công việc thực tế của bạn. Tài khoản mới được tặng US$5 tín dụng ban đầu cho Gemma và chuyển giọng nói thành văn bản. DeepSeek, GLM và Qwen3.8 cần nạp tiền.

[Bắt đầu](https://inference.broadnet.ai/account/?utm_source=broadrouter&utm_medium=referral&utm_campaign=vi-glossary-latency&utm_content=page-cta) ·

**Nguồn**

-   [NVIDIA NIM, các chỉ số benchmark LLM (độ trễ end-to-end, độ trễ giữa các token)](https://docs.nvidia.com/nim/benchmarking/llm/latest/metrics.html)
-   [OpenAI, hướng dẫn tối ưu độ trễ (bảy nguyên tắc)](https://developers.openai.com/api/docs/guides/latency-optimization)
-   [Các gói BroadNet Inference (tốc độ thông thường) (tiếng Anh)](https://inference.broadnet.ai/plans?utm_source=broadrouter&utm_medium=referral&utm_campaign=vi-glossary-latency&utm_content=sources)
