---
title: "Request timeout là gì? Timeout cho lệnh gọi API LLM | BroadRouter"
description: "Request timeout là thời gian client chờ API LLM trước khi bỏ cuộc. Connect và read timeout, mặc định của SDK, mã 408 và 504, và cách thử lại an toàn."
url: https://broadrouter.com/vi/glossary/request-timeout/
lang: vi
updated: 2026-11-15
publisher: BroadRouter (a BroadNet site); API by BroadNet Inference, https://inference.broadnet.ai
---

Được dịch từ tiếng Anh với sự hỗ trợ của AI. [Đọc bản gốc tiếng Anh](https://broadrouter.com/glossary/request-timeout/) (cập nhật ngày 2026-11-15).

# Request timeout (thời gian chờ request)

Cập nhật 2026-11-15

Request timeout là thời gian tối đa một HTTP client chờ server trước khi bỏ request. Client thường chia nó thành connect timeout cho việc mở kết nối và read timeout cho việc chờ dữ liệu. Lệnh gọi LLM cần read timeout rộng rãi vì câu trả lời dài cần thời gian.

Còn gọi là: timeout là gì, thời gian chờ request, hết thời gian chờ, cấu hình timeout API, read timeout, connect timeout, client timeout, HTTP timeout

Mọi lệnh gọi mạng đều cần một điểm để thôi chờ. Với lệnh gọi LLM, điểm đó khó chọn, vì một câu trả lời chậm và một kết nối đã chết trông giống hệt nhau trong một lúc.

## Cách hoạt động

HTTP client chia việc chờ thành các giai đoạn. HTTPX, một HTTP client Python phổ biến, có bốn giai đoạn:

| Timeout | Ý nghĩa trong HTTPX | Lỗi |
| --- | --- | --- |
| Connect | Thời gian tối đa để thiết lập kết nối socket | `ConnectTimeout` |
| Read | Thời gian chờ tối đa cho một chunk dữ liệu đến | `ReadTimeout` |
| Write | Thời gian chờ tối đa để gửi một chunk của body request | `WriteTimeout` |
| Pool | Thời gian chờ tối đa để lấy một kết nối từ pool | `PoolTimeout` |

HTTPX thuần mặc định timeout sau năm giây không có hoạt động mạng. OpenAI Python SDK đặt mặc định riêng: “By default requests time out after 10 minutes” (Bản dịch: theo mặc định request hết thời gian chờ sau 10 phút), ném ra `APITimeoutError`, và thử lại request bị timeout hai lần. Nó cũng mặc định thử lại lỗi kết nối, các response 408, 409, 429 và 5xx.

```python
from openai import OpenAI
client = OpenAI(base_url="https://inference.broadnet.ai/v1", timeout=120.0, max_retries=2)
```

Server cũng có timeout. MDN định nghĩa 504 Gateway Timeout là khi gateway hoặc proxy “did not get a response in time from the upstream server” (Bản dịch: không nhận được phản hồi kịp thời từ server phía trên), và 408 Request Timeout là khi server muốn “to shut down this unused connection” (Bản dịch: đóng kết nối không được dùng này).

## Vì sao quan trọng

-   **Model suy luận khởi động chậm.** Phần suy nghĩ diễn ra trước token hiển thị đầu tiên. Một read timeout ngắn trên lệnh gọi không stream có thể cắt đứt một request đang chạy bình thường.
-   **Stream phát hiện tình trạng treo.** Với [streaming](https://broadrouter.com/vi/glossary/streaming/), mỗi chunk đặt lại bộ đếm read, nên tình trạng treo lộ ra nhanh ngay cả với câu trả lời dài.
-   **Thử lại có thể nhân đôi chi phí.** Timeout không có nghĩa server đã dừng. Thử lại một request vẫn đang chạy có thể bị tính phí hai lần. Hãy dùng [exponential backoff](https://broadrouter.com/vi/glossary/exponential-backoff/) có giới hạn trên, và [idempotency key](https://broadrouter.com/vi/glossary/idempotency-key/) khi API hỗ trợ.

## Trên BroadNet Inference

[Tài liệu tham chiếu API](https://inference.broadnet.ai/docs?utm_source=broadrouter&utm_medium=referral&utm_campaign=vi-glossary-request-timeout&utm_content=body) của BroadNet dặn đọc stream cho tới `data: [DONE]`. Nếu kết nối kết thúc trước đó, “treat the response as incomplete, record the X-Request-ID” (Bản dịch: coi response là chưa hoàn chỉnh, ghi lại X-Request-ID), và quyết định xem ứng dụng của bạn có thể gửi request mới một cách an toàn không. Với 500, 502, 503 và 504, tài liệu dặn thử lại với exponential backoff có giới hạn; 429 nghĩa là đã chạm giới hạn tốc độ, concurrency, tốc độ token hoặc chi tiêu. Giữ X-Request-ID để gửi bộ phận hỗ trợ. [Hướng dẫn lỗi và thử lại](https://broadrouter.com/vi/guides/errors-and-retries/) và [bài viết về agent chạy lâu](https://broadrouter.com/vi/blog/long-running-agents-timeouts-retries/) cho thấy các thiết lập dùng được.

## Lỗi thường gặp

-   Để nguyên mặc định rồi thắc mắc vì sao một lệnh gọi bị treo chặn một worker suốt mười phút.
-   Thử lại không giới hạn, khiến một phút trục trặc biến thành một trận lũ request.

## Câu hỏi thường gặp

### Timeout mặc định trong OpenAI Python SDK là bao nhiêu?

README của nó viết "By default requests time out after 10 minutes" (Bản dịch: theo mặc định request hết thời gian chờ sau 10 phút), và request bị timeout mặc định được thử lại hai lần với exponential backoff ngắn.

### Tôi có nên dùng một timeout cho mọi lệnh gọi LLM không?

Không. Một lệnh phân loại ngắn và một câu trả lời suy luận dài cần giới hạn khác nhau. Với streaming, read timeout đặt trên khoảng cách giữa các chunk bắt được tình trạng treo tốt hơn một giới hạn tổng dài.

### Tôi nên làm gì khi stream của BroadNet dừng sớm?

BroadNet dặn coi một stream kết thúc trước data: \[DONE\] là chưa hoàn chỉnh, ghi lại X-Request-ID, và quyết định xem ứng dụng của bạn có thể gửi một request mới một cách an toàn không.

## Xem thêm

-   [Exponential backoff (lùi thời gian theo cấp số nhân)](https://broadrouter.com/vi/glossary/exponential-backoff/) (thuật ngữ)
-   [Streaming (trả phản hồi dạng luồng)](https://broadrouter.com/vi/glossary/streaming/) (thuật ngữ)
-   [Độ trễ (latency)](https://broadrouter.com/vi/glossary/latency/) (thuật ngữ)
-   [Idempotency key (khóa idempotency)](https://broadrouter.com/vi/glossary/idempotency-key/) (thuật ngữ)
-   [Giới hạn tần suất (rate limit)](https://broadrouter.com/vi/glossary/rate-limit/) (thuật ngữ)
-   [Model fallback (chuyển sang model dự phòng)](https://broadrouter.com/vi/glossary/model-fallback/) (thuật ngữ)
-   [Mã lỗi BroadNet Inference và khi nào nên thử lại](https://broadrouter.com/vi/guides/errors-and-retries/) (hướng dẫn)
-   [Streaming chat completions và xử lý khi mất kết nối](https://broadrouter.com/vi/guides/streaming-chat-completions/) (hướng dẫn)
-   [Dùng OpenAI Python SDK với BroadNet Inference](https://broadrouter.com/vi/guides/openai-python-sdk/) (hướng dẫn)
-   [Agent chạy dài: timeout, retry và checkpoint đứng vững](https://broadrouter.com/vi/blog/long-running-agents-timeouts-retries/) (bài viết)
-   [Cách xử lý lỗi 429 của API LLM: backoff, jitter và giới hạn đồng thời](https://broadrouter.com/vi/blog/handle-llm-api-429-rate-limits/) (bài viết)

Hãy thử với khối lượng công việc thực tế của bạn. Tài khoản mới được tặng US$5 tín dụng ban đầu cho Gemma và chuyển giọng nói thành văn bản. DeepSeek, GLM và Qwen3.8 cần nạp tiền.

[Bắt đầu](https://inference.broadnet.ai/account/?utm_source=broadrouter&utm_medium=referral&utm_campaign=vi-glossary-request-timeout&utm_content=page-cta) ·

**Nguồn**

-   [README của OpenAI Python SDK, timeout và thử lại (kiểm tra ngày 2026-11-15)](https://github.com/openai/openai-python)
-   [Tài liệu HTTPX, timeout (kiểm tra ngày 2026-11-15)](https://www.python-httpx.org/advanced/timeouts/)
-   [MDN, 504 Gateway Timeout (kiểm tra ngày 2026-11-15)](https://developer.mozilla.org/en-US/docs/Web/HTTP/Reference/Status/504)
-   [MDN, 408 Request Timeout (kiểm tra ngày 2026-11-15)](https://developer.mozilla.org/en-US/docs/Web/HTTP/Reference/Status/408)
-   [Tài liệu tham chiếu API BroadNet Inference, streaming và lỗi (kiểm tra ngày 2026-11-15) (tiếng Anh)](https://inference.broadnet.ai/docs?utm_source=broadrouter&utm_medium=referral&utm_campaign=vi-glossary-request-timeout&utm_content=sources)
