BroadRouter
Bắt đầu

Request timeout (thời gian chờ request)

Cập nhật

Request timeout là thời gian tối đa một HTTP client chờ server trước khi bỏ request. Client thường chia nó thành connect timeout cho việc mở kết nối và read timeout cho việc chờ dữ liệu. Lệnh gọi LLM cần read timeout rộng rãi vì câu trả lời dài cần thời gian.

Còn gọi là: timeout là gì, thời gian chờ request, hết thời gian chờ, cấu hình timeout API, read timeout, connect timeout, client timeout, HTTP timeout

Mọi lệnh gọi mạng đều cần một điểm để thôi chờ. Với lệnh gọi LLM, điểm đó khó chọn, vì một câu trả lời chậm và một kết nối đã chết trông giống hệt nhau trong một lúc.

Cách hoạt động

HTTP client chia việc chờ thành các giai đoạn. HTTPX, một HTTP client Python phổ biến, có bốn giai đoạn:

Timeout Ý nghĩa trong HTTPX Lỗi
Connect Thời gian tối đa để thiết lập kết nối socket ConnectTimeout
Read Thời gian chờ tối đa cho một chunk dữ liệu đến ReadTimeout
Write Thời gian chờ tối đa để gửi một chunk của body request WriteTimeout
Pool Thời gian chờ tối đa để lấy một kết nối từ pool PoolTimeout

HTTPX thuần mặc định timeout sau năm giây không có hoạt động mạng. OpenAI Python SDK đặt mặc định riêng: “By default requests time out after 10 minutes” (Bản dịch: theo mặc định request hết thời gian chờ sau 10 phút), ném ra APITimeoutError, và thử lại request bị timeout hai lần. Nó cũng mặc định thử lại lỗi kết nối, các response 408, 409, 429 và 5xx.

from openai import OpenAI
client = OpenAI(base_url="https://inference.broadnet.ai/v1", timeout=120.0, max_retries=2)

Server cũng có timeout. MDN định nghĩa 504 Gateway Timeout là khi gateway hoặc proxy “did not get a response in time from the upstream server” (Bản dịch: không nhận được phản hồi kịp thời từ server phía trên), và 408 Request Timeout là khi server muốn “to shut down this unused connection” (Bản dịch: đóng kết nối không được dùng này).

Vì sao quan trọng

  • Model suy luận khởi động chậm. Phần suy nghĩ diễn ra trước token hiển thị đầu tiên. Một read timeout ngắn trên lệnh gọi không stream có thể cắt đứt một request đang chạy bình thường.
  • Stream phát hiện tình trạng treo. Với streaming, mỗi chunk đặt lại bộ đếm read, nên tình trạng treo lộ ra nhanh ngay cả với câu trả lời dài.
  • Thử lại có thể nhân đôi chi phí. Timeout không có nghĩa server đã dừng. Thử lại một request vẫn đang chạy có thể bị tính phí hai lần. Hãy dùng exponential backoff có giới hạn trên, và idempotency key khi API hỗ trợ.

Trên BroadNet Inference

Tài liệu tham chiếu API của BroadNet dặn đọc stream cho tới data: [DONE]. Nếu kết nối kết thúc trước đó, “treat the response as incomplete, record the X-Request-ID” (Bản dịch: coi response là chưa hoàn chỉnh, ghi lại X-Request-ID), và quyết định xem ứng dụng của bạn có thể gửi request mới một cách an toàn không. Với 500, 502, 503 và 504, tài liệu dặn thử lại với exponential backoff có giới hạn; 429 nghĩa là đã chạm giới hạn tốc độ, concurrency, tốc độ token hoặc chi tiêu. Giữ X-Request-ID để gửi bộ phận hỗ trợ. Hướng dẫn lỗi và thử lại và bài viết về agent chạy lâu cho thấy các thiết lập dùng được.

Lỗi thường gặp

  • Để nguyên mặc định rồi thắc mắc vì sao một lệnh gọi bị treo chặn một worker suốt mười phút.
  • Thử lại không giới hạn, khiến một phút trục trặc biến thành một trận lũ request.

Câu hỏi thường gặp

Timeout mặc định trong OpenAI Python SDK là bao nhiêu?

README của nó viết "By default requests time out after 10 minutes" (Bản dịch: theo mặc định request hết thời gian chờ sau 10 phút), và request bị timeout mặc định được thử lại hai lần với exponential backoff ngắn.

Tôi có nên dùng một timeout cho mọi lệnh gọi LLM không?

Không. Một lệnh phân loại ngắn và một câu trả lời suy luận dài cần giới hạn khác nhau. Với streaming, read timeout đặt trên khoảng cách giữa các chunk bắt được tình trạng treo tốt hơn một giới hạn tổng dài.

Tôi nên làm gì khi stream của BroadNet dừng sớm?

BroadNet dặn coi một stream kết thúc trước data: [DONE] là chưa hoàn chỉnh, ghi lại X-Request-ID, và quyết định xem ứng dụng của bạn có thể gửi một request mới một cách an toàn không.

Đọc dạng MarkdownHỏi ChatGPTHỏi ClaudeHỏi Perplexity