Mọi lệnh gọi mạng đều cần một điểm để thôi chờ. Với lệnh gọi LLM, điểm đó khó chọn, vì một câu trả lời chậm và một kết nối đã chết trông giống hệt nhau trong một lúc.
Cách hoạt động
HTTP client chia việc chờ thành các giai đoạn. HTTPX, một HTTP client Python phổ biến, có bốn giai đoạn:
| Timeout | Ý nghĩa trong HTTPX | Lỗi |
|---|---|---|
| Connect | Thời gian tối đa để thiết lập kết nối socket | ConnectTimeout |
| Read | Thời gian chờ tối đa cho một chunk dữ liệu đến | ReadTimeout |
| Write | Thời gian chờ tối đa để gửi một chunk của body request | WriteTimeout |
| Pool | Thời gian chờ tối đa để lấy một kết nối từ pool | PoolTimeout |
HTTPX thuần mặc định timeout sau năm giây không có hoạt động mạng. OpenAI Python SDK đặt mặc định riêng: “By default requests time out after 10 minutes” (Bản dịch: theo mặc định request hết thời gian chờ sau 10 phút), ném ra APITimeoutError, và thử lại request bị timeout hai lần. Nó cũng mặc định thử lại lỗi kết nối, các response 408, 409, 429 và 5xx.
from openai import OpenAI
client = OpenAI(base_url="https://inference.broadnet.ai/v1", timeout=120.0, max_retries=2)
Server cũng có timeout. MDN định nghĩa 504 Gateway Timeout là khi gateway hoặc proxy “did not get a response in time from the upstream server” (Bản dịch: không nhận được phản hồi kịp thời từ server phía trên), và 408 Request Timeout là khi server muốn “to shut down this unused connection” (Bản dịch: đóng kết nối không được dùng này).
Vì sao quan trọng
- Model suy luận khởi động chậm. Phần suy nghĩ diễn ra trước token hiển thị đầu tiên. Một read timeout ngắn trên lệnh gọi không stream có thể cắt đứt một request đang chạy bình thường.
- Stream phát hiện tình trạng treo. Với streaming, mỗi chunk đặt lại bộ đếm read, nên tình trạng treo lộ ra nhanh ngay cả với câu trả lời dài.
- Thử lại có thể nhân đôi chi phí. Timeout không có nghĩa server đã dừng. Thử lại một request vẫn đang chạy có thể bị tính phí hai lần. Hãy dùng exponential backoff có giới hạn trên, và idempotency key khi API hỗ trợ.
Trên BroadNet Inference
Tài liệu tham chiếu API của BroadNet dặn đọc stream cho tới data: [DONE]. Nếu kết nối kết thúc trước đó, “treat the response as incomplete, record the X-Request-ID” (Bản dịch: coi response là chưa hoàn chỉnh, ghi lại X-Request-ID), và quyết định xem ứng dụng của bạn có thể gửi request mới một cách an toàn không. Với 500, 502, 503 và 504, tài liệu dặn thử lại với exponential backoff có giới hạn; 429 nghĩa là đã chạm giới hạn tốc độ, concurrency, tốc độ token hoặc chi tiêu. Giữ X-Request-ID để gửi bộ phận hỗ trợ. Hướng dẫn lỗi và thử lại và bài viết về agent chạy lâu cho thấy các thiết lập dùng được.
Lỗi thường gặp
- Để nguyên mặc định rồi thắc mắc vì sao một lệnh gọi bị treo chặn một worker suốt mười phút.
- Thử lại không giới hạn, khiến một phút trục trặc biến thành một trận lũ request.