API nào cũng có những phút tồi tệ. Fallback giúp một phút tồi tệ ở một nhà cung cấp không biến thành sự cố trong ứng dụng của bạn.
Cách hoạt động
Bạn giữ một danh sách model có thứ tự. Khi một lệnh gọi lỗi, sau khi đã tự thử lại, model kế tiếp trong danh sách nhận cùng request đó.
Hai gateway từ các nguồn tham khảo:
| Gateway | Fallback hoạt động thế nào |
|---|---|
| LiteLLM proxy | fallbacks liệt kê các nhóm model, được thử “in-order” (Bản dịch: theo thứ tự). context_window_fallbacks và content_policy_fallbacks riêng xử lý các loại lỗi đó. num_retries thử lại một nhóm trước khi fallback; allowed_fails và cooldown_time tạm loại một deployment đang lỗi. |
| OpenRouter | Một mảng models. “If the first model returns an error, OpenRouter will automatically try the next model in the list.” (Bản dịch: nếu model đầu tiên trả lỗi, OpenRouter sẽ tự động thử model kế tiếp trong danh sách.) Bất kỳ lỗi nào cũng có thể kích hoạt, gồm độ dài context, kiểm duyệt nội dung, rate limit và downtime. Nếu model cuối cùng lỗi, lỗi đó được trả về. |
Một phiên bản tối thiểu phía client:
from openai import APITimeoutError, InternalServerError, RateLimitError
CHAIN = [("broadnet", "broadnet/glm-5.3"), ("other", "backup-model")]
def chat_with_fallback(clients, msgs):
for client_name, model in CHAIN:
try:
return clients[client_name].chat.completions.create(model=model, messages=msgs)
except (RateLimitError, APITimeoutError, InternalServerError):
continue
raise RuntimeError("all models failed")
Vì sao quan trọng
- Uptime. Nhà cung cấp thứ hai che cho các sự cố và rate limit ở nhà cung cấp thứ nhất.
- Đầu ra khác. Model dự phòng viết khác, dùng tool khác và có thể đắt hơn. Hãy chạy eval trên mọi model trong chuỗi, không chỉ model đầu tiên.
- Đừng fallback vì lỗi của chính bạn. Lỗi 400 hoặc 422 nghĩa là request sai; nó cũng sẽ lỗi ở model kế tiếp. Chỉ fallback với 429, timeout và 5xx sau khi đã dùng exponential backoff có giới hạn.
Trên BroadNet Inference
BroadNet không tự động định tuyến request và không có fallback giữa các model. BroadRouter, trang này, là trang thông tin của BroadNet và cũng không định tuyến request. Bạn tự triển khai fallback: trong client như trên (bài hướng dẫn failover API LLM bổ sung circuit breaker và ánh xạ ID model), hoặc trong một gateway; xem LLM router và hướng dẫn LiteLLM proxy để thêm BroadNet làm nhà cung cấp. Tài liệu tham chiếu API của BroadNet khuyên thử lại 5xx với exponential backoff có giới hạn, và với 429 thì dùng thông tin trong phản hồi cùng backoff có giới hạn. Hướng dẫn lỗi và thử lại liệt kê từng mã trạng thái.
Lỗi thường gặp
- Fallback khi gặp lỗi 401 hoặc 402, làm che giấu vấn đề về thanh toán hoặc key.
- Không ghi log model nào đã phục vụ mỗi câu trả lời, khiến thay đổi chất lượng khó truy vết.