BroadRouter
Bắt đầu

Model fallback (chuyển sang model dự phòng)

Cập nhật

Model fallback là mẫu thiết kế tăng độ tin cậy, trong đó request LLM bị lỗi được thử lại trên một model hoặc nhà cung cấp khác theo danh sách có thứ tự. Nó được kích hoạt bởi lỗi, rate limit, lỗi độ dài context hay từ chối do chính sách nội dung, và chạy ở client hoặc gateway.

Còn gọi là: model fallback là gì, model dự phòng, chuyển đổi dự phòng LLM, failover LLM, fallback nhà cung cấp, fallback model, model failover, provider fallback

API nào cũng có những phút tồi tệ. Fallback giúp một phút tồi tệ ở một nhà cung cấp không biến thành sự cố trong ứng dụng của bạn.

Cách hoạt động

Bạn giữ một danh sách model có thứ tự. Khi một lệnh gọi lỗi, sau khi đã tự thử lại, model kế tiếp trong danh sách nhận cùng request đó.

Hai gateway từ các nguồn tham khảo:

Gateway Fallback hoạt động thế nào
LiteLLM proxy fallbacks liệt kê các nhóm model, được thử “in-order” (Bản dịch: theo thứ tự). context_window_fallbacks và content_policy_fallbacks riêng xử lý các loại lỗi đó. num_retries thử lại một nhóm trước khi fallback; allowed_fails và cooldown_time tạm loại một deployment đang lỗi.
OpenRouter Một mảng models. “If the first model returns an error, OpenRouter will automatically try the next model in the list.” (Bản dịch: nếu model đầu tiên trả lỗi, OpenRouter sẽ tự động thử model kế tiếp trong danh sách.) Bất kỳ lỗi nào cũng có thể kích hoạt, gồm độ dài context, kiểm duyệt nội dung, rate limit và downtime. Nếu model cuối cùng lỗi, lỗi đó được trả về.

Một phiên bản tối thiểu phía client:

from openai import APITimeoutError, InternalServerError, RateLimitError

CHAIN = [("broadnet", "broadnet/glm-5.3"), ("other", "backup-model")]

def chat_with_fallback(clients, msgs):
    for client_name, model in CHAIN:
        try:
            return clients[client_name].chat.completions.create(model=model, messages=msgs)
        except (RateLimitError, APITimeoutError, InternalServerError):
            continue
    raise RuntimeError("all models failed")

Vì sao quan trọng

  • Uptime. Nhà cung cấp thứ hai che cho các sự cố và rate limit ở nhà cung cấp thứ nhất.
  • Đầu ra khác. Model dự phòng viết khác, dùng tool khác và có thể đắt hơn. Hãy chạy eval trên mọi model trong chuỗi, không chỉ model đầu tiên.
  • Đừng fallback vì lỗi của chính bạn. Lỗi 400 hoặc 422 nghĩa là request sai; nó cũng sẽ lỗi ở model kế tiếp. Chỉ fallback với 429, timeout và 5xx sau khi đã dùng exponential backoff có giới hạn.

Trên BroadNet Inference

BroadNet không tự động định tuyến request và không có fallback giữa các model. BroadRouter, trang này, là trang thông tin của BroadNet và cũng không định tuyến request. Bạn tự triển khai fallback: trong client như trên (bài hướng dẫn failover API LLM bổ sung circuit breaker và ánh xạ ID model), hoặc trong một gateway; xem LLM router và hướng dẫn LiteLLM proxy để thêm BroadNet làm nhà cung cấp. Tài liệu tham chiếu API của BroadNet khuyên thử lại 5xx với exponential backoff có giới hạn, và với 429 thì dùng thông tin trong phản hồi cùng backoff có giới hạn. Hướng dẫn lỗi và thử lại liệt kê từng mã trạng thái.

Lỗi thường gặp

  • Fallback khi gặp lỗi 401 hoặc 402, làm che giấu vấn đề về thanh toán hoặc key.
  • Không ghi log model nào đã phục vụ mỗi câu trả lời, khiến thay đổi chất lượng khó truy vết.

Câu hỏi thường gặp

Nên thử lại hay fallback trước?

Thử lại trước với lỗi ngắn hạn như 503. LiteLLM hoạt động như vậy: nó chỉ fallback sang nhóm model khác sau khi lệnh gọi lỗi đủ num_retries lần.

Sau khi fallback, tôi bị tính tiền theo model nào?

Trên OpenRouter là model đã phục vụ request: họ nói request “are priced using the model that was ultimately used” (Bản dịch: được tính giá theo model cuối cùng được dùng), được ghi trong trường model của phản hồi.

BroadNet có tự định tuyến hoặc fallback không?

Không. BroadNet không cung cấp định tuyến tự động, và BroadRouter là trang thông tin của BroadNet, không phải router. Hãy xây fallback trong client của bạn hoặc đặt một gateway như LiteLLM phía trước.

Đọc dạng MarkdownHỏi ChatGPTHỏi ClaudeHỏi Perplexity