Một ứng dụng chỉ nói chuyện với một model thì không cần router. Router xuất hiện khi một nhóm dùng nhiều model hoặc nhà cung cấp và muốn có một chỗ duy nhất để chọn giữa chúng.
Cách hoạt động
Ứng dụng gửi một request kiểu OpenAI tới router. Router áp dụng quy tắc của nó, chuyển request tới một backend, và trả câu trả lời về theo cùng định dạng. Có ba loại phổ biến:
- Aggregator được host. Ví dụ, OpenRouter cung cấp “hundreds of AI models through a single API endpoint” (Bản dịch: hàng trăm model AI qua một endpoint API duy nhất) tại
https://openrouter.ai/api/v1, có fallback tự động. Bạn giữ một key và một hóa đơn; aggregator giữ tài khoản với các nhà cung cấp. - Gateway tự host. LiteLLM Router chạy trong hạ tầng của bạn. Nó chia traffic cho các deployment (mặc định là xáo trộn đơn giản, hoặc dựa trên độ trễ, mức sử dụng hay chi phí), thử lại lỗi rate limit với exponential backoff, và đưa một deployment vào cooldown sau lỗi 429 hoặc tỉ lệ lỗi cao.
- Router chọn model. Các nghiên cứu như RouteLLM huấn luyện một bộ phân loại để gửi prompt dễ tới model rẻ hơn và prompt khó tới model mạnh hơn, nhằm giảm chi phí mà không giảm chất lượng.
Một gateway tự host được cấu hình bằng danh sách backend. Mục LiteLLM sau thêm một nhà cung cấp tương thích OpenAI:
model_list:
- model_name: flash
litellm_params:
model: openai/broadnet/deepseek-v4.1-flash
api_base: https://inference.broadnet.ai/v1
api_key: os.environ/BROADNET_API_KEY
Vì sao quan trọng
- Độ tin cậy. Router có thể chuyển sang nơi khác khi một nhà cung cấp trả lỗi 429 hoặc 5xx. Xem rate limit.
- Chi phí. Gửi prompt đơn giản tới model rẻ hơn có thể giảm hóa đơn.
- Một lần tích hợp. Code chỉ làm việc với một base URL và một định dạng key.
Các đánh đổi là có thật. Router thêm một chặng mạng. Router được host là thêm một bên nhìn thấy prompt của bạn, nên việc lưu giữ dữ liệu phụ thuộc vào cả router lẫn nhà cung cấp mà nó chọn. Các model cũng khác nhau về tokenizer, hành vi suy luận và tham số được hỗ trợ, nên một lần fallback âm thầm có thể làm thay đổi câu trả lời.
Trên BroadNet Inference
BroadNet Inference không phải là router. Đây là một nhà cung cấp duy nhất với một danh sách model ngắn tại https://inference.broadnet.ai/v1; Điều khoản của BroadNet nói các model của họ chạy trên phần cứng tại Mỹ do BroadNet sở hữu hoặc thuê, hoặc với các đối tác inference tại Mỹ. Không có định tuyến hay fallback tự động giữa các nhà cung cấp. Bạn chọn model trong mỗi request, ví dụ broadnet/deepseek-v4.1-flash hoặc broadnet/glm-5.3.
Vì API tương thích OpenAI, nó có thể đứng sau một router như một backend. Hướng dẫn LiteLLM proxy trình bày cách thiết lập. Để so sánh router với nhà cung cấp giá cố định, đọc lựa chọn thay thế OpenRouter cho agent. BroadNet không lưu giữ prompt hay đầu ra; nếu bạn đặt một router được host phía trước, hãy kiểm tra cả chính sách lưu giữ dữ liệu của nó.
Lỗi thường gặp
- Thử lại lỗi 401 hoặc 403 trên nhà cung cấp khác. Đó là lỗi key hoặc chính sách; hãy sửa trước. Xem lỗi và thử lại.
- Coi tên model là có thể thay thế cho nhau. Hãy kiểm thử từng model fallback trên prompt của chính bạn.