BroadRouter
Bắt đầu

Failover API LLM: chuyển sang nhà cung cấp thứ hai bằng code của bạn

Đội ngũ BroadNet Inference · 8 phút đọc · Đăng ngày · Cập nhật

Giữ một danh sách có thứ tự các nhà cung cấp tương thích OpenAI, mỗi nhà có client và model ID riêng. Failover khi gặp lỗi kết nối, timeout, 5xx và 429 do giới hạn tốc độ, sau khi SDK retry xong. Đừng bao giờ failover với 400, 401, 402, 403, 413 hay 422. Thêm circuit breaker, và kiểm tra nhà dự phòng khớp với nhà chính về tính năng và điều khoản dữ liệu.

API LLM nào cũng có những phút tồi tệ: một lỗi 503, một lần timeout, một loạt 429. Có phương án dự phòng (fallback) nghĩa là những phút đó không biến thành sự cố trong ứng dụng của bạn. Bài này hướng dẫn cách failover giữa các nhà cung cấp tương thích OpenAI bằng chính code của bạn. Bài đề cập lỗi nào nên kích hoạt failover, cách circuit breaker giữ cho nó nhanh, và những gì phải khớp giữa các nhà cung cấp để người dùng không nhận ra sự chuyển đổi.

Một điều cần nói trước: BroadNet Inference không định tuyến hay failover giữa các nhà cung cấp thay bạn, BroadRouter cũng vậy. BroadRouter là website của chính BroadNet, không phải router. Bạn tự xây phương án dự phòng, trong client như bên dưới hoặc trong một gateway như LiteLLM.

Vì sao cần giữ một nhà cung cấp dự phòng?

Vì phần lớn API tự phục vụ không hứa gì về uptime. Điều khoản của BroadNet nói rõ ở mục 7.4: “self-serve has no availability commitment” (bản dịch: gói tự phục vụ không có cam kết về độ sẵn sàng), và mức dịch vụ chỉ tồn tại trong một thỏa thuận bằng văn bản riêng (kiểm tra ngày 15 tháng 11 năm 2026). Bài so sánh SLA API LLM đề cập những gì các nhà cung cấp khác cam kết. Nếu tính năng của bạn phải luôn chạy, một nhà cung cấp thứ hai là bảo hiểm thực tế, dù SLA nói gì đi nữa.

Giới hạn tốc độ là lý do thứ hai. Một key trả theo mức dùng của BroadNet cho phép 30 request mỗi phút và 4 request đồng thời. Một đợt traffic tăng vọt vượt mức đó sẽ trả về 429, và nhà cung cấp thứ hai có thể gánh phần tràn trong lúc bạn nâng dung lượng.

Lỗi nào nên kích hoạt failover?

Hãy chia lỗi thành hai nhóm. Một số là lỗi của nhà cung cấp và có thể thành công ở nơi khác. Số còn lại là lỗi của bạn và sẽ thất bại ở mọi nơi.

Lỗi Failover? Lý do
Lỗi kết nối, timeout Có, sau khi retry Không truy cập được nhà cung cấp hoặc mạng
500, 502, 503, 504 Có, sau khi retry Tài liệu BroadNet bảo hãy “retry with bounded exponential backoff” (bản dịch: retry bằng exponential backoff có giới hạn) trước
429, giới hạn tốc độ hoặc đồng thời Có, sau khi backoff Hết dung lượng ở nhà cung cấp này, không phải request sai
429, giới hạn chi tiêu Không Failover sẽ vượt qua ngân sách bạn cố ý đặt ra
400, 422 Không Request không hợp lệ và cũng sẽ thất bại ở nhà cung cấp tiếp theo
401, 402 Không Key, hạn mức hoặc số dư. Trên BroadNet, 401 còn bao gồm trường hợp hết hạn mức trả theo mức dùng, nên failover sẽ che giấu vấn đề thanh toán
403, 413 Không Chính sách hoặc kích thước; hãy sửa request

Tài liệu tham chiếu API của BroadNet nói 429 nghĩa là “a rate, concurrency, token-rate or spending limit was reached” (bản dịch: đã chạm giới hạn tốc độ, đồng thời, tốc độ token hoặc chi tiêu) và bảo hãy “use response details and bounded backoff” (bản dịch: dùng chi tiết trong phản hồi và backoff có giới hạn). Hãy đọc các chi tiết đó trước khi failover, để một lỗi 429 do giới hạn chi tiêu dừng request lại thay vì chuyển nó đi. Hướng dẫn mã lỗi liệt kê mọi trạng thái.

Hãy retry trước khi failover. OpenAI Python SDK vốn đã retry lỗi kết nối, 408, 409, 429 và phản hồi 5xx “2 times by default, with a short exponential backoff” (bản dịch: 2 lần theo mặc định, với exponential backoff ngắn), và timeout mặc định là 10 phút (README, kiểm tra ngày 15 tháng 11 năm 2026). Mười phút là quá lâu để chờ trước khi failover. Hãy đặt timeout cho từng client. Bài xử lý lỗi 429 đề cập backoff với jitter.

Failover trong Python trông như thế nào?

Hai client, một danh sách có thứ tự và một circuit breaker nhỏ. Nhà chính là GLM 5.3 trên BroadNet. Nhà dự phòng là cùng model trọng số mở trên DeepInfra, có tài liệu cho base URL là https://api.deepinfra.com/v1/openai (kiểm tra ngày 15 tháng 11 năm 2026).

import os
import time
from openai import (OpenAI, APIConnectionError, APITimeoutError,
                    RateLimitError, InternalServerError)

PROVIDERS = [
    {"name": "broadnet", "model": "broadnet/glm-5.3",
     "client": OpenAI(base_url="https://inference.broadnet.ai/v1",
                      api_key=os.environ["BROADNET_API_KEY"],
                      max_retries=2, timeout=60)},
    {"name": "deepinfra", "model": "zai-org/GLM-5.3",
     "client": OpenAI(base_url="https://api.deepinfra.com/v1/openai",
                      api_key=os.environ["DEEPINFRA_API_KEY"],
                      max_retries=2, timeout=60)},
]

# Provider-side failures only. 400, 401, 402, 403 and 422 raise straight through.
FAILOVER_ON = (APIConnectionError, APITimeoutError, RateLimitError, InternalServerError)
TRIP_AFTER = 3     # consecutive failures before the breaker opens
COOLDOWN = 30      # seconds to skip a provider once its breaker is open
state = {p["name"]: {"fails": 0, "open_until": 0.0} for p in PROVIDERS}


def chat(messages, **kwargs):
    last_error = None
    for p in PROVIDERS:
        s = state[p["name"]]
        if time.monotonic() < s["open_until"]:
            continue  # breaker open: don't wait on a provider that is down
        try:
            reply = p["client"].chat.completions.create(
                model=p["model"], messages=messages, **kwargs)
            s["fails"] = 0
            return p["name"], reply
        except FAILOVER_ON as err:
            last_error = err
            s["fails"] += 1
            if s["fails"] >= TRIP_AFTER:
                s["open_until"] = time.monotonic() + COOLDOWN
    raise RuntimeError("every provider failed") from last_error


served_by, reply = chat([{"role": "user", "content": "Reply with one short sentence."}],
                        max_tokens=1000)
print(served_by, reply.model, reply.choices[0].message.content)

Bốn chi tiết quan trọng:

  1. Các lớp exception. SDK ném RateLimitError cho 429, InternalServerError cho 500 trở lên, và APIConnectionError (với APITimeoutError là lớp con) khi không kết nối được. Mọi lỗi khác được cố ý để không bắt. Để loại trừ 429 do giới hạn chi tiêu, hãy kiểm tra err.response trước khi tiếp tục.
  2. Circuit breaker. Không có nó, mỗi request phải chờ hết timeout ở nhà chính đã chết rồi mới chuyển tiếp. Sau ba lần thất bại liên tiếp, nhà chính bị bỏ qua trong 30 giây. Sau đó, request tiếp theo sẽ thử lại nó.
  3. Ghi log ai đã phục vụ. Trả về tên nhà cung cấp và giữ reply.model. Khi chất lượng thay đổi, bạn cần biết nhà cung cấp nào đã trả lời.
  4. Ngân sách suy luận. GLM 5.3 suy luận trước khi trả lời. Tài liệu BroadNet nói suy luận được tính vào max_tokens, nên hãy để từ 1.000 trở lên ở mọi nhà cung cấp.

Ánh xạ model ID giữa các nhà cung cấp thế nào?

Cùng một model trọng số mở có ID khác nhau ở mỗi nhà host, và các tính năng mỗi nhà host liệt kê cũng có thể khác. GLM 5.3 vào ngày 15 tháng 11 năm 2026:

BroadNet Inference DeepInfra Fireworks AI
Model ID broadnet/glm-5.3 zai-org/GLM-5.3 accounts/fireworks/models/glm-5p3
Context 1.048.576 token 1.048.576 token “1040k” token
Tool Có tài liệu Có ghi “Function” Hỗ trợ
Đầu ra có cấu trúc Có tài liệu Có ghi “JSON” Chưa kiểm tra

Từ đó có hai quy tắc. Thứ nhất, giữ bảng ánh xạ trong config, đừng rải rác trong code. Thứ hai, chọn nhà dự phòng khớp với những gì request của bạn dùng. Trên BroadNet, tool và đầu ra có cấu trúc chỉ có tài liệu cho GLM 5.3 và Qwen3.8 27B. Một agent dùng tool calling có thể failover từ GLM 5.3 sang GLM 5.3 ở nơi khác. Nó không thể failover an toàn sang một model không có tài liệu về tool. Nếu nhà dự phòng có cửa sổ context nhỏ hơn, hãy cắt bớt prompt hoặc bỏ qua nhà dự phòng đó cho các request dài. Base URL của 14 nhà cung cấp có trong bảng tham chiếu base URL.

Làm sao giữ câu trả lời tương đương sau khi chuyển?

Cùng một bộ trọng số ở hai nhà host vẫn có thể trả lời khác nhau, vì nhà host có thể phục vụ ở độ chính xác, chat template hay tham số mặc định khác nhau. Một model khác thì chắc chắn trả lời khác.

  • Chạy bộ đánh giá với mọi mục trong danh sách, không chỉ nhà chính.
  • Cố định temperature, max_tokens và system prompt cho từng request, để giá trị mặc định của nhà cung cấp không thay đổi đầu ra.
  • Validate đầu ra có cấu trúc theo cùng một cách trên mọi đường đi. Sửa JSON không hợp lệ đề cập vòng lặp sửa rồi retry.
  • Ưu tiên cùng model ở nơi khác hơn là model khác ở cùng nhà host. Người dùng nhận ra thay đổi văn phong nhiều hơn là vài giây độ trễ.

Còn streaming và tool call thì sao?

Một stream có thể thất bại giữa chừng. Tài liệu BroadNet nói một stream kết thúc trước data: [DONE] cần được coi là chưa hoàn chỉnh: hãy ghi lại X-Request-ID và quyết định xem ứng dụng có thể gửi request mới một cách an toàn hay không.

  • Trước token đầu tiên: failover thoải mái. Người dùng chưa thấy gì.
  • Sau khi token đã hiển thị: khởi động lại ở nhà dự phòng và thay thế câu trả lời dở dang, hoặc hiển thị lỗi kèm nút thử lại. Ghép hai nửa câu trả lời từ hai nhà cung cấp đọc rất tệ.
  • Tool call có tác dụng phụ: đừng bao giờ chạy lại một bước gửi email, trừ tiền thẻ hay ghi vào cơ sở dữ liệu chỉ vì lời gọi model thất bại. Hãy gán cho mỗi hành động một idempotency key. Agent chạy lâu đề cập checkpoint.

Streaming với SSE giải thích cách phát hiện một stream kết thúc sớm.

Failover tốn chi phí gì?

  • Việc bị làm trùng. Timeout ở phía bạn không chứng minh nhà cung cấp đã dừng. Khi tính phí theo token, mỗi lần retry là một lần inference mới, nên hãy dự trù trả tiền hai lần cho một số request.
  • Giá khác nhau. Nhà dự phòng tính theo giá riêng của họ. DeepInfra niêm yết giá khuyến mãi cho GLM-5.3 vào ngày 15 tháng 11 năm 2026, nên hãy kiểm tra lại trước khi lập ngân sách. BroadNet tính $0.78 đầu vào, $0.173 đầu vào từ cache và $3.46 đầu ra mỗi 1M token.
  • Cache nguội. Đầu vào từ cache không chuyển được giữa các nhà cung cấp. Các request đầu tiên ở nhà dự phòng phải trả giá đầu vào đầy đủ cho phần đầu prompt vốn đã được cache ở nhà chính. Xem token đầu vào từ cache.
  • Hedging. Gửi mọi request tới hai nhà cung cấp cùng lúc và giữ câu trả lời đến trước giúp giảm độ trễ đuôi, nhưng gần như nhân đôi hóa đơn. Chỉ dùng ở nơi độ trễ đáng với cái giá đó.

Nhà dự phòng có đáp ứng cùng điều khoản dữ liệu không?

Nhà cung cấp dự phòng là một bên xử lý khác nhận cùng các prompt. Nếu bạn đã hứa với khách hàng điều gì về dữ liệu của họ, lời hứa đó phải đúng với mọi mục trong danh sách.

Tuyên bố quyền riêng tư của BroadNet viết: “We do not retain prompts, audio, images, answers or transcripts” (bản dịch: Chúng tôi không lưu giữ prompt, âm thanh, hình ảnh, câu trả lời hay bản chép lời). Nội dung inference không được lưu giữ; metadata cần thiết về tài khoản, thanh toán và bảo mật được giữ như tuyên bố đó mô tả. Tuyên bố cũng nói dữ liệu inference không được dùng để huấn luyện, tinh chỉnh hay đánh giá model. Tuyên bố nói các model được host “run on BroadNet-owned or leased hardware in the United States, with partner capacity as backup” (bản dịch: chạy trên phần cứng BroadNet sở hữu hoặc thuê tại Hoa Kỳ, với dung lượng của đối tác làm dự phòng); DeepSeek V4.1 Flash do đối tác host. Với dữ liệu có yêu cầu lưu trú dữ liệu, điều khoản (mục 7.3a) bảo hãy thống nhất địa điểm xử lý trước khi gửi. Hãy kiểm tra cùng các điểm đó ở nhà dự phòng: lưu giữ, dùng để huấn luyện, địa điểm và bên xử lý phụ. Nếu không đạt, hãy để các request nhạy cảm ngoài đường dự phòng và cho chúng thất bại ở trạng thái đóng (fail closed). Checklist không lưu giữ dữ liệu liệt kê các câu hỏi cần đặt ra.

Có nên dùng gateway như LiteLLM thay thế không?

Hãy dùng gateway nếu nhiều dịch vụ cần cùng quy tắc dự phòng. Proxy của LiteLLM nhận một danh sách fallbacks được thử theo thứ tự. num_retries retry một nhóm model trước khi chuyển sang dự phòng. allowed_fails và cooldown_time tạm loại một deployment đang lỗi, hoạt động như một circuit breaker. Các thiết lập riêng context_window_fallbacks và content_policy_fallbacks xử lý các loại lỗi đó (tài liệu LiteLLM, kiểm tra ngày 15 tháng 11 năm 2026):

model_list:
  - model_name: glm
    litellm_params:
      model: openai/broadnet/glm-5.3
      api_base: https://inference.broadnet.ai/v1
      api_key: os.environ/BROADNET_API_KEY
  - model_name: glm-backup
    litellm_params:
      model: openai/zai-org/GLM-5.3
      api_base: https://api.deepinfra.com/v1/openai
      api_key: os.environ/DEEPINFRA_API_KEY

router_settings:
  fallbacks: [{"glm": ["glm-backup"]}]
  allowed_fails: 3
  cooldown_time: 30

litellm_settings:
  num_retries: 2
  request_timeout: 60

Hướng dẫn LiteLLM proxy trình bày đầy đủ mục BroadNet. Cả hai mục đều dùng tiền tố chung openai/ của LiteLLM cùng với api_base, đúng mẫu mà hướng dẫn dùng. Gateway thêm một chặng và thêm một thứ phải duy trì. Với một ứng dụng đơn lẻ, khoảng 40 dòng trong client như trên là đủ.

Làm sao kiểm thử failover trước khi cần đến?

  1. Trỏ nhà chính tới một host không truy cập được trong config kiểm thử và xác nhận request rơi vào nhà dự phòng.
  2. Gửi một request cố ý sai và xác nhận nó không failover.
  3. Dùng key nhà chính không hợp lệ và xác nhận lỗi 401 hiện ra như một lỗi, không phải một lần chuyển đổi âm thầm.
  4. Theo dõi breaker: sau ba lần thất bại, nhà chính phải bị bỏ qua mà không chờ timeout.
  5. Cảnh báo khi nhà dự phòng phục vụ nhiều hơn một phần nhỏ traffic. Failover âm thầm có thể che giấu một nhà chính bị hỏng trong nhiều ngày.

Router của LiteLLM nhận mock_testing_fallbacks=True trong kiểm thử trực tiếp để buộc chuyển sang dự phòng.

BroadNet Inference phù hợp ở đâu

BroadRouter là website của BroadNet, và BroadNet Inference có thể là bất kỳ mục nào trong danh sách của bạn. Làm nhà chính, nó cho bạn GLM 5.3 và Qwen3.8 27B có tài liệu về tool và đầu ra có cấu trúc, cùng Gemma 4 VL 26B và DeepSeek V4.1 Flash, trên một base URL và không lưu nội dung. Làm nhà dự phòng, nó là thêm một endpoint tương thích OpenAI để đưa vào danh sách. Dù thế nào, logic failover là của bạn: BroadNet không định tuyến giữa các nhà cung cấp, và gói tự phục vụ không có SLA. Nếu bạn cần mức dịch vụ theo hợp đồng, điều đó chỉ có với một thỏa thuận bằng văn bản riêng. So sánh các model, hoặc tạo tài khoản và thử chuỗi failover của bạn bằng tín dụng ban đầu $5 trên Gemma 4 VL 26B. GLM 5.3 và Qwen3.8 27B cần nạp tiền.

Câu hỏi thường gặp

Lỗi nào nên kích hoạt chuyển sang nhà cung cấp dự phòng?

Lỗi kết nối, timeout, 5xx và 429 do giới hạn tốc độ, sau khi SDK đã tự retry. Đừng failover với 400, 401, 402, 403, 413 hay 422: request hoặc tài khoản đang sai, và nhà cung cấp tiếp theo sẽ thất bại y hệt hoặc che giấu một vấn đề thanh toán.

BroadNet có tự động failover sang nhà cung cấp khác không?

Không. BroadNet Inference không định tuyến request giữa các model hay nhà cung cấp, và BroadRouter, chính trang này, là trang thông tin của BroadNet, không phải router. Bạn tự xây phương án dự phòng trong client hoặc trong một gateway như LiteLLM.

Có dùng cùng một model ID ở mọi nhà cung cấp được không?

Không. Mỗi nhà cung cấp đặt tên cùng một model trọng số mở theo cách khác. GLM 5.3 là `broadnet/glm-5.3` trên BroadNet, `zai-org/GLM-5.3` trên DeepInfra và `accounts/fireworks/models/glm-5p3` trên Fireworks (kiểm tra ngày 15 tháng 11 năm 2026). Hãy giữ một bảng ánh xạ theo từng nhà cung cấp.

Các lần thử thất bại có tốn tiền không?

Có thể. Timeout ở phía bạn không chứng minh nhà cung cấp đã dừng xử lý, và khi tính phí theo token, mỗi lần retry là một lần inference mới. Hãy dự trù ngân sách cho một số request bị tính phí hai lần và giới hạn số lần thử mỗi request.

Nhà cung cấp dự phòng có cần cùng điều khoản quyền riêng tư không?

Có. Nhà dự phòng là một bên xử lý khác nhìn thấy cùng các prompt. Hãy kiểm tra điều khoản lưu giữ, huấn luyện và địa điểm xử lý trước khi thêm vào, nếu không cam kết quyền riêng tư của bạn chỉ đúng khi nhà chính đang chạy.

BroadNet có SLA không?

Không cho gói tự phục vụ. Điều khoản của BroadNet (mục 7.4) nói gói tự phục vụ không có cam kết về độ sẵn sàng; mức dịch vụ chỉ tồn tại trong một thỏa thuận bằng văn bản riêng.

Đọc dạng MarkdownHỏi ChatGPTHỏi ClaudeHỏi Perplexity