BroadRouter

Kết nối LiteLLM tới BroadNet Inference (SDK và proxy)

Cập nhật

Trong LiteLLM, thêm tiền tố openai/ trước model ID của BroadNet, như openai/broadnet/glm-5.3, và đặt api_base là https://inference.broadnet.ai/v1 với key BroadNet làm api_key. Trong proxy, đặt các giá trị đó dưới litellm_params trong config.yaml và gán cho model một model_name ngắn.

LiteLLM cung cấp một giao diện chung cho nhiều nhà cung cấp LLM, dưới dạng Python SDK và proxy server. Để kết nối một API tương thích OpenAI, tài liệu của nó yêu cầu hai việc: thêm openai/ trước tên model, và đặt api_base. BroadNet Inference dùng route này.

1. Python SDK

pip install litellm
export BROADNET_API_KEY='your-broadnet-key'
import os
import litellm

response = litellm.completion(
    model="openai/broadnet/glm-5.3",
    api_base="https://inference.broadnet.ai/v1",
    api_key=os.environ["BROADNET_API_KEY"],
    max_tokens=4000,  # reasoning counts toward this
    messages=[{"role": "user", "content": "Name three uses of a bloom filter."}],
)
print(response.choices[0].message.content)

Như chú thích trong code, token suy luận cũng được tính vào max_tokens.

openai/ chọn route; LiteLLM gửi broadnet/glm-5.3 tới BroadNet. Đừng thêm gì vào base URL; client OpenAI của LiteLLM tự thêm đường dẫn endpoint.

Tài liệu LiteLLM lưu ý rằng route openai dùng thư viện OpenAI Python chính thức, vốn cần API key cho mỗi request. Hãy truyền api_key một cách tường minh như trên, để LiteLLM không bao giờ dùng tạm một OPENAI_API_KEY vốn dành cho chính OpenAI. Phản hồi trả về theo cấu trúc OpenAI, nên phần còn lại của code không cần đổi.

Khi nào nên dùng proxy

Trong một ứng dụng Python, SDK là đủ. Proxy hữu ích khi nhiều ứng dụng hoặc nhiều ngôn ngữ cần cùng các model: tất cả gọi một endpoint kiểu OpenAI với tên model ngắn, còn proxy giữ key BroadNet, áp giới hạn tần suất và ghi log usage. Khi đó ứng dụng của bạn hoàn toàn không cần thiết lập riêng cho BroadNet.

2. Proxy server

Cài phần bổ sung cho proxy và viết config.yaml:

pip install 'litellm[proxy]'
model_list:
  - model_name: glm
    litellm_params:
      model: openai/broadnet/glm-5.3
      api_base: https://inference.broadnet.ai/v1
      api_key: os.environ/BROADNET_API_KEY_GLM
      rpm: 30
  - model_name: deepseek-flash
    litellm_params:
      model: openai/broadnet/deepseek-v4.1-flash
      api_base: https://inference.broadnet.ai/v1
      api_key: os.environ/BROADNET_API_KEY_DEEPSEEK
      rpm: 30
  - model_name: qwen
    litellm_params:
      model: openai/broadnet/qwen3.8-27b
      api_base: https://inference.broadnet.ai/v1
      api_key: os.environ/BROADNET_API_KEY_QWEN
      rpm: 30

general_settings:
  master_key: os.environ/LITELLM_MASTER_KEY

Khởi động proxy và gọi nó như bất kỳ endpoint OpenAI nào:

litellm --config config.yaml

# in a second terminal
curl http://localhost:4000/chat/completions \
  -H "Authorization: Bearer $LITELLM_MASTER_KEY" \
  -H "Content-Type: application/json" \
  -d '{"model": "glm", "messages": [{"role": "user", "content": "Hello"}]}'

Lệnh curl chạy trong một terminal thứ hai, như chú thích trong code.

os.environ/BROADNET_API_KEY_GLM báo LiteLLM đọc key đó từ biến môi trường. Mỗi mục dùng một key trả theo mức dùng riêng của BroadNet, nên rpm: 30, giới hạn tần suất tùy chọn của LiteLLM cho từng deployment, khớp với giới hạn của từng key. Nếu nhiều mục dùng chung một key, chúng dùng chung giới hạn đó, nên hãy chia con số cho các mục. master_key buộc proxy yêu cầu key ở mọi lệnh gọi; tài liệu LiteLLM nói key này phải bắt đầu bằng sk-. Hãy export LITELLM_MASTER_KEY trước khi khởi động proxy.

Chọn model nào

model_name Model BroadNet Mục đích
glm GLM 5.3 Tool, đầu ra có cấu trúc, context 1 triệu token
deepseek-flash DeepSeek V4.1 Flash Context dài; model của gói không giới hạn
qwen Qwen3.8 27B Hình ảnh, tool, tiếng Ả Rập
(thêm nếu cần) Gemma 4 VL 26B Giá theo token thấp; dùng được với $5 tín dụng ban đầu

Giá có trên trang giá. Nếu bạn chuyển từ một gateway khác, checklist chuyển đổi liệt kê những gì cần kiểm thử.

Xử lý sự cố

  • 401. Key BroadNet sai, đã hết hạn hoặc đã hết hạn mức trả theo mức dùng. Nếu lỗi 401 đến từ chính proxy, hãy kiểm tra key LiteLLM bạn đã gửi.
  • Not Found. Kiểm tra api_base là https://inference.broadnet.ai/v1, có /v1. Nếu base URL đúng, hãy kiểm tra model ID sau openai/ khớp chính xác với ID của BroadNet.
  • Model bị từ chối trên tài khoản mới. GLM 5.3, Qwen3.8 27B và DeepSeek V4.1 Flash cần nạp tiền trước; $5 tín dụng ban đầu chỉ dùng được cho broadnet/gemma-4-26b-a4b và hai model Transcribe.
  • Content rỗng. Suy luận được tính vào max_tokens. Hãy tăng nó hoặc gửi reasoning_effort="low". Vì sao câu trả lời trả về rỗng.
  • 429. Một key trả theo mức dùng cho phép 30 request mỗi phút và 4 request đồng thời. rpm của LiteLLM giúp với giới hạn thứ nhất; hãy giữ số bên gọi đồng thời ở mức 4 hoặc ít hơn cho mỗi key. Xem lỗi và thử lại.
  • Agent song song trên key của gói. Một phiên của gói chạy một request tại một thời điểm. Chạy nhiều agent qua proxy trên một phiên sẽ khiến chúng xếp hàng; hãy mua mỗi agent song song một phiên.

Câu hỏi thường gặp

Vì sao LiteLLM trả về lỗi Not Found?

Tài liệu LiteLLM yêu cầu api_base phải kết thúc bằng /v1. Hãy dùng https://inference.broadnet.ai/v1 và đừng thêm /chat/completions.

Vì sao tên model là openai/broadnet/glm-5.3?

Tiền tố openai/ báo cho LiteLLM gọi một endpoint /chat/completions kiểu OpenAI. LiteLLM dùng tiền tố để chọn route và gửi phần còn lại, broadnet/glm-5.3, chính là model ID của BroadNet.

Có thể đặt key gói không giới hạn của BroadNet sau một proxy LiteLLM dùng chung không?

Key của gói không được dùng chung hay bán lại, và một phiên chạy một request tại một thời điểm. Hãy dùng chúng cho agent của riêng bạn. Với proxy cho cả nhóm, hãy dùng key trả theo mức dùng.

LiteLLM có cần OPENAI_API_KEY để gọi BroadNet không?

Route openai cần một key cho mỗi request, lấy từ api_key hoặc OPENAI_API_KEY. Hãy truyền key BroadNet làm api_key, hoặc os.environ/BROADNET_API_KEY trong proxy, để LiteLLM không gửi key OpenAI thật tới BroadNet.

Đọc dạng MarkdownHỏi ChatGPTHỏi ClaudeHỏi Perplexity