LiteLLM cung cấp một giao diện chung cho nhiều nhà cung cấp LLM, dưới dạng Python SDK và proxy server. Để kết nối một API tương thích OpenAI, tài liệu của nó yêu cầu hai việc: thêm openai/ trước tên model, và đặt api_base. BroadNet Inference dùng route này.
1. Python SDK
pip install litellm
export BROADNET_API_KEY='your-broadnet-key'
import os
import litellm
response = litellm.completion(
model="openai/broadnet/glm-5.3",
api_base="https://inference.broadnet.ai/v1",
api_key=os.environ["BROADNET_API_KEY"],
max_tokens=4000, # reasoning counts toward this
messages=[{"role": "user", "content": "Name three uses of a bloom filter."}],
)
print(response.choices[0].message.content)
Như chú thích trong code, token suy luận cũng được tính vào max_tokens.
openai/ chọn route; LiteLLM gửi broadnet/glm-5.3 tới BroadNet. Đừng thêm gì vào base URL; client OpenAI của LiteLLM tự thêm đường dẫn endpoint.
Tài liệu LiteLLM lưu ý rằng route openai dùng thư viện OpenAI Python chính thức, vốn cần API key cho mỗi request. Hãy truyền api_key một cách tường minh như trên, để LiteLLM không bao giờ dùng tạm một OPENAI_API_KEY vốn dành cho chính OpenAI. Phản hồi trả về theo cấu trúc OpenAI, nên phần còn lại của code không cần đổi.
Khi nào nên dùng proxy
Trong một ứng dụng Python, SDK là đủ. Proxy hữu ích khi nhiều ứng dụng hoặc nhiều ngôn ngữ cần cùng các model: tất cả gọi một endpoint kiểu OpenAI với tên model ngắn, còn proxy giữ key BroadNet, áp giới hạn tần suất và ghi log usage. Khi đó ứng dụng của bạn hoàn toàn không cần thiết lập riêng cho BroadNet.
2. Proxy server
Cài phần bổ sung cho proxy và viết config.yaml:
pip install 'litellm[proxy]'
model_list:
- model_name: glm
litellm_params:
model: openai/broadnet/glm-5.3
api_base: https://inference.broadnet.ai/v1
api_key: os.environ/BROADNET_API_KEY_GLM
rpm: 30
- model_name: deepseek-flash
litellm_params:
model: openai/broadnet/deepseek-v4.1-flash
api_base: https://inference.broadnet.ai/v1
api_key: os.environ/BROADNET_API_KEY_DEEPSEEK
rpm: 30
- model_name: qwen
litellm_params:
model: openai/broadnet/qwen3.8-27b
api_base: https://inference.broadnet.ai/v1
api_key: os.environ/BROADNET_API_KEY_QWEN
rpm: 30
general_settings:
master_key: os.environ/LITELLM_MASTER_KEY
Khởi động proxy và gọi nó như bất kỳ endpoint OpenAI nào:
litellm --config config.yaml
# in a second terminal
curl http://localhost:4000/chat/completions \
-H "Authorization: Bearer $LITELLM_MASTER_KEY" \
-H "Content-Type: application/json" \
-d '{"model": "glm", "messages": [{"role": "user", "content": "Hello"}]}'
Lệnh curl chạy trong một terminal thứ hai, như chú thích trong code.
os.environ/BROADNET_API_KEY_GLM báo LiteLLM đọc key đó từ biến môi trường. Mỗi mục dùng một key trả theo mức dùng riêng của BroadNet, nên rpm: 30, giới hạn tần suất tùy chọn của LiteLLM cho từng deployment, khớp với giới hạn của từng key. Nếu nhiều mục dùng chung một key, chúng dùng chung giới hạn đó, nên hãy chia con số cho các mục. master_key buộc proxy yêu cầu key ở mọi lệnh gọi; tài liệu LiteLLM nói key này phải bắt đầu bằng sk-. Hãy export LITELLM_MASTER_KEY trước khi khởi động proxy.
Chọn model nào
| model_name | Model BroadNet | Mục đích |
|---|---|---|
glm |
GLM 5.3 | Tool, đầu ra có cấu trúc, context 1 triệu token |
deepseek-flash |
DeepSeek V4.1 Flash | Context dài; model của gói không giới hạn |
qwen |
Qwen3.8 27B | Hình ảnh, tool, tiếng Ả Rập |
| (thêm nếu cần) | Gemma 4 VL 26B | Giá theo token thấp; dùng được với $5 tín dụng ban đầu |
Giá có trên trang giá. Nếu bạn chuyển từ một gateway khác, checklist chuyển đổi liệt kê những gì cần kiểm thử.
Xử lý sự cố
- 401. Key BroadNet sai, đã hết hạn hoặc đã hết hạn mức trả theo mức dùng. Nếu lỗi 401 đến từ chính proxy, hãy kiểm tra key LiteLLM bạn đã gửi.
- Not Found. Kiểm tra
api_baselàhttps://inference.broadnet.ai/v1, có/v1. Nếu base URL đúng, hãy kiểm tra model ID sauopenai/khớp chính xác với ID của BroadNet. - Model bị từ chối trên tài khoản mới. GLM 5.3, Qwen3.8 27B và DeepSeek V4.1 Flash cần nạp tiền trước; $5 tín dụng ban đầu chỉ dùng được cho
broadnet/gemma-4-26b-a4bvà hai model Transcribe. - Content rỗng. Suy luận được tính vào
max_tokens. Hãy tăng nó hoặc gửireasoning_effort="low". Vì sao câu trả lời trả về rỗng. - 429. Một key trả theo mức dùng cho phép 30 request mỗi phút và 4 request đồng thời.
rpmcủa LiteLLM giúp với giới hạn thứ nhất; hãy giữ số bên gọi đồng thời ở mức 4 hoặc ít hơn cho mỗi key. Xem lỗi và thử lại. - Agent song song trên key của gói. Một phiên của gói chạy một request tại một thời điểm. Chạy nhiều agent qua proxy trên một phiên sẽ khiến chúng xếp hàng; hãy mua mỗi agent song song một phiên.
