CrewAI là framework Python để xây dựng các nhóm agent. Tài liệu CrewAI có mẫu endpoint tương thích OpenAI tùy chỉnh: một LLM với custom_openai=True và base_url. BroadNet Inference phục vụ chat completions chuẩn tại https://inference.broadnet.ai/v1, nên cắm vào đó được ngay. BroadRouter là website của chính BroadNet; bài này làm theo tài liệu và mã nguồn CrewAI ở phiên bản 1.15.41.
Cài đặt
pip install crewai
export BROADNET_API_KEY='your-broadnet-key'
Kết nối
import os
from crewai import LLM, Agent
llm = LLM(
model="broadnet/glm-5.3",
custom_openai=True,
base_url="https://inference.broadnet.ai/v1",
api_key=os.environ["BROADNET_API_KEY"],
max_tokens=4000, # reasoning counts toward this limit
)
# Quick test: one call straight to the model
print(llm.call("Say hello in five words."))
analyst = Agent(
role="Analyst",
goal="Summarize incidents",
backstory="You write short incident summaries.",
llm=llm,
)
print(analyst.kickoff("Summarize: the API returned 503 for four minutes after a deploy."))
Nếu llm.call in ra câu trả lời, nghĩa là key, URL và model ID đều đúng.
CrewAI định tuyến request như thế nào
Mã nguồn CrewAI đặt ra một thứ tự: custom_openai=True được xét đầu tiên và buộc dùng provider OpenAI gốc, bất kể tên model gợi ý gì. Nó cũng báo lỗi nếu không có endpoint tùy chỉnh được đặt qua base_url, api_base, OPENAI_BASE_URL hoặc OPENAI_API_BASE. Chuỗi model được gửi nguyên văn, nên broadnet/glm-5.3 tới BroadNet mà không bị đổi.
Nếu không có custom_openai, một tên như broadnet/glm-5.3 sẽ được hiểu là provider broadnet, thứ CrewAI không biết, và sẽ chuyển sang LiteLLM. Cách thay thế được ghi trong tài liệu là model="openai/broadnet/glm-5.3" kèm base_url: CrewAI bỏ tiền tố openai/ và gửi phần còn lại.
Thêm hai điều từ mã nguồn và tài liệu CrewAI:
- Trường giới hạn token. Khi bạn truyền
max_tokens, client gốc gửimax_tokenstrong chat completions, đúng trường mà tài liệu tham chiếu API của BroadNet mô tả. Nếu bạn truyềnmax_completion_tokens, trường đó sẽ được gửi thay thế. - Giữ nguyên chat completions. Tài liệu CrewAI có
api="responses"để chuyển sang Responses API. Đừng đặt nó; BroadNet không liệt kê API đó.
Agent nào dùng model nào
| Agent | Model | Lý do |
|---|---|---|
| Agent dùng tool | broadnet/glm-5.3 |
BroadNet ghi hỗ trợ tool và đầu ra có cấu trúc; context 1M |
| Đầu vào hình ảnh hoặc tiếng Ả Rập, có tool | broadnet/qwen3.8-27b |
Tool cộng hình ảnh; context 262K |
| Việc đọc dài, gói giá cố định | broadnet/deepseek-v4.1-flash |
Gói không giới hạn; BroadNet không ghi hỗ trợ tool |
Một crew có thể kết hợp nhiều model: cho mỗi Agent một LLM riêng.
Xử lý sự cố
- 401. Key bị sai, hết hạn hoặc hết hạn mức. Nếu bạn bỏ
api_key, CrewAI đã đọcOPENAI_API_KEY, biến này có thể đang chứa key OpenAI. - “custom_openai=True requires base_url”. Truyền
base_url, hoặc đặtOPENAI_BASE_URL. - Không tìm thấy model. Kiểm tra ID khớp chính xác với ID của BroadNet. Các model trả phí cần nạp tiền; tín dụng $5 chỉ dùng được cho
broadnet/gemma-4-26b-a4bvà hai model Transcribe. EmptyLLMResponseError. CrewAI thử lại một lần khi câu trả lời rỗng, rồi báo lỗi này. Hãy tăngmax_tokens. Vì sao câu trả lời trả về rỗng.- 429 khi có nhiều agent. Key trả theo mức dùng cho phép 30 request mỗi phút và 4 request đang xử lý, còn một phiên của gói chạy một request tại một thời điểm. Xem lỗi và thử lại.
