BroadRouter

Dùng CrewAI với BroadNet Inference làm endpoint OpenAI tùy chỉnh

Cập nhật

Tạo model bằng lớp LLM của crewai, truyền model là ID BroadNet như broadnet/glm-5.3, custom_openai=True, base_url là https://inference.broadnet.ai/v1 và api_key là key BroadNet. Sau đó gán LLM đó cho từng Agent. CrewAI dùng client OpenAI gốc và chat completions, nên không cần cài LiteLLM.

CrewAI là framework Python để xây dựng các nhóm agent. Tài liệu CrewAI có mẫu endpoint tương thích OpenAI tùy chỉnh: một LLM với custom_openai=True và base_url. BroadNet Inference phục vụ chat completions chuẩn tại https://inference.broadnet.ai/v1, nên cắm vào đó được ngay. BroadRouter là website của chính BroadNet; bài này làm theo tài liệu và mã nguồn CrewAI ở phiên bản 1.15.41.

Cài đặt

pip install crewai
export BROADNET_API_KEY='your-broadnet-key'

Kết nối

import os
from crewai import LLM, Agent

llm = LLM(
    model="broadnet/glm-5.3",
    custom_openai=True,
    base_url="https://inference.broadnet.ai/v1",
    api_key=os.environ["BROADNET_API_KEY"],
    max_tokens=4000,  # reasoning counts toward this limit
)

# Quick test: one call straight to the model
print(llm.call("Say hello in five words."))

analyst = Agent(
    role="Analyst",
    goal="Summarize incidents",
    backstory="You write short incident summaries.",
    llm=llm,
)
print(analyst.kickoff("Summarize: the API returned 503 for four minutes after a deploy."))

Nếu llm.call in ra câu trả lời, nghĩa là key, URL và model ID đều đúng.

CrewAI định tuyến request như thế nào

Mã nguồn CrewAI đặt ra một thứ tự: custom_openai=True được xét đầu tiên và buộc dùng provider OpenAI gốc, bất kể tên model gợi ý gì. Nó cũng báo lỗi nếu không có endpoint tùy chỉnh được đặt qua base_url, api_base, OPENAI_BASE_URL hoặc OPENAI_API_BASE. Chuỗi model được gửi nguyên văn, nên broadnet/glm-5.3 tới BroadNet mà không bị đổi.

Nếu không có custom_openai, một tên như broadnet/glm-5.3 sẽ được hiểu là provider broadnet, thứ CrewAI không biết, và sẽ chuyển sang LiteLLM. Cách thay thế được ghi trong tài liệu là model="openai/broadnet/glm-5.3" kèm base_url: CrewAI bỏ tiền tố openai/ và gửi phần còn lại.

Thêm hai điều từ mã nguồn và tài liệu CrewAI:

  • Trường giới hạn token. Khi bạn truyền max_tokens, client gốc gửi max_tokens trong chat completions, đúng trường mà tài liệu tham chiếu API của BroadNet mô tả. Nếu bạn truyền max_completion_tokens, trường đó sẽ được gửi thay thế.
  • Giữ nguyên chat completions. Tài liệu CrewAI có api="responses" để chuyển sang Responses API. Đừng đặt nó; BroadNet không liệt kê API đó.

Agent nào dùng model nào

Agent Model Lý do
Agent dùng tool broadnet/glm-5.3 BroadNet ghi hỗ trợ tool và đầu ra có cấu trúc; context 1M
Đầu vào hình ảnh hoặc tiếng Ả Rập, có tool broadnet/qwen3.8-27b Tool cộng hình ảnh; context 262K
Việc đọc dài, gói giá cố định broadnet/deepseek-v4.1-flash Gói không giới hạn; BroadNet không ghi hỗ trợ tool

Một crew có thể kết hợp nhiều model: cho mỗi Agent một LLM riêng.

Xử lý sự cố

  • 401. Key bị sai, hết hạn hoặc hết hạn mức. Nếu bạn bỏ api_key, CrewAI đã đọc OPENAI_API_KEY, biến này có thể đang chứa key OpenAI.
  • “custom_openai=True requires base_url”. Truyền base_url, hoặc đặt OPENAI_BASE_URL.
  • Không tìm thấy model. Kiểm tra ID khớp chính xác với ID của BroadNet. Các model trả phí cần nạp tiền; tín dụng $5 chỉ dùng được cho broadnet/gemma-4-26b-a4b và hai model Transcribe.
  • EmptyLLMResponseError. CrewAI thử lại một lần khi câu trả lời rỗng, rồi báo lỗi này. Hãy tăng max_tokens. Vì sao câu trả lời trả về rỗng.
  • 429 khi có nhiều agent. Key trả theo mức dùng cho phép 30 request mỗi phút và 4 request đang xử lý, còn một phiên của gói chạy một request tại một thời điểm. Xem lỗi và thử lại.

Câu hỏi thường gặp

custom_openai=True trong CrewAI có tác dụng gì?

Mã nguồn CrewAI cho biết nó buộc dùng provider OpenAI gốc bất kể tên model trông thế nào, và nó yêu cầu base_url, api_base, OPENAI_BASE_URL hoặc OPENAI_API_BASE. Chuỗi model được gửi nguyên văn, nên broadnet/glm-5.3 tới BroadNet mà không bị đổi.

Có thể viết model="openai/broadnet/glm-5.3" thay thế không?

Có. Khi có base_url tùy chỉnh, CrewAI chuyển tiền tố openai/ tới client OpenAI gốc và bỏ tiền tố đi, nên BroadNet nhận broadnet/glm-5.3. Dùng custom_openai=True thì rõ ràng hơn.

Vì sao crew của tôi lỗi EmptyLLMResponseError?

Khi câu trả lời rỗng, tức không có nội dung và không có lời gọi tool, CrewAI thử lại một lần, và báo lỗi này nếu lần thử lại cũng rỗng. Với các model suy luận của BroadNet, điều đó thường nghĩa là phần suy luận đã dùng hết ngân sách đầu ra. Hãy tăng max_tokens.

Agent CrewAI nên dùng model BroadNet nào?

GLM 5.3 cho agent dùng tool, vì BroadNet ghi hỗ trợ tool và đầu ra có cấu trúc cho model này. Qwen3.8 27B cũng có tool và nhận hình ảnh.

Đọc dạng MarkdownHỏi ChatGPTHỏi ClaudeHỏi Perplexity