BroadRouter
Bắt đầu

Thêm BroadNet Inference vào Dify bằng plugin OpenAI-API-compatible

Cập nhật

Trong Dify, cài plugin OpenAI-API-compatible từ Integrations, Model Provider, rồi bấm Add Model. Chọn loại LLM, nhập model ID BroadNet như broadnet/glm-5.3, key BroadNet và API Base URL https://inference.broadnet.ai/v1. Đặt Completion mode là Chat, context size thật, giới hạn đầu ra đủ chỗ cho suy luận, và chỉ chọn Tool Call cho GLM 5.3 hoặc Qwen3.8 27B.

Dify là nền tảng mã nguồn mở để xây dựng ứng dụng và workflow LLM. Những nhà cung cấp mà Dify không liệt kê theo tên được thêm qua plugin model provider OpenAI-API-compatible, do đội ngũ Dify (langgenius) phát hành. BroadNet Inference phục vụ chat completions chuẩn tại https://inference.broadnet.ai/v1, nên phù hợp. BroadRouter là website của chính BroadNet; tên các trường dưới đây lấy từ phiên bản 0.0.83 của plugin.

Thiết lập

  1. Lấy key. Tạo một key trả theo mức dùng trong console BroadNet.

  2. Cài plugin. Trong Dify, vào Integrations > Model Provider, tìm OpenAI-API-compatible trong các provider có thể cài (hoặc mở nó trên Marketplace), rồi cài đặt. Bạn cần là chủ sở hữu hoặc quản trị viên workspace.

  3. Thêm model. Bấm Add Model trên thẻ provider và điền:

    Trường Giá trị
    Model Type LLM
    Model Name broadnet/glm-5.3
    Model display name GLM 5.3 (BroadNet)
    API Key key BroadNet của bạn
    API Base URL https://inference.broadnet.ai/v1
    Completion mode Chat
    Model context size 1048576
    Upper bound for max tokens 16000
    Function Call Type Tool Call
    Vision Support Not Support
    Structured Output Support
    API Type Chat Completions API (/chat/completions)
    Token parameter name Use max_tokens
  4. Lưu lại. Dify kiểm tra thông tin xác thực trước khi thêm model.

  5. Chạy thử. Tạo một ứng dụng Chatbot, chọn GLM 5.3 (BroadNet) trong bộ chọn model và gửi một tin nhắn ở khung xem trước.

Lặp lại Add Model cho mỗi model BroadNet bạn muốn dùng. Tên model phải khớp chính xác với ID của BroadNet, kể cả tiền tố broadnet/.

Giá trị theo từng model

Model Name Context size Function Call Type Vision Support
broadnet/glm-5.3 1048576 Tool Call Not Support
broadnet/qwen3.8-27b 262144 Tool Call Support
broadnet/deepseek-v4.1-flash 1048576 Not Support (chưa kiểm thử) Support
broadnet/gemma-4-26b-a4b 32768 Not Support Support

Vì sao chọn như vậy:

  • Context size mặc định là 4.096 trong plugin. Nếu để nguyên, Dify sẽ cắt bộ nhớ và context truy xuất được xuống thấp hơn nhiều so với mức model chấp nhận.
  • Upper bound for max tokens cũng mặc định là 4.096. Ba trong số các model suy luận trước khi trả lời, và phần suy luận được tính vào giới hạn này, nên hãy chừa chỗ. 16.000 là gợi ý của chúng tôi, không phải giới hạn của BroadNet.
  • Token parameter name đặt là max_tokens khớp với trường trong tài liệu tham chiếu API của BroadNet. Mặc định của plugin là đoán theo tên model.
  • API Type giữ ở Chat Completions. BroadNet không liệt kê Responses API.

Chép lời

Plugin cũng có thể thêm model speech-to-text. BroadNet phục vụ /v1/audio/transcriptions với broadnet/cohere-transcribe-arabic cho tiếng Ả Rập và broadnet/cohere-transcribe cho 14 ngôn ngữ. README của plugin nói với speech-to-text, plugin tự thêm đường dẫn phiên bản, nên ví dụ của nó dùng host không có /v1 (ở đây là https://inference.broadnet.ai). Chúng tôi chưa thử đường này qua Dify; hãy kiểm tra trước bằng một file WAV ngắn. Xem hướng dẫn chuyển giọng nói tiếng Ả Rập thành văn bản.

Xử lý sự cố

  • Kiểm tra thông tin xác thực thất bại. Kiểm tra key, API Base URL (kết thúc bằng /v1 với LLM) và tên model. Các model trả phí cần nạp tiền; tín dụng $5 chỉ dùng được cho broadnet/gemma-4-26b-a4b và hai model Transcribe.
  • Câu trả lời rỗng trong workflow. Max tokens của node LLM quá thấp với một model suy luận. Hãy tăng lên. Vì sao câu trả lời trả về rỗng.
  • Node Agent không bao giờ gọi tool. Dùng GLM 5.3 hoặc Qwen3.8 27B với Function Call Type đặt là Tool Call.
  • 429 khi tải cao. Key trả theo mức dùng cho phép 30 request mỗi phút và 4 request đang xử lý. Các nhánh song song và node iteration có thể vượt mức đó; hãy giảm mức song song của chúng. Xem lỗi và thử lại.

Câu hỏi thường gặp

BroadNet có chạy trên Dify Cloud cũng như Dify tự host không?

Có. BroadNet Inference là endpoint HTTPS công khai, nên Dify Cloud truy cập được. Tài liệu Dify nói chỉ chủ sở hữu và quản trị viên workspace mới quản lý được model provider, và key bạn thêm vào dùng được trong toàn bộ workspace.

API Base URL có cần kèm /v1 không?

Có, với model LLM. Các ví dụ của chính plugin dùng base URL kết thúc bằng /v1 cho model chat, và README của nó lưu ý rằng với một số loại model khác, plugin tự thêm đường dẫn phiên bản.

Nên chọn Function Call Type nào?

Tool Call cho GLM 5.3 và Qwen3.8 27B, hai model BroadNet ghi có hỗ trợ tool. Chọn Not Support cho DeepSeek V4.1 Flash, trừ khi chính bạn đã thử gọi tool trên model này.

AI credits của Dify có dùng được cho model BroadNet không?

Không. Tài liệu Dify nói AI credits không áp dụng cho provider bạn dùng bằng tài khoản riêng. BroadNet tính tiền vào key bạn nhập.

Đọc dạng MarkdownHỏi ChatGPTHỏi ClaudeHỏi Perplexity