BroadRouter

Kết nối Langflow với BroadNet Inference

Cập nhật

Trong Langflow, thêm component OpenAI từ bundle OpenAI. Gõ một ID BroadNet như broadnet/glm-5.3 vào Model Name, dán key BroadNet, rồi trong phần cài đặt nâng cao đặt OpenAI API Base là https://inference.broadnet.ai/v1. Đừng dùng model provider OpenAI Compatible: nó lấy danh sách model từ /v1/models, mà danh sách của BroadNet chỉ có các model chép lời.

Langflow là công cụ trực quan mã nguồn mở để xây agent và flow RAG. Component OpenAI của nó có trường OpenAI API Base, theo lời chính component là để “use other APIs” (Bản dịch: dùng các API khác). BroadNet Inference phục vụ chat completions tại https://inference.broadnet.ai/v1, nên component này dùng được với model ID BroadNet tự gõ. BroadRouter là trang web của chính BroadNet; hướng dẫn này dựa trên tài liệu Langflow 1.13.x và mã nguồn component ở v1.13.2.

Thiết lập

  1. Thêm component. Trong một flow, mở bảng components và thêm OpenAI từ bundle OpenAI. Langflow 1.13.2 cài bundle này cùng gói chính.

  2. Model Name. Bấm vào trường và gõ broadnet/glm-5.3. Trường nhận giá trị tùy ý, nên bạn không bị giới hạn ở các model OpenAI trong danh sách.

  3. OpenAI API Key. Dán key BroadNet, hoặc chọn một biến toàn cục chứa key.

  4. Cài đặt nâng cao. Mở phần điều khiển của component và đặt:

    Trường Giá trị
    OpenAI API Base https://inference.broadnet.ai/v1
    Max Tokens 4000
  5. Chạy thử. Nối một Chat Input và một Chat Output, mở Playground và gửi một tin nhắn. Có câu trả lời nghĩa là cài đặt đã đúng.

Hai cơ chế kiểm tra của Langflow có thể chặn BroadNet

Langflow 1.13 bật bảo vệ SSRF theo mặc định. Có hai quy tắc đáng chú ý:

  • Key lấy từ môi trường server. Nếu API key đến từ môi trường của server (ví dụ một biến toàn cục nạp từ biến môi trường), Langflow từ chối gửi nó tới endpoint không phải mặc định, trừ khi host nằm trong allowlist. Người vận hành đặt:

    export LANGFLOW_PROVIDER_CREDENTIAL_ALLOWED_HOSTS=inference.broadnet.ai

    Key gõ trực tiếp vào component không bị ảnh hưởng.

  • Địa chỉ nội bộ. Loopback và IP nội bộ bị chặn nếu không có trong LANGFLOW_SSRF_ALLOWED_HOSTS. BroadNet là một host HTTPS công khai, nên điều này chỉ quan trọng khi bạn đi qua một proxy cục bộ.

Vì sao không dùng provider OpenAI Compatible?

Langflow 1.13 còn có model provider OpenAI Compatible trong Settings → Model Providers. Tài liệu của nó cho biết provider này kiểm tra kết nối qua route /v1/models của endpoint và đưa ra các model tìm thấy. Khi chúng tôi kiểm tra ngày 16 tháng 11 năm 2026, /v1/models của BroadNet chỉ liệt kê broadnet/cohere-transcribe-arabic và broadnet/cohere-transcribe, nên không chọn được model chat ở đó. Tên model tự gõ trong component OpenAI tránh được vấn đề này.

Chọn model nào

Flow Model
Component Agent dùng tool broadnet/glm-5.3
Flow có hình ảnh hoặc văn bản tiếng Ả Rập, dùng tool broadnet/qwen3.8-27b
Flow tài liệu dài, gói giá cố định broadnet/deepseek-v4.1-flash
Thử Langflow bằng tín dụng ban đầu broadnet/gemma-4-26b-a4b (context 32.768 token)

Tài liệu BroadNet chỉ ghi hỗ trợ tool và đầu ra có cấu trúc cho GLM 5.3 và Qwen3.8 27B. JSON Mode của component gửi response_format: {"type": "json_object"}; hãy dùng nó với hai model này. Giá của mọi model.

Chúng tôi đã kiểm thử thế nào

Chúng tôi không chạy giao diện Langflow. Ngày 2026-11-15, chúng tôi cài lfx 1.13.2 và bundle lfx-openai, có file component OpenAI khớp với mã nguồn v1.13.2, rồi dựng component bằng Python và trỏ tới một mock server cục bộ mô phỏng định dạng chat completions của BroadNet. Với key gõ trực tiếp và LANGFLOW_SSRF_ALLOWED_HOSTS đặt cho mock cục bộ, request tới /v1/chat/completions với model ID broadnet/glm-5.3 giữ nguyên, Bearer key, temperature: 0.1 và một seed. Giá trị Max Tokens được gửi dưới dạng max_completion_tokens; tài liệu tham chiếu API của BroadNet mô tả max_tokens. Key sao chép từ môi trường server bị từ chối cho đến khi chúng tôi đặt thêm LANGFLOW_PROVIDER_CREDENTIAL_ALLOWED_HOSTS. Chúng tôi không có key BroadNet nên chưa kiểm thử đầu ra thật của model.

Xử lý sự cố

  • “Refusing to send a server-provisioned API credential”. Thêm inference.broadnet.ai vào LANGFLOW_PROVIDER_CREDENTIAL_ALLOWED_HOSTS, hoặc gõ key vào component.
  • 401. Key sai, đã hết hạn hoặc hết hạn mức.
  • 404. OpenAI API Base phải kết thúc bằng /v1, và Model Name phải khớp chính xác ID của BroadNet. Các model trả phí cần nạp tiền; với $5 tín dụng ban đầu chỉ dùng được broadnet/gemma-4-26b-a4b và hai model Transcribe.
  • Câu trả lời rỗng. Trên DeepSeek V4.1 Flash, GLM 5.3 và Qwen3.8 27B, phần suy luận được tính vào giới hạn đầu ra. Hãy tăng Max Tokens. Vì sao câu trả lời trả về rỗng.
  • 429. Một key trả theo mức dùng cho phép 30 request mỗi phút và 4 request đang xử lý cùng lúc. Xem lỗi và thử lại.

Câu hỏi thường gặp

Vì sao provider OpenAI Compatible không hiện GLM 5.3 hay Qwen?

Theo tài liệu Langflow, provider này tìm model qua route /v1/models của endpoint. Khi chúng tôi kiểm tra ngày 16 tháng 11 năm 2026, /v1/models của BroadNet chỉ liệt kê hai model chép lời, nên các model chat không bao giờ xuất hiện. Hãy dùng component OpenAI với tên model tự gõ.

Có gõ được model không nằm trong danh sách của component OpenAI không?

Được. Model Name là một combobox, mà theo định nghĩa input của Langflow nghĩa là người dùng có thể nhập giá trị tùy ý. Hãy gõ đầy đủ ID BroadNet, ví dụ broadnet/glm-5.3.

Vì sao Langflow từ chối gửi key của tôi tới BroadNet?

Langflow 1.13 không gửi API key lấy từ môi trường server tới một endpoint tùy chỉnh, trừ khi người vận hành cho phép host đó. Hãy đặt LANGFLOW_PROVIDER_CREDENTIAL_ALLOWED_HOSTS=inference.broadnet.ai, hoặc dán key thẳng vào component.

Component OpenAI của Langflow có dùng Responses API không?

Không. Nó dựng ChatOpenAI của LangChain, vốn gọi chat completions cho các request thông thường. Trong thử nghiệm của chúng tôi, nó gọi /v1/chat/completions.

Đọc dạng MarkdownHỏi ChatGPTHỏi ClaudeHỏi Perplexity