LibreChat là ứng dụng chat mã nguồn mở hỗ trợ các dịch vụ tương thích OpenAI dưới dạng custom endpoint. Bạn khai báo chúng trong librechat.yaml, giữ key trong .env, và nếu dùng Docker thì mount file YAML vào container. BroadRouter là trang web của chính BroadNet; các bước dưới đây theo hướng dẫn custom endpoint của LibreChat.
Thiết lập
- Mount librechat.yaml (chỉ với Docker). Sao chép
docker-compose.override.yml.examplethànhdocker-compose.override.ymlvà bảo đảm volume đang được bật:
services:
api:
volumes:
- type: bind
source: ./librechat.yaml
target: /app/librechat.yaml
- Thêm endpoint vào
librechat.yamlở thư mục gốc dự án, dướiendpoints.custom:
endpoints:
custom:
- name: 'BroadNet'
apiKey: '${BROADNET_API_KEY}'
baseURL: 'https://inference.broadnet.ai/v1'
models:
default:
- 'broadnet/glm-5.3'
- 'broadnet/qwen3.8-27b'
- 'broadnet/deepseek-v4.1-flash'
- 'broadnet/gemma-4-26b-a4b'
fetch: false
titleConvo: true
titleModel: 'broadnet/gemma-4-26b-a4b'
modelDisplayLabel: 'BroadNet'
Giữ nguyên các key cấp cao nhất mà file đã có, chẳng hạn version.
- Đặt key trong
.env:
BROADNET_API_KEY=your-broadnet-key
- Khởi động lại LibreChat. Với Docker:
docker compose down && docker compose up -d. Với bản cài cục bộ, khởi động lại bằngnpm run backend. Sau đó BroadNet xuất hiện trong danh sách chọn endpoint.
Ghi chú về các trường
- baseURL. LibreChat tự nối thêm
/chat/completions, nên hãy dùng gốc/v1như trên. Đừng đặtdirectEndpoint: true; tùy chọn đó dành cho baseURL vốn đã là URL completions đầy đủ. - fetch: false. Đây là mặc định của LibreChat; chúng tôi ghi rõ để thấy lựa chọn này. Tài liệu BroadNet mô tả
GET /v1/modelslà metadata catalog công khai dành cho công cụ giám sát, nên liệt kê model trongdefaultsẽ dễ đoán hơn. - titleModel. LibreChat đặt tiêu đề cho mỗi cuộc chat bằng một request thêm. Một model nhỏ, rẻ, không suy luận giúp lệnh gọi này ngắn. Tài liệu BroadNet không ghi khả năng suy luận cho Gemma 4 VL 26B.
- user_provided. Đặt
apiKey: 'user_provided'nếu mỗi người dùng cần nhập key BroadNet riêng trong giao diện. LibreChat lưu key của từng người ở dạng mã hóa và hỏi key ở lần đầu họ chọn endpoint. - Tên duy nhất. Một endpoint thứ hai trùng tên (không phân biệt hoa thường) sẽ âm thầm thay thế endpoint đầu. Nếu bạn đã có một mục tên BroadNet, hãy đổi tên một trong hai.
- Không ghi key trực tiếp. Tài liệu LibreChat khuyên dùng tham chiếu
${VAR}thay vì gõ key vàolibrechat.yaml, vì như vậy key sẽ nằm trong file ở dạng văn bản thuần.
Chọn model nào
| Mục đích | Model |
|---|---|
| Chat mặc định, tool, JSON | GLM 5.3 |
| Hình ảnh và tiếng Ả Rập | Qwen3.8 27B |
| Tài liệu dài, context 1M | DeepSeek V4.1 Flash |
| Tiêu đề và câu trả lời nhanh | BroadNet Gemma 4 VL 26B |
Trong các model này, chỉ Gemma 4 VL 26B chạy được bằng $5 tín dụng ban đầu; tín dụng này cũng dùng được cho hai model Transcribe. So sánh giá trên trang giá.
Xử lý sự cố
- Endpoint không xuất hiện. Kiểm tra
name,baseURL,apiKeyvàmodels.defaultviết đúng và được thụt lề bên trongendpoints.custom. LibreChat bỏ qua các mục thiếu mà không ghi một dòng log nào. Với Docker, xác nhận bind mount trongdocker-compose.override.ymlđã được bỏ comment. - “Missing API Key for BroadNet”.
BROADNET_API_KEYkhông có trong.env, hoặc LibreChat chưa được khởi động lại. Endpoint vẫn hiện; lỗi chỉ xuất hiện khi bạn gửi tin nhắn. - 401 từ provider. Key sai, đã hết hạn, hoặc hạn mức trả theo mức dùng đã hết.
- Lỗi model. Mỗi ID phải khớp chính xác ID của BroadNet, kèm tiền tố
broadnet/. GLM 5.3, Qwen3.8 27B và DeepSeek V4.1 Flash cần nạp tiền. - Câu trả lời rỗng. DeepSeek V4.1 Flash, GLM 5.3 và Qwen3.8 27B suy luận trước, và phần suy luận được tính vào
max_tokens. Nếu bạn đặt đầu ra tối đa nhỏ trong tham số của LibreChat, hãy tăng lên. Vì sao câu trả lời trả về rỗng. - 429 khi nhiều người dùng. Một key trả theo mức dùng cho phép 30 request mỗi phút và 4 request cùng lúc, chia chung cho mọi người dùng endpoint. Request đặt tiêu đề cũng được tính. Key
user_providedgiúp phân tán tải. Xem lỗi và thử lại. - Key của gói. Một phiên gói không giới hạn chạy từng request một và không thể chia sẻ, nên không hợp với LibreChat nhiều người dùng.
