BroadRouter

Thêm BroadNet Inference vào goose làm custom provider

Cập nhật

Trong goose, thêm một custom provider loại OpenAI Compatible, API URL là https://inference.broadnet.ai/v1/chat/completions, key BroadNet của bạn và các model khả dụng như broadnet/glm-5.3. Dùng nút Add Custom Provider trong goose Desktop, lệnh goose configure trong terminal, hoặc một file JSON trong ~/.config/goose/custom_providers/. goose dựa vào gọi tool, nên hãy bắt đầu với GLM 5.3 hoặc Qwen3.8 27B.

goose là một AI agent mã nguồn mở có ứng dụng desktop và CLI. Những dịch vụ không có sẵn được thêm vào dưới dạng custom provider, và goose hỗ trợ provider tương thích OpenAI. BroadNet Inference phục vụ chat completions chuẩn, nên kết nối được theo cách này. BroadRouter là trang web của chính BroadNet; các bước dưới đây làm theo tài liệu provider của goose tính đến goose 1.59.

Tài liệu goose cảnh báo rằng nó “extensively uses tool calling” (Bản dịch: dùng gọi tool rất nhiều), và model không có gọi tool chỉ có thể chat khi tắt mọi extension. BroadNet ghi hỗ trợ gọi tool cho GLM 5.3 và Qwen3.8 27B, nên hãy dùng một trong hai model này cho việc của agent.

Cách 1: goose Desktop

  1. Mở thanh bên, bấm Settings, rồi chọn tab Models.

  2. Bấm Configure providers, rồi Add Custom Provider ở cuối.

  3. Điền thông tin:

    Trường Giá trị
    Provider Type OpenAI Compatible
    Display Name BroadNet Inference
    API URL https://inference.broadnet.ai/v1/chat/completions
    API Key key BroadNet của bạn
    Available Models broadnet/glm-5.3, broadnet/qwen3.8-27b
    Streaming Support bật
  4. Bấm Create Provider, rồi chọn provider đó và một model.

Cách 2: goose CLI

Chạy goose configure, chọn Custom Providers, rồi Add A Custom Provider, và trả lời các câu hỏi bằng cùng các giá trị: loại API là OpenAI Compatible, API URL như trên, xác thực Yes với một API key cố định, danh sách model phân tách bằng dấu phẩy, và bật streaming.

Cách 3: file JSON

Tạo ~/.config/goose/custom_providers/broadnet.json (trên Windows là %APPDATA%\Block\goose\config\custom_providers\):

{
  "name": "broadnet",
  "engine": "openai",
  "display_name": "BroadNet Inference",
  "description": "BroadNet Inference, OpenAI-compatible",
  "api_key_env": "BROADNET_API_KEY",
  "base_url": "https://inference.broadnet.ai/v1/chat/completions",
  "models": [
    { "name": "broadnet/glm-5.3", "context_limit": 1048576 },
    { "name": "broadnet/qwen3.8-27b", "context_limit": 262144 },
    { "name": "broadnet/deepseek-v4.1-flash", "context_limit": 1048576 }
  ],
  "supports_streaming": true,
  "requires_auth": true
}

Sau đó mở một phiên với provider này:

export BROADNET_API_KEY='your-broadnet-key'
goose session start --provider broadnet

Có thể đưa file này vào repository cho cả nhóm, vì key nằm trong biến môi trường.

Kiểm tra

Bắt đầu bằng một câu hỏi đơn giản, như “what can you do?”. Có câu trả lời nghĩa là kết nối đã hoạt động. Sau đó yêu cầu một việc cần đến một extension đang bật. Nếu goose gọi tool thì gọi tool cũng hoạt động. Nếu nó chỉ trả lời bằng văn bản và không bao giờ gọi tool, hãy chuyển sang broadnet/glm-5.3.

Giá trong goose

goose có thể ước tính chi phí nếu mỗi model trong file JSON có input_token_cost và output_token_cost tính bằng USD mỗi token. Lấy số liệu từ trang giá của BroadNet và chia giá mỗi triệu token cho 1.000.000. Nếu thiếu một trong hai trường, goose dùng giá trong danh mục riêng của nó, có thể không khớp với giá của BroadNet.

Xử lý sự cố

  • 401. Key sai, hết hạn hoặc hết hạn mức, hoặc BROADNET_API_KEY chưa được đặt trong shell khởi chạy goose.
  • 404. Kiểm tra API URL. Nó phải là https://inference.broadnet.ai/v1/chat/completions. Kiểm tra model ID khớp chính xác với ID của BroadNet. Các model trả phí cần nạp tiền; $5 tín dụng ban đầu chỉ dùng được cho broadnet/gemma-4-26b-a4b và hai model Transcribe, và context 32.768 token của Gemma khá nhỏ cho việc của agent.
  • Câu trả lời rỗng. Trên DeepSeek V4.1 Flash, GLM 5.3 và Qwen3.8 27B, suy luận được tính vào giới hạn đầu ra. Vì sao câu trả lời trả về rỗng.
  • 429. Một key trả theo mức dùng cho phép 30 request mỗi phút và 4 request đang xử lý cùng lúc. Xem lỗi và thử lại.
  • Request phải chờ hoặc thất bại khi hai phiên goose dùng chung một key gói. Một phiên của gói chạy một request tại một thời điểm, nên hãy cho mỗi phiên goose một phiên riêng.

Câu hỏi thường gặp

API URL của goose nên kết thúc bằng /v1 hay /v1/chat/completions?

Ví dụ custom provider của chính goose dùng URL chat completions đầy đủ, nên hãy dùng https://inference.broadnet.ai/v1/chat/completions. Như vậy goose cũng luôn dùng chat completions, đúng thứ BroadNet phục vụ.

Model BroadNet nào chạy tốt nhất với goose?

GLM 5.3 (broadnet/glm-5.3). Tài liệu goose nói nó dùng gọi tool rất nhiều, và BroadNet chỉ ghi hỗ trợ tool cho GLM 5.3 và Qwen3.8 27B.

Có dùng goose với gói không giới hạn của BroadNet được không?

Các gói chỉ gồm DeepSeek V4.1 Flash, và tài liệu BroadNet không ghi gọi tool cho model này. goose nói model không có gọi tool chỉ có thể chat khi tắt hết extension, nên hãy thử trước khi mua một tháng.

goose lưu API key ở đâu?

Trong keychain của hệ thống, hoặc trong secrets.yaml nếu keyring bị tắt. Khi dùng file JSON, goose đọc biến môi trường có tên ghi trong api_key_env.

Đọc dạng MarkdownHỏi ChatGPTHỏi ClaudeHỏi Perplexity