BroadRouter
Bắt đầu

Dùng Continue với BroadNet Inference (config.yaml và apiBase)

Cập nhật

Trong ~/.continue/config.yaml, thêm một model với provider là openai, model là ID BroadNet như broadnet/glm-5.3, apiBase là https://inference.broadnet.ai/v1 và apiKey là key BroadNet. Thêm tool_use vào capabilities để dùng Agent mode, và đặt contextLength cùng maxTokens trong defaultCompletionOptions.

Continue là trợ lý AI mã nguồn mở cho VS Code và JetBrains. Nó kết nối với server tương thích OpenAI qua provider openai kèm apiBase ghi đè, như trong tài liệu provider OpenAI của Continue. BroadNet Inference khớp với cách này: cùng cấu trúc request, chỉ khác base URL và model ID.

Thiết lập

  1. Lấy key BroadNet từ console. Xem API key.
  2. Mở file cấu hình cục bộ. File nằm ở ~/.continue/config.yaml trên macOS và Linux, và %USERPROFILE%\.continue\config.yaml trên Windows. Trong IDE, mở danh sách configs phía trên ô nhập chat và bấm biểu tượng bánh răng cạnh Local Config.
  3. Thêm model.
name: My Config
version: 0.0.1
schema: v1
models:
  - name: BroadNet GLM 5.3
    provider: openai
    model: broadnet/glm-5.3
    apiBase: https://inference.broadnet.ai/v1
    apiKey: your-broadnet-key
    roles:
      - chat
      - edit
      - apply
    capabilities:
      - tool_use
    defaultCompletionOptions:
      contextLength: 1048576
      maxTokens: 8000
  - name: BroadNet Qwen3.8 27B
    provider: openai
    model: broadnet/qwen3.8-27b
    apiBase: https://inference.broadnet.ai/v1
    apiKey: your-broadnet-key
    capabilities:
      - tool_use
      - image_input
    defaultCompletionOptions:
      contextLength: 262144
      maxTokens: 8000
  1. Lưu lại và chọn model trong bộ chọn model của bảng Continue.

Đừng đưa file này vào version control, vì nó chứa key.

Ý nghĩa các trường

  • provider: openai khiến Continue gửi request chat completions chuẩn.
  • apiBase thay cho địa chỉ OpenAI mặc định. Đừng thêm /chat/completions; Continue tự thêm đường dẫn.
  • capabilities ghi đè cơ chế tự nhận diện của Continue. Tài liệu tham chiếu của Continue nói tool_use là bắt buộc cho Agent mode và image_input bật tính năng tải ảnh lên. Continue không tự nhận diện được những điều này với ID tùy chỉnh, nên hãy tự đặt.
  • contextLength và maxTokens nằm trong defaultCompletionOptions. Trên BroadNet, suy luận được tính vào maxTokens, nên hãy chừa chỗ.
  • roles mặc định là chat, edit, apply và summarize. Chúng tôi bỏ autocomplete: các model này suy luận trước khi trả lời, hợp với chat và sửa code hơn là gợi ý theo từng phím gõ.

Chọn model nào

Mục đích Model Lý do
Chat và Agent mode broadnet/glm-5.3 Tool và đầu ra có cấu trúc, context 1M
Ảnh chụp màn hình, tiếng Ả Rập broadnet/qwen3.8-27b Tool và đầu vào hình ảnh, context 262K
Chat dài trên gói giá cố định broadnet/deepseek-v4.1-flash Gói không giới hạn, context 1M; không ghi hỗ trợ tool

Với DeepSeek V4.1 Flash, hãy bỏ tool_use trừ khi chính bạn đã thử và thấy gọi tool hoạt động, và đặt contextLength: 1048576. Giá của mọi model có trên trang giá. Trang model GLM 5.3 có các giới hạn của nó.

Xử lý sự cố

  • 401. Kiểm tra apiKey. Key trả theo mức dùng bị sai, hết hạn hoặc hết hạn mức sẽ trả về 401.
  • Lỗi model ở request đầu tiên. model phải là ID BroadNet chính xác, kèm tiền tố broadnet/. GLM 5.3, Qwen3.8 27B và DeepSeek V4.1 Flash cần nạp tiền; tín dụng ban đầu $5 dùng được cho BroadNet Gemma 4 VL 26B và hai model Transcribe.
  • Câu trả lời rỗng hoặc bị cắt. Tăng maxTokens. Vì sao câu trả lời trả về rỗng.
  • 429. Key trả theo mức dùng cho phép 30 request mỗi phút và 4 request cùng lúc. Agent mode thực hiện nhiều lần gọi liên tiếp; hãy thêm backoff vào quy trình hoặc giãn các lần chạy. Xem lỗi và thử lại.
  • Nhiều agent cùng lúc trên một key gói. Mỗi phiên của gói không giới hạn chạy một request tại một thời điểm. Hãy cho mỗi agent chạy song song một phiên riêng.
  • Sai endpoint. Tài liệu Continue có nhắc useLegacyCompletionsEndpoint và useResponsesApi. Đừng đặt tùy chọn legacy; BroadNet phục vụ /v1/chat/completions. Continue chỉ mặc định dùng /responses cho các model o-series và GPT-5 của OpenAI, nên ID của BroadNet dùng chat completions mà không cần thiết lập thêm.

Câu hỏi thường gặp

File config.yaml của Continue nằm ở đâu?

File cục bộ nằm ở ~/.continue/config.yaml trên macOS và Linux, và %USERPROFILE%\.continue\config.yaml trên Windows. Bạn cũng có thể mở nó từ biểu tượng bánh răng cạnh Local Config trong danh sách configs.

Vì sao tôi không dùng được Agent mode với model BroadNet?

Continue cần capability tool_use cho Agent mode. Thêm capabilities có tool_use vào mục model, và chọn một model mà BroadNet ghi có hỗ trợ tool, như broadnet/glm-5.3.

Vì sao Continue trả về câu trả lời rỗng?

Phần suy luận đã dùng hết maxTokens trước khi câu trả lời bắt đầu. Hãy tăng maxTokens trong defaultCompletionOptions lên vài nghìn.

Nên dùng config.json hay config.yaml cho Continue?

Dùng config.yaml. Tài liệu Continue đánh dấu config.json và phần tham chiếu của nó là deprecated, và mọi ví dụ hiện tại đều dùng YAML với schema v1.

Đọc dạng MarkdownHỏi ChatGPTHỏi ClaudeHỏi Perplexity