BroadRouter

LLM open-weight hay đóng cho doanh nghiệp: chi phí, kiểm soát, rủi ro

Đội ngũ BroadNet Inference · 4 phút đọc · Đăng ngày

Model đóng vẫn dẫn đầu ở tuyến đầu, nhưng Epoch AI ước tính model open-weight tốt nhất chỉ đi sau khoảng bốn tháng. Open-weight thắng về kiểm soát, lựa chọn quyền riêng tư, cố định phiên bản và ít phụ thuộc, vì nhiều nhà cung cấp phục vụ được cùng bộ trọng số. Model đóng thắng khi cần chất lượng tốt nhất cho tác vụ khó. Nhiều doanh nghiệp dùng cả hai, theo tác vụ.

Mọi nhóm xây dựng trên LLM đều đưa ra lựa chọn này, nhiều khi mà không để ý: model đóng mà bạn chỉ truy cập được qua API của một nhà cung cấp, hay model open-weight mà ai cũng tải trọng số về và chạy được. Lựa chọn này ảnh hưởng đến hóa đơn, đường đi của dữ liệu, độ ổn định của sản phẩm, và mức khó khăn khi muốn rời đi.

Open-weight thực ra nghĩa là gì?

Một model open-weight công bố các tham số đã huấn luyện. Bạn, hoặc bất kỳ nhà cung cấp nào, đều chạy được nó. Khái niệm này hẹp hơn open source: dữ liệu huấn luyện và toàn bộ pipeline huấn luyện thường không được công bố.

Giấy phép mỗi model một khác. Một số rất dễ dãi: chẳng hạn Whisper của OpenAI công bố code và trọng số theo giấy phép MIT. Số khác hạn chế việc dùng cho mục đích thương mại, số lượng người dùng hoặc lĩnh vực sử dụng. Hãy đọc giấy phép của từng model trước khi xây dựng trên nó.

Trọng số của model đóng ở lại với nhà cung cấp. Bạn thuê quyền truy cập qua API của họ, hoặc qua các nền tảng cloud mà họ cấp phép.

So sánh model open-weight và model đóng

Yếu tố Open-weight Đóng
Chất lượng nhóm dẫn đầu Đi sau tuyến đầu vài tháng Thường dẫn đầu ở các tác vụ khó nhất
Giá mỗi token Thường thấp hơn; các bên host cạnh tranh trên cùng model Do một nhà cung cấp quyết định
Nơi chạy Server của bạn, GPU thuê hoặc bất kỳ bên host nào API của nhà cung cấp hoặc cloud được cấp phép
Lựa chọn quyền riêng tư Tự host, hoặc chọn bên host không lưu giữ dữ liệu Theo điều khoản và các gói của nhà cung cấp
Độ ổn định phiên bản Cố định chính xác bộ trọng số bao lâu tùy ý Nhà cung cấp ngừng phiên bản theo lịch của họ
Tùy biến Tự fine-tune hoặc lượng tử hóa Chỉ những gì nhà cung cấp cho phép
Mức phụ thuộc Thấp: nhiều bên host phục vụ cùng bộ trọng số Cao: mỗi model một nhà cung cấp
Vận hành Do bạn, nếu tự host Do nhà cung cấp

Khoảng cách chất lượng lớn đến đâu?

Nhỏ hơn trước, nhưng có thật. AI Index 2025 của Stanford cho biết khoảng cách giữa model đóng hàng đầu và model open-weight hàng đầu trên bảng xếp hạng Chatbot Arena giảm từ 8,04% vào đầu tháng 1 năm 2024 xuống 1,70% vào tháng 2 năm 2025. Epoch AI ước tính ngày 29 tháng 5 năm 2026 rằng “the most capable open-weight models have lagged frontier closed models by an average of four months” (bản dịch: các model open-weight mạnh nhất đã đi sau các model đóng tuyến đầu trung bình bốn tháng), đo trên chỉ số Epoch Capabilities Index của họ.

Trong thực tế:

  • Phân loại, trích xuất, tóm tắt, dịch, chat thường ngày: model open-weight thường đủ tốt, và rẻ hơn.
  • Coding agent và tài liệu dài: có những lựa chọn open-weight mạnh; hãy thử trên repo của bạn. Xem model mở tốt nhất cho coding agent.
  • Suy luận khó nhất và năng lực mới nhất: model đóng thường đến trước.

Bảng xếp hạng là số trung bình. 50 trường hợp kiểm thử thật của bạn mới là benchmark quan trọng.

Ba cách chạy một model open-weight là gì?

Lựa chọn Tốt nhất khi Cần lưu ý
Tự host trên GPU của bạn Dữ liệu không được rời mạng của bạn; GPU luôn bận Phần cứng, driver, mở rộng quy mô, bảo mật, nâng cấp
Thuê GPU riêng Tải ổn định, trọng số tùy chỉnh Bạn trả tiền cả những giờ nhàn rỗi
API open-weight được host Lưu lượng thất thường hoặc đang tăng; cần bắt đầu nhanh Bạn phải tin vào chính sách lưu giữ và uptime của bên host

Tự host trông như miễn phí tính theo token, nhưng một GPU tốn chi phí như nhau dù phục vụ một request mỗi giờ hay một nghìn. Nó chỉ có lời ở mức sử dụng cao và ổn định. Dưới mức đó, API tính theo token hoặc gói giá cố định thường rẻ hơn.

Một model open-weight tốn bao nhiêu mỗi tháng?

Giá theo token của model open-weight được host rất dễ tính. Với 100 triệu token đầu vào và 10 triệu token đầu ra mỗi tháng trên DeepSeek V4.1 Flash qua BroadNet:

100 x $0.175 + 10 x $0.52 mỗi tháng, trước mọi chiết khấu cache.

Hãy làm phép tính tương tự với giá trên mỗi triệu token mà nhà cung cấp model đóng của bạn công bố và số token thật của bạn, hoặc bắt đầu từ so sánh chi phí API model open-weight và model đóng của chúng tôi, vốn tính giá một tải công việc trên GPT, Claude, Gemini, Grok và năm model mở. Đầu vào được cache thay đổi kết quả rất nhiều: token được cache trên model này có giá $0.0055 mỗi triệu. Công cụ tính chi phí API LLM làm phép tính này cho mọi model của BroadNet, và bảng giá API LLM liệt kê mức giá các bên host khác thu cho cùng bộ trọng số mở.

Vì sao sự phụ thuộc quan trọng hơn vẻ ngoài?

Khi một nhà cung cấp model đóng tăng giá, đổi điều khoản dữ liệu hoặc ngừng model mà prompt của bạn đã được tinh chỉnh cho nó, bạn chỉ có thể chấp nhận hoặc viết lại. Với một model open-weight, bạn có thể chuyển cùng bộ trọng số sang bên host khác, hoặc về nội bộ, và giữ nguyên hành vi.

Để lựa chọn đó luôn khả thi:

  1. Gọi model qua một SDK tương thích OpenAI, với base URL và model ID nằm trong cấu hình.
  2. Giữ một bộ kiểm thử hồi quy và chạy nó mỗi khi đổi nhà cung cấp.
  3. Tùy chọn đặt một router như LiteLLM ở phía trước, để việc chuyển đổi chỉ là đổi cấu hình.

Doanh nghiệp kết hợp model mở và model đóng như thế nào?

Phần lớn doanh nghiệp rốt cuộc dùng cả hai:

  • Định tuyến các tác vụ khối lượng lớn, được xác định rõ (trích xuất, phân loại, tóm tắt, các bước thường lệ của agent) tới một model open-weight.
  • Định tuyến các tác vụ hiếm và khó tới một model đóng tuyến đầu.
  • Thử lại mỗi quý. Với khoảng cách mà Epoch đo được, theo thời gian các tác vụ sẽ chuyển từ danh sách thứ hai sang danh sách thứ nhất.

BroadNet Inference phù hợp ở đâu

BroadNet Inference là một API open-weight được host: DeepSeek V4.1 Flash, GLM 5.3, Qwen3.8 27B và bản build Gemma 4 của Google do BroadNet thực hiện, cùng hai model chuyển giọng nói thành văn bản, tất cả qua một endpoint tương thích OpenAI. Tuyên bố quyền riêng tư của họ nói họ không giữ prompt hay đầu ra và không dùng dữ liệu inference để huấn luyện, fine-tune hay đánh giá model. DeepSeek V4.1 Flash cũng có các gói giá cố định từ $1 mỗi giờ đến $60 mỗi tháng cho mỗi phiên.

Nó không phục vụ model đóng. Nếu một tác vụ cần GPT, Claude hay Gemini, hãy dùng các nhà cung cấp đó cho tuyến ấy và giữ phần còn lại trên open-weight. Để cân nhắc BroadNet với các nhà cung cấp khác, hãy dùng danh sách kiểm tra nhà cung cấp 20 tiêu chí.

Câu hỏi thường gặp

Model AI open-weight và open-source khác nhau thế nào?

Một model open-weight công bố trọng số đã huấn luyện để ai cũng chạy được. Một model open-source còn phải công bố cả code huấn luyện và dữ liệu. Phần lớn các LLM "mở" phổ biến chỉ là open-weight, theo những giấy phép từ dễ dãi đến hạn chế.

Model open-weight có tốt bằng model đóng không?

Gần bằng, nhưng chưa ngang ở nhóm dẫn đầu. Tháng 5 năm 2026, Epoch AI ước tính các model open-weight tốt nhất đi sau các model đóng tốt nhất khoảng bốn tháng. Ở nhiều tác vụ thường ngày, khác biệt là nhỏ; ở các tác vụ khó nhất, model đóng thường vẫn dẫn đầu.

Model open-weight có rẻ hơn không?

Thường là có nếu tính theo token, vì nhiều bên host cạnh tranh để phục vụ cùng bộ trọng số. Tự host chỉ rẻ hơn khi GPU của bạn luôn bận; GPU nhàn rỗi vẫn tốn tiền dù bạn có dùng hay không.

Model open-weight có riêng tư hơn không?

Có thể. Bạn có thể tự host để dữ liệu không bao giờ rời mạng của bạn, hoặc chọn một bên host không lưu giữ dữ liệu. Model đóng chỉ chạy được ở nơi nhà cung cấp phục vụ nó, theo điều khoản của nhà cung cấp.

Có chuyển từ model đóng sang model open-weight mà không cần viết lại code không?

Thường là được, nếu bên host cung cấp API tương thích OpenAI. Đổi base URL, key và model ID, rồi thử lại prompt, tool call và chất lượng đầu ra trên bộ kiểm thử của chính bạn.

Đọc dạng MarkdownHỏi ChatGPTHỏi ClaudeHỏi Perplexity